KR100814289B1 - 실시간 동작 인식 장치 및 그 방법 - Google Patents

실시간 동작 인식 장치 및 그 방법 Download PDF

Info

Publication number
KR100814289B1
KR100814289B1 KR1020060112463A KR20060112463A KR100814289B1 KR 100814289 B1 KR100814289 B1 KR 100814289B1 KR 1020060112463 A KR1020060112463 A KR 1020060112463A KR 20060112463 A KR20060112463 A KR 20060112463A KR 100814289 B1 KR100814289 B1 KR 100814289B1
Authority
KR
South Korea
Prior art keywords
section
coordinates
feature points
real
motion recognition
Prior art date
Application number
KR1020060112463A
Other languages
English (en)
Inventor
김태영
박준
임철수
Original Assignee
서경대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서경대학교 산학협력단 filed Critical 서경대학교 산학협력단
Priority to KR1020060112463A priority Critical patent/KR100814289B1/ko
Application granted granted Critical
Publication of KR100814289B1 publication Critical patent/KR100814289B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 지체 장애인들의 재활/보조 프로그램을 개발하는데 있어 필수적인 기술인 실시간 동작 인식 기술에 관한 것으로, 사용자의 소정 부위에 부착된 다수의 발광체로부터 사용자의 동작을 실시간 인식하여 처리하는 본 발명에 의한 장치는 발광체들을 포함한 사용자의 모습을 촬영하는 카메라; 카메라의 영상에 표시된 발광체들의 위치로부터 특징점들의 평면 좌표를 획득하는 평면 좌표 획득부; 특징점들이 이루는 다각형의 무게 중심점의 좌표를 구하고, 무게 중심점을 새로운 원점으로 한 특징점의 벡터 좌표를 획득하는 벡터 좌표 획득부; 특징점들 중 원점으로부터 가장 원거리를 위치한 특징점까지의 거리를 반지름으로 한 원의 내부를 소정의 거리 구간과 소정의 각도 구간에 의해 구분한 구간들로 나누고, 각 특징점의 벡터 좌표를 이용하여 구간들 중 각 특징점이 위치하는 구간을 결정하는 구간 결정부; 및 각 특징점에 대응하는 구간 정보가 미리 저장된 템플릿의 대응하는 장면 데이터와 일치하는지 여부를 확인하는 장면 비교부;를 포함하여 구성된다.
본 발명에 의하면, 사용자의 동작에 제한을 주지 않는 무선 적외선 발광 다이오드 밴드를 사용하면서 사용자의 동작을 정확하고 빠르게 인식할 수 있다.

Description

실시간 동작 인식 장치 및 그 방법{Real Time Motion Recognition Apparatus and Method}
도 1은 본 발명에 의한 실시간 동작 인식 장치를 개념적으로 도시한 도면이다.
도 2는 본 발명에 의한 실시간 동작 인식 과정을 시간의 흐름에 따라 도시한 흐름도이다.
도 3은 본 발명에 의한 특징점들의 평면 좌표가 꼭지점으로 구성된 오각형을 예시적으로 도시한 것이다.
도 4는 본 발명에 의한 거리 구간을 예시적으로 도시한 것이다.
도 5는 본 발명에 의한 각도 구간을 예시적으로 도시한 것이다.
도 6은 임의의 한 장면의 템플릿을 생성하는 과정을 예시적으로 도시한 것이다.
도 7은 템플릿 호출 시 비트 마스킹 과정을 예시적으로 설명하기 위한 도면이다.
도 8은 실제 동작에서 각 특징점에 대응하는 구간 정보와 템플릿의 동작 데이터를 비교하는 과정을 예시적으로 도시한 것이다.
♣도면의 주요 부분에 대한 부호의 설명 ♣
10 : 발광 다이오드 밴드 12 : 적외선 발광 다이오드
20 : 카메라 30 : 동작 인식 장치
31 : 평면 좌표 획득부 32 : 벡터 좌표 획득부
33 : 구간 결정부 34 : 장면 비교부
36 : 템플릿
본 발명은 전 국민의 10%를 차지하는 장애인들, 그 중 대부분의 비율을 차지하는 지체 장애인들의 재활/보조 프로그램을 개발하는데 있어 필수적인 기술인 실시간 동작 인식 기술에 관한 것이다.
장애인의 숫자는 매년 증가하지만 현재 장애인을 대상으로 한 재활/보조 프로그램은 거의 전무한 상태이다. 더욱이 지체 장애인의 재활 훈련 프로그램의 경우 지속적인 반복 훈련과 빠른 결과 확인을 해야 하는 특성상 반드시 실시간 처리가 이루어져야 한다. 또한 장애인들은 정확한 동작을 하기 힘들기 때문에 재활 훈련을 위해서 상황에 따른 동작 인식의 필요성이 크다.
그러나 기존의 동작 인식 연구들은 대부분 비장애인을 대상으로 하고 있어 장애인을 대상으로 하는 재활훈련에는 적합하지 않는 실정이다. 예를 들어, 사람의 걷는 동작을 인식하는 기존 방법은 장비에 전선이 연결되어 장애인의 행동에 지장을 주거나 인식할 수 있는 동작에 제한이 있어 장애인들이 사용하기에 적합하지 않다. 센서 또는 실루엣을 이용한 기존의 동작 인식 방법은 고가의 장비를 이용하는 것에 비해 잘못된 동작으로 인식하는 결과가 나올 경우가 많다. 또한 위의 두 방법은 실시간 처리가 어렵다는 데에 제한이 있다. 종래의 기술에서도 실시간으로 동작 인식을 하는 방법을 제시하고는 있으나, 장애인 재활 훈련 프로그램에 적용하기에는 인식 할 수 있는 부분이 제한적이며 정확도가 낮다는 문제점이 있다.
본 발명은 상기의 문제점을 해결하기 위하여 창안된 것으로, 사용자에 장착할 수 있는 무선 발광체를 사용하여 사용자의 동작에 제한을 주지 않고, 정확하고 빠르게 사용자의 동작을 인식할 수 있는 실시간 동작 인식 장치 및 그 방법을 제공함을 그 목적으로 한다.
상기의 목적들을 달성하기 위하여, 사용자의 소정 부위에 부착된 다수의 발광체로부터 사용자의 동작을 실시간 인식하여 처리하는 본 발명에 의한 장치는 상기 발광체들을 포함한 사용자의 모습을 촬영하는 카메라; 상기 카메라의 영상에 표시된 발광체들의 위치로부터 특징점들의 평면 좌표를 획득하는 평면 좌표 획득부; 상기 특징점들이 이루는 다각형의 무게 중심점의 좌표를 구하고, 무게 중심점을 새로운 원점으로 한 특징점의 벡터 좌표를 획득하는 벡터 좌표 획득부; 특징점들 중 원점으로부터 가장 원거리를 위치한 특징점까지의 거리를 반지름으로 한 원의 내부를 소정의 거리 구간과 소정의 각도 구간에 의해 구분한 구간들로 나누고, 상기 각 특징점의 벡터 좌표를 이용하여 상기 구간들 중 각 특징점이 위치하는 구간을 결정 하는 구간 결정부; 및 상기 각 특징점에 대응하는 구간 정보가 미리 저장된 템플릿의 대응하는 장면 데이터와 일치하는지 여부를 확인하는 장면 비교부;를 포함하여 구성된다.
상기의 다른 목적을 달성하기 위하여, 사용자의 소정 부위에 부착된 다수의 발광체로부터 사용자의 동작을 실시간 인식하여 처리하는 본 발명에 의한 방법은 (a) 카메라가 상기 발광체들을 포함한 사용자의 모습을 촬영하는 단계; (b) 동작 인식 장치가 상기 카메라가 촬영한 영상을 전달받고, 전달받은 영상에 표시된 발광체들의 위치로부터 특징점들의 평면 좌표를 획득하는 단계; (c) 동작 인식 장치가 상기 특징점들이 이루는 다각형의 무게 중심점의 좌표를 구하고, 무게 중심점을 원점으로 한 특징점의 벡터 좌표를 획득하는 단계; (d) 동작 인식 장치가 특징점들 중에서 원점으로부터 가장 원거리를 위치한 특징점까지의 거리를 반지름으로 한 원의 내부를 소정의 거리 구간과 소정의 각도 구간에 의해 구분한 구간들로 나누고, 상기 각 특징점의 벡터 좌표를 이용하여 상기 구간들 중 각 특징점이 위치하는 구간을 결정하는 단계; (e) 동작 인식 장치가 상기 각 특징점에 대응하는 구간 정보가 미리 저장된 템플릿의 대응하는 장면 데이터와 일치하는지 여부를 확인하는 단계; 및 (f) 상기 (e) 단계에서 일치하지 않으면 소정의 제한 시간 내에 상기 (a) 단계 내지 상기 (e) 단계의 과정을 반복하여 재시도하고, 일치하면 다음 장면에 대하여 상기 (a) 단계 내지 (e) 단계의 과정을 시도하되, 일련의 장면에 대하여 모두 일치 판정이 생성되면 동작이 일치함을 판정하고, 제한 시간이 초과하면 동작이 일치되지 아니함을 판정하는 단계;를 포함하여 구성된다.
이하에서, 본 발명에 따른 실시간 동작 인식 장치에 대한 바람직한 실시예들을 첨부된 도면에 의거하여 상세하게 설명하기로 한다.
도 1에 의하면, 본 발명에 의한 실시간 동작 인식 장치는 카메라(20)와 동작 인식 장치(30)를 포함하여 구성된다.
카메라(20)는 동작을 인식하기 위한 대상자로서의 사용자의 모습을 촬영한다. 이때, 사용자의 신체(예를 들어, 머리, 양 손목, 양 발목의 5개 부위)에는 각각 발광체가 부착되는데, 본 실시예에서 그 발광체로서 8개의 적외선 발광 다이오드(12)를 장착한 발광 다이오드 밴드(10)를 사용한다. 카메라(20)는 적외선 발광 다이오드로부터의 적외선을 추출하기 위하여 적외선 필터(도시되지 아니함)를 구비함이 바람직하다. 따라서 카메라(20)는 적외선 필터를 이용하여 촬영된 영상으로부터 배경과 잡음을 제외하여 사용자에 부착된 적외선 발광 다이오드(12)의 위치만이 추출된 영상을 생성한다.
동작 인식 장치(30)는 카메라(20)로부터 전송된 영상으로부터 사용자의 동작을 인식하는 장치로서, 하드웨어 및 소프트웨어의 결합체이다. 동작 인식 장치(30)는 기능적으로 평면 좌표 획득부(31), 벡터 좌표 획득부(32), 구간 결정부(33) 및 장면 비교부(34)를 구비한다.
평면 좌표 획득부(31)는 카메라(20)의 영상에 표시된 발광체들(즉, 적외선 발광 다이오드)의 위치로부터 특징점들의 평면 좌표를 획득한다. 이때, 하나의 특징점(예를 들어, 머리의 특징점)에 대응하여 다수의 적외선 발광 다이오드의 위치가 감지될 수 있는데, 평면 좌표 획득부(31)는 K-Means 클러스터링 알고리즘을 이 용하여 다수의 위치점들을 그룹화함으로써 특징점의 좌표를 획득할 수 있다.
벡터 좌표 획득부(32)는 5개의 특징점들이 각각 꼭지점을 이루는 오각형의 무게 중심점의 좌표를 구하고, 그 무게 중심점을 새로운 원점으로 한 특징점의 벡터 좌표를 획득한다.
구간 결정부(33)는 빠른 동작 인식을 위하여 특징점들 중에서 원점으로부터 가장 원거리에 위치한 특징점까지의 거리를 반지름으로 한 원의 내부를 소정의 거리 구간과 소정의 각도 구간에 의해 구분한 구간들로 나눈다. 이때, 거리 구간은 원점으로부터 멀어질수록 조밀하게
Figure 112006083329229-pat00001
개 만큼 구분하고, 각도 구간은 최초 거리 구간이
Figure 112006083329229-pat00002
개로 나뉜다고 할 때, 원점으로부터 한 단계 외곽에 위치함에 따라 절반의 크기로 작아지도록 거리 구간당
Figure 112006083329229-pat00003
개 만큼 구분하는 것이 바람직하다. 따라서 전체적으로는
Figure 112006083329229-pat00004
개의 구간으로 나뉜다. 구간 결정부(33)는 각 특징점의 벡터 좌표를 이용하여
Figure 112006083329229-pat00005
개의 구간들 중 각 특징점이 위치하는 구간을 결정한다.
장면 비교부(34)는 각 특징점에 대응하는 구간 정보가 미리 저장된 템플릿(36)의 대응하는 장면 데이터와 일치하는지 여부를 확인한다. 여기서, 템플릿(36)의 장면 데이터는 사용자와 같은 환경에서 수십 회의 동작 인식을 통하여 각 특징점이 존재하는 구역을 표시한 것으로, 데이터베이스로 저장되고 각 장면에 대하여 구간마다 1비트가 할당되어 구성된다. 본 발명에서는 연속하는 일련의 장면 들이 하나의 동작을 완성하는 것으로 정의한다.
본 발명에서는 실시예에 따라 상기한 구성요소 이외에 별도의 카메라 및 디스플레이를 구비하여, 사용자가 디스플레이를 통해 자신에게 요구되는 장면 또는 동작을 파악할 뿐만 아니라 자신이 행한 장면 또는 동작을 직접 확인할 수 있도록 지원할 수도 있다.
이하에서는 도 2를 참조하여, 본 발명에 의한 실시간 동작 인식 장치의 동작 과정을 상세히 설명하기로 한다.
먼저, 사용자가 자신의 머리, 양 손목, 양 발목의 5개 부위에 각각 8개의 적외선 발광 다이오드(12)를 장착한 발광 다이오드 밴드(10)를 착용하고 지시된 동작을 수행하면, 카메라(20)는 적외선 발광 다이오드를 포함한 사용자의 모습을 촬영하고, 적외선 필터를 이용하여 촬영된 영상으로부터 배경과 잡음을 제외하여 사용자에 부착된 적외선 발광 다이오드(12)의 위치만이 추출된 영상을 생성한다(S100).
동작 인식 장치(30)는 카메라(20)의 영상으로부터 발광 다이오드(12)의 좌표를 획득한다. 즉, 적외선 필터를 거친 적외선 발광 다이오드는 영상에서 흰색으로 표시되므로, 영상에서 흰색으로 표시된 부분의 좌표에 의해 용이하게 발광 다이오드(12)의 좌표를 획득할 수 있다. 이때, 각각의 특징점에 대응하여 다수의 적외선 발광 다이오드의 위치가 감지될 수 있는데, 동작 인식 장치(30)는 K-Means 클러스터링 알고리즘을 이용하여 다수의 위치점들을 그룹화함으로써 5개의 특징점의 평면 좌표(P1(x1,y1), P2(x2,y2), P3(x3,y3), P4(x4,y4), P5(x5,y5))를 획득할 수 있다(S110).
이후, 동작 인식 장치(30)는 5개의 특징점들이 각각 꼭지점을 이루는 오각형의 무게 중심점을 원점으로 한 특징점의 벡터 좌표를 획득한다(S120).
발광 다이오드 그룹의 특징점 좌표들의 무게 중심점은 각 특징점 좌표들을 꼭지점으로 가지는 오각형의 무게 중심을 의미한다. 오각형의 무게 중심점은 다음과 같이 구할 수 있다. 먼저, 오각형의 내부에 원점을 두고 있다고 가정할 때, 도 3에 도시된 바와 같이 원점과 오각형의 각 꼭지점의 연결을 통해 삼각형들의 그룹이 표현될 수 있다. 이때, 다각형(즉, 오각형)의 무게 중심점(
Figure 112006083329229-pat00006
)은 원점(
Figure 112006083329229-pat00007
)을 중심으로 각 삼각형의 넓이(
Figure 112006083329229-pat00008
)와 대응하는 무게 중심점의 위치 벡터(
Figure 112006083329229-pat00009
)를 곱한 후 다각형의 면적 전체(
Figure 112006083329229-pat00010
)로 나누어 구할 수 있게 된다. 이를 먼저 임의의 삼각형의 넓이(
Figure 112006083329229-pat00011
)와 무게중심점(
Figure 112006083329229-pat00012
)은 수학식 1과 같이 나타낼 수 있게 된다.
Figure 112006083329229-pat00013
넓이
무게 중심
Figure 112006083329229-pat00014
다각형의 무게 중심점(
Figure 112006083329229-pat00015
)은 수학식 1을 사용하여 표현한 수학식 2에 의해 구할 수 있다.
Figure 112006083329229-pat00016
Figure 112006083329229-pat00017
수학식 2는 각 삼각형의 넓이(
Figure 112006083329229-pat00018
)와 무게중심점의 위치 벡터(
Figure 112006083329229-pat00019
)를 곱하여 합한 후, 전체 넓이(
Figure 112006083329229-pat00020
)로 나눈 것이다(여기서, i는 1≤i≤5인 정수이고, i=5인 경우 (i+1)은 1임).
수학식 2의 다각형의 무게 중심점을 구하는 공식은 다각형 내부에 있는 원점을 기준으로 하고 있기 때문에 측정된 특징점 좌표는 이 원점을 중심으로 재배치 할 필요성이 있다. 따라서 각 특징점으로 이루어진 다각형의 중점 좌표(즉, 특징점의 평면 좌표의 평균점)만큼 이동하여 다각형이 다각형 내부에 있는 원점을 중심으로 재배치 되도록 한다. 이후 무게 중심점을 구한 후 처음에 이동하였던 다각형의 중심 좌표만큼 되돌아가게 되면 현재 측정된 특징점 좌표들의 무게중심점을 얻어낼 수 있게 된다.
무게 중심점이 정해지게 되면 원점과 무게중심점과의 좌표 차를 각 특징점 좌표에 적용시켜 무게 중심점을 원점화 시키고 그에 따른 각 특징점의 벡터 좌표를 구한다.
이후, 동작 인식 장치(30)는 특징점들 중에서 원점(즉, 무게 중심점)으로부터 가장 원거리를 위치한 특징점까지의 거리를 반지름으로 한 원의 내부를 소정의 거리 구간과 소정의 각도 구간에 의해 구분한 구간들로 나누고, 각 특징점의 벡터 좌표를 이용하여 구간들 중 각 특징점이 위치하는 구간을 결정한다(S130).
각 특징점들의 거리 구간 및 각도 구간을 구하는 것은 카메라에서 보이는 어떤 위치에 있더라도 같은 동작이라면 항상 같은 결과를 얻어낼 수 있도록 하기 위함이다. 절대적 거리와 각도가 아닌 무게 중심점에 의한 상대적 구간이므로 카메라 내의 어떤 위치에서 보이더라도 결과가 바뀌는 현상을 억제하는 역할을 한다.
각 특징점들의 거리 구간을 구하는 과정은 다음과 같다. 거리 구간은 가장 원거리의 벡터의 길이를 기준하여 나누어야 하므로, 먼저 주어진 벡터값을 이용하여 직각삼각형에서 빗변의 길이를 구하는 Built in 함수인 hypot 함수를 이용하여 모든 특징점의 거리를 구한다. 특징점들 중 가장 원거리를 기준으로
Figure 112006083329229-pat00021
등분하여
Figure 112006083329229-pat00022
구간으로 나눈다. 원점을 O, 특징점의 벡터 좌표를 Pi(i는 1≤i≤5인 정수)라 할 때 수학식 3으로 거리 구간을 측정할 수 있다.
Figure 112006083329229-pat00023
의 정수부
수학식 3에서는 같은 거리로 거리 구간을 나눌 경우 동심원의 외부로 갈수록 면적이 넓어져 일어날 수 있는 동작인식의 정확도 저하를 방지하기 위하여, 도 4에 도시된 바와 같이 외부일수록 조밀한 거리 구간으로 나눔으로써 어느 구간에서든 동작 인식이 정확하게 실행되도록 한다. 수학식 3에 의한 거리 구간의 계산 결과는 정수부만 취하게 된다.
각도 구간 결정은 거리 구간이 정해지면 원점으로부터 특징점 좌표까지의 각 벡터와 1사분면의
Figure 112006083329229-pat00024
축과의 각을 구한 후 거리 구간에 따른 단위각으로 나눈 결과의 정수부만 취하게 된다. 거리 구간이
Figure 112006083329229-pat00025
일 때, 각 각도 구간의 단위각
Figure 112006083329229-pat00026
는 수학식 4에 의해 구할 수 있다.
Figure 112006083329229-pat00027
수학식 4 또한 같은 단위각으로 각도 구간을 나눌 경우 동심원의 외부로 나갈수록 각도 구간이 점점 넓어져 동작 인식의 정확도가 저하되는 것을 막기 위함으로써 동심원의 외부로 나갈수록 단위각은 절반으로 작아지며 조밀한 구간을 표현하게 된다. 도 5는 거리 구간이 0~3까지이고, 0구간에서 16등분한 구조(즉,
Figure 112006083329229-pat00028
=16)를 그린 것이다. 0 거리 구간의 각도 구간은 16등분이고 단위각이 22.5°인 반면, 3 거리 구간의 각도 구간은 128등분이고 단위각이 약 2.8°로 조밀한 구간을 가지고 있다.
주어진 특징점의 벡터값을 이용하여 벡터의 각도를 계산하는 Built in 함수인 atan2 함수를 이용하여 x축과 특징점과의 각도 계산을 한다. 구해진 각도는 단위각으로 나눈 후 어떤 거리 구간이냐에 따라서 다른 계산 과정을 거쳐 각도 구간을 결정하게 된다. atan2 함수를 이용하여 구한 각을
Figure 112006083329229-pat00029
라 가정하면 수학식 5에 의해 각도 구간을 결정하게 된다.
Figure 112006083329229-pat00030
Figure 112006083329229-pat00031
수학식 5는 거리 구간에 따른 각도 구간의 갯수를 보여준다. 각도 구간의 갯수는 거리 구간
Figure 112006083329229-pat00032
에 따라서 결정 되는 값이 달라지며
Figure 112006083329229-pat00033
거리 구간마다
Figure 112006083329229-pat00034
이 됨을 알 수 있다.
이후, 동작 인식 장치(30)는 각 특징점에 대응하는 구간 정보가 미리 저장된 템플릿(36)의 대응하는 장면 데이터와 일치하는지 여부를 확인한다(S140).
예제 동작의 템플릿(36)은 사용자가 동작을 따라 함에 있어 모범 동작이 됨과 동시에 현재 사용자가 행하고 있는 동작의 장면과의 일치 여부를 가리는 기준이 된다. 예제 동작의 템플릿(36)은 사용자와 같은 환경에서 수십 회의 동작 인식을 통해 각 특징점이 존재하는 구역을 표시하게 된다. 하나의 장면에 유사도를 측정하기 위하여 같은 장면을 여러 번 동작하여 동작 일치의 오차를 줄이게 된다. 도 6은 임의의 한 장면의 템플릿을 구성하는 과정을 보인 것이다. 한 장면의 좌표를 여러 번 획득하여 유사한 동작에도 일치 판단을 내릴 수 있도록 좌표들을 정리하여 템플릿(36)을 구성한다. 이는 구간의 조밀함에 따라서 아주 약간의 차이에도 불일치 판단을 내릴 수도 있다는 것에 착안한 것으로, 얼마나 정확한 동작에 일치 판단을 할 수 있는가는 템플릿을 생성하는 과정에서 조절할 수 있다. 작성된 템플 릿(36)은 데이터베이스로 저장되며 동작 인식 장치(30) 내부의 구성요소들이 호출할 때 사용된다.
사용자의 동작을 인식하기 전에 동작 인식 장치(30)는 사용자가 해야 할 동작의 템플릿(36)을 호출하게 된다. 호출된 템플릿(36)은 데이터베이스에서 비트 단위로 저장되며, 미리 정의된 장면을 나타내는 구간에 대응하는 비트 위치는 1로 마스킹 된다. 예를 들어, 도 7과 같이 4구간과 19구간으로 이루어진 장면인 경우, 대응하는 템플릿(36)의 장면 데이터에서 4번째 비트, 19번째 비트는 1로 마스킹 되고, 나머지 부분은 0으로 표시된다.
도 8은 동작의 템플릿 배열과 사용자의 동작 벡터 좌표의 일치 여부를 판단하는 과정을 설명하기 위한 예시이다. 템플릿(36)과의 비교는 벡터 좌표가 위치한 구간의 비트가 1로 마스킹 되어있을 경우 일치로 판단되며, 모든 구간이 일치할 때 해당 장면이 인식된 것으로 판단하게 된다. 장면 데이터는 별도의 비트처리를 할 필요는 없지만 이해가 쉽도록 비트 마스킹 간의 비교 도면을 사용하여 비교한다. 실제 시스템에서는 특징점에 해당하는 구간 정보가 3구간, 19구간인 경우, 바로 템플릿(36)의 대응하는 장면 데이터에서 3번째 비트, 19번째 비트만을 검색하여 해당 장면 데이터가 1로 마스킹 되어 있는지 확인함으로써 장면 일치 여부를 판단한다(S150).
S150 단계에서 일치하지 않으면 소정의 제한 시간(예를 들어, 0.02초) 내에 S100 단계 내지 S150 단계의 과정을 반복하여 재시도하고(S160), 일치하면 다음 장면의 템플릿을 읽어 들여 다음 장면에 대하여 S100 단계 내지 S150 단계의 과정을 시도한다. 이상의 과정들을 반복하여 하나의 동작에 속한 일련의 장면들에 대하여 모두 일치 판정이 생성되면 해당 동작이 일치함을 판정하고(S190), 제한 시간이 초과하면 동작이 일치되지 아니함을 판정하게 된다(S170).
이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
본 발명에 의하면, 사용자의 동작에 제한을 주지 않는 무선 적외선 발광 다이오드 밴드를 사용하면서 사용자의 동작을 정확하고 빠르게 인식할 수 있다. 또한 사용자가 원하는 경우에 재활 훈련을 실시간으로 확인할 수 있는 수단을 용이하게 부가할 수 있다.

Claims (12)

  1. 사용자의 소정 부위에 부착된 다수의 발광체로부터 사용자의 동작을 실시간 인식하여 처리하는 장치에 있어서,
    상기 발광체들을 포함한 사용자의 모습을 촬영하는 카메라;
    상기 카메라의 영상에 표시된 발광체들의 위치로부터 특징점들의 평면 좌표를 획득하는 평면 좌표 획득부;
    상기 특징점들이 이루는 다각형의 무게 중심점의 좌표를 구하고, 무게 중심점을 새로운 원점으로 한 특징점의 벡터 좌표를 획득하는 벡터 좌표 획득부;
    특징점들 중 원점으로부터 가장 원거리를 위치한 특징점까지의 거리를 반지름으로 한 원의 내부를 소정의 거리 구간과 소정의 각도 구간에 의해 구분한 구간들로 나누고, 상기 각 특징점의 벡터 좌표를 이용하여 상기 구간들 중 각 특징점이 위치하는 구간을 결정하는 구간 결정부; 및
    상기 각 특징점에 대응하는 구간 정보가 미리 저장된 템플릿의 대응하는 장면 데이터와 일치하는지 여부를 확인하는 장면 비교부;를 포함함을 특징으로 하는 실시간 동작 인식 장치.
  2. 제1항에 있어서, 상기 발광체는
    하나 이상의 적외선 발광 다이오드임을 특징으로 하는 실시간 동작 인식 장치.
  3. 제2항에 있어서, 상기 카메라는
    적외선 발광 다이오드로부터의 적외선을 추출하기 위한 적외선 필터를 구비함을 특징으로 하는 실시간 동작 인식 장치.
  4. 제2항에 있어서, 상기 평면 좌표 획득부는
    특징점의 평면 좌표를 획득하기 위하여 적외선 발광 다이오드들의 위치를 그룹화하는 것을 특징으로 하는 실시간 동작 인식 장치.
  5. 제1항에 있어서, 상기 발광체는
    사용자의 머리, 양 손목, 양 발목의 5개 부위에 장착됨을 특징으로 하는 실시간 동작 인식 장치.
  6. 제1항에 있어서, 상기 구간 결정부에서
    상기 거리 구간은 원점으로부터 멀어질수록 조밀하게 형성됨을 특징으로 하는 실시간 동작 인식 장치.
  7. 제1항에 있어서, 상기 구간 결정부에서
    상기 각도 구간은 상기 거리 구간이 원점으로부터 한 단계 외곽에 위치함에 따라 절반의 크기로 작아짐을 특징으로 하는 실시간 동작 인식 장치.
  8. 제1항에 있어서, 상기 템플릿 데이터는
    데이터베이스로 저장되고, 각 장면마다 구간별 1비트가 할당되고, 동작 데이터가 존재하는 구간은 1로 마스킹 되어 표현됨을 특징으로 하는 실시간 동작 인식 장치.
  9. 사용자의 소정 부위에 부착된 다수의 발광체로부터 사용자의 움직임을 실시간 인식하여 처리하는 방법에 있어서,
    (a) 카메라가 상기 발광체들을 포함한 사용자의 모습을 촬영하는 단계;
    (b) 동작 인식 장치가 상기 카메라가 촬영한 영상을 전달받고, 전달받은 영상에 표시된 발광체들의 위치로부터 특징점들의 평면 좌표를 획득하는 단계;
    (c) 동작 인식 장치가 상기 특징점들이 이루는 다각형의 무게 중심점의 좌표를 구하고, 무게 중심점을 원점으로 한 특징점의 벡터 좌표를 획득하는 단계;
    (d) 동작 인식 장치가 특징점들 중에서 원점으로부터 가장 원거리를 위치한 특징점까지의 거리를 반지름으로 한 원의 내부를 소정의 거리 구간과 소정의 각도 구간에 의해 구분한 구간들로 나누고, 상기 각 특징점의 벡터 좌표를 이용하여 상기 구간들 중 각 특징점이 위치하는 구간을 결정하는 단계;
    (e) 동작 인식 장치가 상기 각 특징점에 대응하는 구간 정보가 미리 저장된 템플릿의 장면 데이터와 일치하는지 여부를 확인하는 단계;
    (f) 상기 (e) 단계에서 일치하지 않으면 동작 인식 장치가 소정의 제한 시간 내에 상기 (a) 단계 내지 상기 (e) 단계의 과정을 반복하여 재시도하고, 일치하면 다음 장면에 대하여 상기 (a) 단계 내지 (e) 단계의 과정을 시도하되, 일련의 장면에 대하여 모두 일치 판정이 생성되면 동작 인식 장치가 동작이 일치함을 판정하고, 제한 시간이 초과하면 동작이 일치되지 아니함을 판정하는 단계;를 포함함을 특징으로 하는 실시간 동작 인식 방법.
  10. 제9항에 있어서, 상기 (b) 단계는
    특징점의 평면 좌표를 획득하기 위하여 발광체들의 위치를 그룹화하는 것을 특징으로 하는 실시간 동작 인식 방법.
  11. 제9항에 있어서, 상기 (d) 단계에서
    상기 거리 구간은 원점으로부터 멀어질수록 조밀하게 형성됨을 특징으로 하는 실시간 움직임 동작 방법.
  12. 제9항에 있어서, 상기 (d) 단계에서
    상기 각도 구간은 상기 거리 구간이 원점으로부터 한 단계 외곽에 위치함에 따라 절반의 크기로 작아짐을 특징으로 하는 실시간 동작 인식 방법.
KR1020060112463A 2006-11-14 2006-11-14 실시간 동작 인식 장치 및 그 방법 KR100814289B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020060112463A KR100814289B1 (ko) 2006-11-14 2006-11-14 실시간 동작 인식 장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020060112463A KR100814289B1 (ko) 2006-11-14 2006-11-14 실시간 동작 인식 장치 및 그 방법

Publications (1)

Publication Number Publication Date
KR100814289B1 true KR100814289B1 (ko) 2008-03-18

Family

ID=39410756

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060112463A KR100814289B1 (ko) 2006-11-14 2006-11-14 실시간 동작 인식 장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR100814289B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101470805B1 (ko) * 2012-11-14 2014-12-08 주식회사 도담시스템스 실내 훈련용 곡사화기 사격술 모의 훈련 시스템 및 이의 제어방법
WO2016200197A1 (ko) * 2015-06-10 2016-12-15 (주)브이터치 사용자 기준 공간좌표계 상에서의 제스처 검출 방법 및 장치
KR101908176B1 (ko) 2015-12-31 2018-10-15 한국산업기술대학교산학협력단 보행 보조기를 위한 보행 상태 추정 방법 및 장치

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10326148A (ja) 1997-03-21 1998-12-08 Takenaka Komuten Co Ltd ハンドポインティング装置
KR20010070873A (ko) * 2001-06-15 2001-07-27 태 선 김 거리측정수단을 이용한 다기능 표시장치
JP2004157850A (ja) 2002-11-07 2004-06-03 Olympus Corp 運動検出装置
KR20050039799A (ko) * 2005-04-06 2005-04-29 정준익 다색 발광소자와 컬러 이미지 센서를 이용한 포인팅작동원리 및 장치
JP2005256232A (ja) 2004-03-12 2005-09-22 Nippon Telegr & Teleph Corp <Ntt> ３ｄデータ表示方法、装置、およびプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10326148A (ja) 1997-03-21 1998-12-08 Takenaka Komuten Co Ltd ハンドポインティング装置
KR20010070873A (ko) * 2001-06-15 2001-07-27 태 선 김 거리측정수단을 이용한 다기능 표시장치
JP2004157850A (ja) 2002-11-07 2004-06-03 Olympus Corp 運動検出装置
JP2005256232A (ja) 2004-03-12 2005-09-22 Nippon Telegr & Teleph Corp <Ntt> ３ｄデータ表示方法、装置、およびプログラム
KR20050039799A (ko) * 2005-04-06 2005-04-29 정준익 다색 발광소자와 컬러 이미지 센서를 이용한 포인팅작동원리 및 장치

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101470805B1 (ko) * 2012-11-14 2014-12-08 주식회사 도담시스템스 실내 훈련용 곡사화기 사격술 모의 훈련 시스템 및 이의 제어방법
WO2016200197A1 (ko) * 2015-06-10 2016-12-15 (주)브이터치 사용자 기준 공간좌표계 상에서의 제스처 검출 방법 및 장치
US10846864B2 (en) 2015-06-10 2020-11-24 VTouch Co., Ltd. Method and apparatus for detecting gesture in user-based spatial coordinate system
KR101908176B1 (ko) 2015-12-31 2018-10-15 한국산업기술대학교산학협력단 보행 보조기를 위한 보행 상태 추정 방법 및 장치

Similar Documents

Publication Publication Date Title
CN103996019B (zh) 用于检测和跟踪一个物体上多个部位的系统和方法
US9330307B2 (en) Learning based estimation of hand and finger pose
US9898651B2 (en) Upper-body skeleton extraction from depth maps
CN110045823B (zh) 一种基于动作捕捉的动作指导方法和装置
US8355529B2 (en) Motion capture apparatus and method, and motion capture program
US9235753B2 (en) Extraction of skeletons from 3D maps
JP5986656B2 (ja) 深度カメラを用いた人体の骨格に基づくテコンドープムセの認識及び昇段審査装置とその方法
Dikovski et al. Evaluation of different feature sets for gait recognition using skeletal data from Kinect
JP5873442B2 (ja) 物体検出装置および物体検出方法
JP4241763B2 (ja) 人物認識装置及びその方法
JP5898199B2 (ja) 姿勢推定装置、姿勢推定方法、および姿勢推定プログラム
CN108304828B (zh) 一种三维活体人脸识别装置及方法
US20020028003A1 (en) Methods and systems for distinguishing individuals utilizing anatomy and gait parameters
JP6662532B2 (ja) 歩行分析装置、歩行分析方法、及びプログラム
JP7113013B2 (ja) 被験者の頭部の追跡
KR20090084035A (ko) 실시간 동작 인식 방법
JP2021086322A (ja) 画像処理装置、画像処理方法及びプログラム
KR100814289B1 (ko) 실시간 동작 인식 장치 및 그 방법
JP7419999B2 (ja) 情報処理装置および情報処理方法
JP5289290B2 (ja) 姿勢推定装置
WO2013088517A1 (ja) 停立人物の向き推定方法
US12089926B2 (en) Feigned injury detection systems and methods
CN108885087B (zh) 测量装置、测量方法和计算机可读记录介质
WO2020149149A1 (en) Information processing apparatus, information processing method, and program
CN112036324A (zh) 一种用于复杂多人场景的人体姿态判定方法及系统

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130125

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20140307

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20150310

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20160225

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20161226

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20200304

Year of fee payment: 13