KR20110068579A

KR20110068579A - 손가락 동작 인식 방법

Info

Publication number: KR20110068579A
Application number: KR1020090125596A
Authority: KR
Inventors: 임정묵; 이동우; 손용기; 김배선
Original assignee: 한국전자통신연구원
Priority date: 2009-12-16
Filing date: 2009-12-16
Publication date: 2011-06-22
Also published as: KR101601872B1

Abstract

본 발명은 손가락 동작 인식 방법에 관한 것으로, 손가락 움직임 명령을 인식함에 있어서, 각 손가락 움직임에 대한 가중치 벡터를 적용하여 산출된 손가락 움직임 명령에 대한 대표 파형과의 유사도에 근거하여 제1 후보 손가락 움직임 명령을 생성하는 단계, 후보 손가락 움직임 명령을 포함하는 유사 그룹의 존재 여부에 따라, 유사 그룹에 대한 가중치를 적용하여 산출된 유사 그룹의 유사도에 근거하여 제2 후보 손가락 움직임 명령을 생성하는 단계, 제1 후보 손가락 움직임 명령과 제2 후보 손가락 움직임 명령을 조합하여 생성된 손가락 움직임 명령의 신뢰도를 산출하는 단계, 및 산출된 손가락 움직임 명령의 신뢰도가 임계치 이상인 경우, 해당 손가락 움직임 명령을 최종 결과로 인식하는 단계를 포함한다. 본 발명에 따르면, 센서 값의 패턴을 정형화한 후, 획득한 센서 값을 정형화한 기존 패턴과 비교하여 손가락 동작 명령을 인식하는 인식기에서 손가락 동작 명령에 따른 서로 다른 가중치 벡터를 두 단계로 나누어 적용함으로써, 인식의 정확성을 높이는 효과가 있다.

Description

손가락 동작 인식 방법{Method for finger gesture recognition}

본 발명은 손가락 동작 인식 방법에 관한 것으로, 특히 제한된 컴퓨팅 환경을 갖는 모바일 손가락 동작 인식기에서 손가락 동작을 인식하기 위해 손목부근에서 반사되는 광신호를 분석하고 이에 따라 손가락 동작을 분류하는 손가락 동작 인식 방법에 관한 것이다.

본 발명은 지식경제부의 IT원천기술개발사업의 일환으로 수행한 연구로부터 도출된 것이다[과제관리번호: 2008-F-048-02, 과제명: u-컴퓨팅 공간 협업을 위한 Wearable Personal Companion 기술개발].

손 동작 인터페이스 설계를 위한 종래의 손 동작 인식 기술은 카메라를 이용한 영상 방식이 널리 사용되나 기본적으로 항상 가시선이 확보된 카메라가 있어야 하며, 취득 영상으로부터 손 또는 손가락 등 손 동작을 위한 특정 부위를 검출하기가 어려운 단점으로 인해 모바일 환경에서 사용하기에 제한적이다.

이와 같은 카메라 비젼 방식의 단점을 극복하고, 모바일 환경에서 자유롭게 사용할 수 있게 하기 위해 최근　On Body 센싱 기법이 많이 연구되고 있다. 대표적 인 On Body 센싱을 위한 센서로는 sEMG, 압전센서, 관성센서, PPG센서 등이 있다.

이와 같이 다양한 센서를 신체에 부착하여 사용자 동작을 인식하는 문제는 결국 데이터 분류 또는 패턴분류의 문제라고 할 수 있다. 기존에 많이 사용했던 방법으로는 신경망(neural networks)과 지지벡터 기계(Support Vector Machine)을 많이 사용한다.

신경망은 출력 오차를 역전파(back-propagation)하여 최소화 하는 방식으로써, 학습을 통해 많은 데이터의 정보를 적은 수의 신경망의 가중치로 나타낼 수 있다는 장점을 갖는다. 하지만 가중치의 초기값에 따라 지역 최소화(local minima)에 빠질 가능성이 크며, 뉴런의 층과 개수에 따라 인식성능이 좌우되고 최적화된 해를 보장할 수 없다는 단점이 있다. 또한 같은 데이터에 대해 매 학습 때마다 같은 결과를 보장할 수 없으며, 학습 속도가 느리기 때문에 제한된 컴퓨팅 파워를 갖는 모바일 형태의 사용자 입력장치 응용에 적용하기에 어려움이 있다.

이와는 다르게 지지벡터 기계는 서로 다른 종류의 데이터 간에 폭을 최대화하여 좋은 일반화 성능을 갖는다는 장점이 있다. 또한 이차 형태 목적 함수의 해를 구하기 때문에 항상 전역 최적의 결과를 구할 수 있으며 학습 시 항상 같은 결과를 보장할 수 있다. 신경망 기법과는 다르게 판별함수를 표현하기 위해 지지벡터를 자동으로 결정하여 사용함으로써 좀 더 효율적인 정보 분류의 표현이 가능하기 때문에 여러 가지 패턴 인식 문제에 적용되어 왔다.

하지만, 지지벡터 기계는 이진 분류만이 가능하므로, 다중 분류문제를 해결하기 위해서 이를 확장하기 위한 기법이 필요하다. 이를 위한 여러 기법들로 one- against-all, one-against-one, dynamic acyclic graphs 방식의 여러 방법들이 제안되었지만, 지지벡터 기계는 기본적으로 이진 분류를 위해 개발된 알고리즘이기 때문에 다중 분류를 위해서는 항상 데이터의 중복적인 사용이 불가피하다.

이는 데이터의 종류가 증가하거나 데이터 개수가 증가할 경우, 학습 속도가 기하급수적으로 증가하게 되는 결과를 초래하게 된다. 따라서 지지벡터 기계 역시 제한된 컴퓨팅 파워를 갖는 모바일 형태의 사용자 입력장치 응용에 적용하기 어려운 단점이 있다.

상기한 문제를 해결하기 위하여, 본 발명은 유사한 손 동작 인터페이스를 그룹핑하고, 전체 손 동작 명령과 유사 손동작 명령 그룹의 가중치 벡터를 두 단계로 적용함으로써 인식의 정확도를 높이며, 최종적으로는 인식 결과의 신뢰도를 수치화 함으로써 정해진 손동작 명령 이외의 생활 노이즈를 효과적으로 제거하도록 하는 손가락 동작 인식 방법을 제공함에 그 목적이 있다.

또한, 본 발명은 서로 다른 종류의 패턴간의 변별력을 최대화한 간단한 인식 판별함수를 사용함으로써 모바일 환경에서도 사용할 수 있도록 하는 손가락 동작 인식 방법을 제공함에 다른 목적이 있다.

상기의 목적을 달성하기 위한 본 발명에 따른 손가락 동작 인식 방법은, 손가락 움직임 명령을 인식함에 있어서, 각 손가락 움직임에 대한 가중치 벡터를 적용하여 산출된 손가락 움직임 명령에 대한 대표 파형과의 유사도에 근거하여 제1 후보 손가락 움직임 명령을 생성하는 단계, 상기 후보 손가락 움직임 명령을 포함하는 유사 그룹의 존재 여부에 따라, 유사 그룹에 대한 가중치를 적용하여 산출된 유사 그룹의 유사도에 근거하여 제2 후보 손가락 움직임 명령을 생성하는 단계, 상기 제1 후보 손가락 움직임 명령과 상기 제2 후보 손가락 움직임 명령을 조합하여 생성된 손가락 움직임 명령의 신뢰도를 산출하는 단계, 및 산출된 상기 손가락 움 직임 명령의 신뢰도가 임계치 이상인 경우, 해당 손가락 움직임 명령을 최종 결과로 인식하는 단계를 포함하는 것을 특징으로 한다.

본 발명에 따르면, 센서 값의 패턴을 정형화한 후, 획득한 센서 값을 정형화한 기존 패턴과 비교하여 손가락 동작 명령을 인식하는 인식기에서 손가락 동작 명령에 따른 서로 다른 가중치 벡터를 두 단계로 나누어 적용함으로써, 인식의 정확성을 높이는 효과가 있다.

또한, 본 발명은, 최종 인식된 손가락 명령의 신뢰도를 계산하고, 인식 결과의 신뢰도를 수치화하여 사용자에게 보임으로써 인식 결과의 신뢰도를 보장할 수 있으며, 노이즈도 효과적으로 제거할 수 있는 이점이 있다.

이하, 첨부된 도면을 참조하여 본 발명의 실시예를 설명한다.

도 1은 본 발명에 따른 손가락 동작 인식 방법을 적용한 인식장치를 도시한 예시도이다.

도 1을 참조하면, 본 발명에 따른 손가락 동작 인식 방법으로 동작하기 위해서, 인식장치는 사용자의 손목 부위에 구비된다.

이때, 인식장치(20)는 사용자의 손(10), 상세하게는 손가락의 움직임을 측정 하기 위한 신호를 발생하는 신호발생수단인 발광부(21)와, 발광부(21)에 의해 발생된 신호가 손목 내부에서 반사된 신호를 계측하는 신호계측수단인 수광부(22)를 구비한 센서(23)를 포함한다. 이때, 인식장치(20)의 센서(23)는 손목의 힘줄 구분에 부착되어, 손목 부근에 위치한 힘줄 다발(12, 13)의 변화를 반사신호로부터 계측하여 손가락 동작 명령을 인식하게 된다.

도 1에서와 같이 사용자의 손목 부근에 장착된 인식장치를 이용하여 손가락 동작을 인식하는 과정을 설명하면 다음과 같다.

먼저, 도 2는 본 발명에 따른 손가락 동작 인식 방법에 대한 전체 동작 흐름을 나타낸 순서도이다.

도 2에 도시된 바와 같이, 본 발명에 따른 손가락 동작 인식 방법을 이용하여 손가락 동작 명령을 인식하기 위해서는, 손가락 움직임 분류 단계(S100)와, 손가락 동작 인식 단계(S200)로 동작한다.

손가락 움직임 분류 단계(S100)에 대한 구체적인 동작 설명은 도 3을 참조하도록 한다. 또한, 손가락 동작 인식 단계(S200)에 대한 구체적인 동작 설명은 도 8을 참조하도록 한다.

도 3은 본 발명의 실시예에 따른 손가락 움직임 분류 동작의 흐름을 나타낸 것이다.

도 3에 도시된 바와 같이, 손가락 움직임 분류 단계(S100)는, 각 손가락 움 직임 명령의 대표 파형(Representative Hand Posture, RHP)을 생성하는 것으로 시작된다(S110).

이때, 손가락 움직임 명령의 대표 파형(RHP)을 생성하는 구체적인 실시예는 도 4A 내지 도 5를 참조한다.

도 4a 내지 도 5는 본 발명의 일실시예에 따른 손가락 움직임 명령의 대표 파형(RHP)을 생성 동작을 설명하는데 참조되는 예시도이다.

먼저, 도 4a는 'Hold' 명령을 지시하는 손가락 움직임에 대한 여러 파형을 나타낸 것이다.

또한, 도 4b는 'Spread' 명령을 지시하는 손가락 움직임에 대한 여러 파형을 나타낸 것이다.

또한, 도 4c는 'Hi' 명령을 지시하는 손가락 움직임에 대한 여러 파형을 나타낸 것이다.

또한, 도 4d는 'Wave1' 명령을 지시하는 손가락 움직임에 대한 여러 파형을 나타낸 것이다.

또한, 도 4e는 'Wave2' 명령을 지시하는 손가락 움직임에 대한 여러 파형을 나타낸 것이다.

각 손가락 움직임 명령에 대한 대표 파형을 생성하는 과정(S110)은, 도 4a 내지 도 4e와 같은 손가락 움직임 명령에 대한 센서 데이터를 시계열 형태로 획득하고, 최대 진폭에 대해 정규화한다. 이때, 정규화한 센서 데이터들의 평균값을 해 당 손가락 움직임 명령의 대표 파형으로 저장한다.

이와 같은 방법으로 저장된, 'Hold', 'Spread', 'Hi', 'Wave1', 및 'Wave2'의 손가락 움직임 명령에 대한 대표 파형은 도 5와 같다.

도 5의 대표 파형을 살펴보면, 'Hold', 'Hi', 'Wave2'의 손가락 움직임 명령에 대한 대표 파형이 유사한 파형을 가지고, 'Spread', 'Wave1'의 손가락 움직임 명령에 대한 대표 파형이 유사한 파형을 가지는 것을 알 수 있다.

또한, 각 손가락의 움직임에 따른 손가락 움직임 명령의 대표 파형(RHP)이 생성되면, 모든 손가락 움직임에 대한 가중치 벡터(Weight Vector, WV_RHP)를 생성한다(S120).

'S120' 과정은, 모든 손가락 움직임 명령에 대한 가중치 벡터(WV_RHP)를 생성하는 경우, 각 손가락 움직임 명령 대표 파형들의 표준편차를 구한 후, 표준편차의 최소값과, 최대값의 차를 10 등분한다. 이때, 각 구간별로 최소구간은 1, 최대구간은 10의 방법으로 가중치를 부여한다.

각 구간별로 가중치를 부여하는 것은, 시계열로 표현되는 대표 파형들의 차별화를 극대화 시킬 수 있는 시간 구간을 지정함으로써, 각 대표 파형의 변별력을 증가시키기 위함이다.

이후, 각 손가락의 움직임 중에서, 손가락 움직임 명령에 대한 유사 그룹(Similar Group, SG)을 생성한다(S130).

'S130' 과정에서, 손가락 움직임 명령에 대한 유사 그룹(SG)을 생성하기 위해서는, 각 손가락 움직임 명령의 대표 파형 간에 유클리드 거리를 계산한다. 이때, 계산된 유클리드 거리가 임계치 이하인 경우, 유사 그룹으로 생성한다.

여기서, V={v₁, v₂, v₃, ..., v_n},, W={w₁, w₂, w₃, ..., w_n},과 같은 V, W의 두 벡터가 있을 때, 두 벡터 V, W 간에 유클리드 거리를 계산하기 위해서는 [수학식 1]을 적용한다.

여기서, D는 두 벡터 V, W 간에 유클리드 거리를 의미하고, n은 손가락 움직임 명령 벡터의 차수를 의미한다.

[수학식 1]을 적용하여 산출된, 각 손가락 움직임 명령의 대표 파형 간에 유클리드 거리는 도 6의 유클리드 거리 계산 테이블을 참조한다.

이후, 'S130' 과정이 완료되면, 'S130' 과정에서 생성된 유사 그룹(SG)에 대 한 가중치 벡터(Weight Vector,WV_SG)를 생성한다(S140).

이때, 'S140' 과정에서 유사 그룹(SG)에 속한 손가락 움직임 명령들을 대상으로 한 가중치 벡터를 생성하는 방법은, 모든 손가락 움직임 명령에 대한 가중치 벡터(WV_RHP)를 생성하는 방법과 동일하다.

다시 말해, 유사 그룹(SG)에 속한 손가락 움직임 명령들을 대상으로 한 가중치 벡터를 생성하기 위해서는, 각 손가락 움직임 명령 대표 파형들의 표준편차를 구한 후, 표준편차의 최소값과, 최대값의 차를 10 등분한다. 이때, 각 구간별로 최소구간은 1, 최대구간은 10의 방법으로 가중치를 부여한다.

유사 그룹(SG)에 속한 손가락 움직임 명령들을 대상으로 한 가중치 벡터를 생성하는 동작에 대한 실시예는 도 7을 참조한다.

도 7은 모든 손가락 명령 그룹과 유사 그룹(SG) 간의 가중치 벡터 변화를 나타낸 것이다.

도 7을 참조하면, 먼저 도 7의 (a)는 모든 손가락 명령에 대란 가중치 벡터를 나타낸 것이다. 또한, 도 7의 (b)는 'Hold', 'Hi', 'Wave2' 그룹의 가중치 벡터를 나타낸 것이다. 또한, 도 7의 (c)는 'Spread', 'Wave1' 그룹의 가중치 벡터를 나타낸 것이다.

도 7에 도시된 바와 같이, 5개의 손가락 움직임 명령에 대해 생성한 가중치 벡터 WV_RHP, WV_SG 를 비교하면, 각 대표 파형들이 차별화 되는 샘플 구간이 변화되는 것을 확인할 수 있다.

이와 같이, 손가락 움직임 분류 단계(S100)에서는, 손가락 움직임 명령은 반복적으로 재현이 가능하고, 다른 움직임과 쉽게 구분되는 패턴으로 정의한다.

한편, 도 8은 본 발명의 실시예에 따른 손가락 동작 인식 동작의 흐름을 나타낸 것이다.

도 8에 도시된 바와 같이, 손가락 동작 인식 단계(S200)는, 손목에 장착한 센서로부터 임계치 이상의 신호가 감지되면, 일정시간 동안 센서신호를 저장하여 인식 대상이 되는 벡터 g를 생성하고, 이때 획득한 벡터 g를 최대 진폭에 대해 정규화한 벡터 V을 생성하는 것으로 시작한다(S210).

이후, 모든 손가락 움직임에 대한 가중치 벡터인 WV_RHP를 이용하여 정규화한 벡터 V와, 각 손가락 움직임 명령의 대표 파형인 RHP 간 유사도를 계산하고(S220), 그 결과로부터 후보 손가락 움직임 명령(Candidate Hand Posture, CHP)을 생성한다(S230).

이때, 후보 손가락 움직임 명령(CHP)을 생성하기 위한 유사도 계산식은 [수학식 2]와 같다.

S₁는 정규화한 벡터 V와, 각 손가락 움직임 명령의 대표 파형인 RHP 간 유사도를 의미한다.

이때, 인식 대상 벡터 V={v₁, v₂, v₃, ..., v_n}, 대표 손가락 움직임 명령 벡터 RV_K={rv₁, rv₂, rv₃, ..., rv_n}, 가중치 벡터 WV_RHP={wv₁, wv₂, wv₃, ..., wv_n}라 가정한다. 여기서, k는 손가락 움직임 명령 표시자를 의미하고, n은 손가락 움직임 명령 벡터의 차수를 의미한다.

이때, 'S230' 과정에서 생성된 후보 손가락 움직임 명령(CHP)을 포함하는 유사 그룹(SG)이 존재하는지 확인하여, 해당 유사 그룹(SG)이 존재하지 않는 경우(S240), 후보 손가락 움직임 명령인 CHP를 손가락 움직임 명령 HP로 정의한다(S245). 이후, 'S290' 과정을 수행한다.

한편, 해당 유사 그룹(SG)이 하나 이상 존재하는 경우(S240), 도 3의 'S130' 과정에서 생성된 유사 그룹(SG)에 대한 가중치 벡터(WV_SG)를 적용하여 각 유사 그 룹(SG)에 대한 유사도를 계산하고(S250), 그 결과로부터 후보 손가락 움직임 명령(CHP_refine)을 생성한다(S260).

이때, 후보 손가락 움직임 명령(CHP_refine)을 생성하기 위한 유사도 계산식은 [수학식 3]과 같다.

S₂는 각 유사 그룹(SG)에 대한 유사도를 의미한다.

이때, 인식 대상 벡터 V={v₁, v₂, v₃, ..., v_n}, 대표 손가락 움직임 명령 벡터 RV_i={rv₁, rv₂, rv₃, ..., rv_n}, 유사 그룹(SG)에 대한 가중치 벡터WV_SGj={wv₁, wv₂, wv₃, ..., wv_n}라 가정한다.

여기서, j={1, ..., n}일때, i는 유사 그룹 SG_j에 속한 손가락 움직임 명령 벡터를 의미한다.

이후, 후보 손가락 움직임 명령 CHP와, CHP_refine를 조합하여(S270), 손가락 움직임 명령(Hand Posture, HP)을 생성한다(S280).

또한, 'S210'에서 정규화된 벡터 V와, 'S280' 과정에서 생성된 손가락 움직임 명령 HP의 신뢰도를 계산한다(S290).

이때, 정규화된 벡터 V와, 손가락 움직임 명령 HP의 신뢰도 계산식은 [수학식 4]와 같다.

이때, 신뢰도 R은 cosinθ를 이용한 방법으로, '-1 < R < 1' 값으로 표현된다.

만일, 'S290' 과정에서 계산된 신뢰도 R이 임계치(α) 이상인 경우(S300), 해당 손가락 움직임 명령(HP)을 최종 결과로 반환함으로써, 손가락 움직임 명령을 인식하여 처리하도록 한다(S310, S320).

한편, 계산된 신뢰도 R이 임계치(α) 미만인 경우에는(S300), 해당 손가락 움직임 명령(HP)을 노이즈로 인식하여(S305), 해당 손가락 동작 인식 단계를 종료한다.

본 발명에 따른 손가락 동작 인식 방법은, 상기와 같이 신뢰도를 계산함으로써 단순 유사도 계산으로 손가락 동작을 인식함에 있어서, 모호한 결과 또는 생활 노이즈를 손쉽게 제거할 수 있다.

이상과 같이 본 발명에 의한 손가락 동작 인식 방법은 예시된 도면을 참조로 설명하였으나, 본 명세서에 개시된 실시예와 도면에 의해 본 발명은 한정되지 않고, 기술사상이 보호되는 범위 이내에서 응용될 수 있다.

도 1 은 본 발명에 따른 손가락 동작 인식 방법을 적용한 인식장치를 도시한 예시도이다.

도 2 는 본 발명에 따른 손가락 동작 인식 방법에 대한 전체 동작 흐름을 나타낸 순서도이다.

도 3 은 본 발명의 실시예에 따른 손가락 움직임 분류 동작의 흐름을 나타낸 순서도이다.

도 4a 내지 도 5 는 본 발명의 일실시예에 따른 손가락 움직임 명령의 대표 파형(RHP) 생성 동작을 설명하는데 참조되는 예시도이다.

도 6 은 손가락 움직임 명령에 대한 유사 그룹을 생성하는 동작을 설명하는데 참조되는 예시도이다.

도 7 은 본 발명에 따른 유사 그룹에 대한 가중치 벡터를 생성하는 동작을 설명하는데 참조되는 예시도이다.

도 8 은 본 발명에 따른 손가락 동작을 인식하는 동작의 흐름을 나타낸 순서도이다.

Claims

손가락 움직임 명령을 인식함에 있어서,

각 손가락 움직임에 대한 가중치 벡터를 적용하여 산출된 손가락 움직임 명령에 대한 대표 파형과의 유사도에 근거하여 제1 후보 손가락 움직임 명령을 생성하는 단계;

상기 후보 손가락 움직임 명령을 포함하는 유사 그룹의 존재 여부에 따라, 유사 그룹에 대한 가중치를 적용하여 산출된 유사 그룹의 유사도에 근거하여 제2 후보 손가락 움직임 명령을 생성하는 단계;

상기 제1 후보 손가락 움직임 명령과 상기 제2 후보 손가락 움직임 명령을 조합하여 생성된 손가락 움직임 명령의 신뢰도를 산출하는 단계; 및

산출된 상기 손가락 움직임 명령의 신뢰도가 임계치 이상인 경우, 해당 손가락 움직임 명령을 최종 결과로 인식하는 단계;를 포함하는 것을 특징으로 하는 손가락 동작 인식 방법.