KR101755242B1 - 근전도 센서와 모션 센서를 이용한 지화 인식 장치 및 그것을 이용한 지화 인식 방법 - Google Patents

근전도 센서와 모션 센서를 이용한 지화 인식 장치 및 그것을 이용한 지화 인식 방법 Download PDF

Info

Publication number
KR101755242B1
KR101755242B1 KR1020150176835A KR20150176835A KR101755242B1 KR 101755242 B1 KR101755242 B1 KR 101755242B1 KR 1020150176835 A KR1020150176835 A KR 1020150176835A KR 20150176835 A KR20150176835 A KR 20150176835A KR 101755242 B1 KR101755242 B1 KR 101755242B1
Authority
KR
South Korea
Prior art keywords
subject
signal
type
action
consonant
Prior art date
Application number
KR1020150176835A
Other languages
English (en)
Other versions
KR20170069521A (ko
Inventor
신현출
유경진
강기문
이기원
Original Assignee
숭실대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 숭실대학교산학협력단 filed Critical 숭실대학교산학협력단
Priority to KR1020150176835A priority Critical patent/KR101755242B1/ko
Publication of KR20170069521A publication Critical patent/KR20170069521A/ko
Application granted granted Critical
Publication of KR101755242B1 publication Critical patent/KR101755242B1/ko

Links

Images

Classifications

    • G06K9/00355—
    • A61B5/04012—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06K9/00885—

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 근전도 센서와 모션 센서를 이용한 지화 인식 장치 및 그것을 이용한 지화 인식 방법에 관한 것으로, 본 발명에 따른 지화 인식 방법에 따르면, 지화 인식 장치를 이용한 지화 인식 방법에 있어서, 피측정자의 신체 일부에 부착된 센서로부터 측정된 가속도 신호, 자이로 신호 및 근전도 신호를 입력받는 단계, 상기 자이로 신호 및 근전도 신호 중 적어도 어느 하나를 이용하여 상기 피측정자의 동작 유형이 자음 및 모음 동작을 포함하는 언어음 동작 유형인지 상기 자음 및 모음에 적용되는 획 추가 동작 및 쌍자음 동작 그리고 인식된 동작을 취소하기 위한 삭제 동작을 포함하는 기능적 동작 유형인지를 판단하는 단계, 상기 가속도 신호 및 자이로 신호를 이용하여 상기 피측정자의 손목 각도를 연산하는 단계, 그리고 상기 판단된 동작 유형, 상기 연산된 손목 각도 및 상기 근전도 신호 중 적어도 어느 하나를 이용하여 상기 피측정자의 지화 동작을 인식하는 단계를 포함한다.
이와 같이 본 발명에 따르면, 종래의 지화 체계에 비하여 표현하고자 하는 자음과 모음의 동작 수를 줄임으로써 피측정자의 지화 동작에 대한 인식률을 상승시킬 수 있다. 또한, 삭제 동작을 통해 잘못 인식된 지화 동작을 수정할 수 있으므로 편리성을 향상시킬 수 있다.

Description

근전도 센서와 모션 센서를 이용한 지화 인식 장치 및 그것을 이용한 지화 인식 방법{APPARATUS FOR FINGER LANGUAGE RECOGNITION USING ELECTROMYOGRAM SENSOR AND MOTION SENSOR AND METHOD FOR FINGER LANGUAGE RECOGNITION USING THE SAME}
본 발명은 근전도 센서와 모션 센서를 이용한 지화 인식 장치 및 그것을 이용한 지화 인식 방법에 관한 것으로서, 더욱 상세하게는 근전도 신호와 모션 측정 신호를 이용하여 피측정자의 지화 동작을 인식하는 지화 인식 장치 및 그것을 이용한 지화 인식 방법에 관한 것이다.
지화란 한글 자모음이나 알파벳, 숫자 하나하나를 손가락으로 표시하는 방법을 의미하며, 선천적 또는 후천적으로 청각 또는 언어 장애를 겪고 있는 사람들과의 의사소통을 위해 고안되었다.
한편, 이러한 지화 동작을 컴퓨터를 통해 인식하기 위하여 다양한 연구가 진행되고 있다. 하지만, 현재 지화 동작을 인식하기 위한 장치들은 대부분 수화나 지화 동작을 촬영하여 그 동작을 분석하므로 고가의 고속 연산 장비가 필요하며 정확한 지화 인식을 위해서는 실내에서 촬영을 해야하는 공간적인 제약이 있다.
이에 모션 글러브 등을 이용한 지화 인식 장치들이 연구되고 있으나, 이 또한 지문자 동작의 수가 많고, 지화 동작에 대한 인식도가 낮다는 문제가 있다.
본 발명의 배경이 되는 기술은 미국공개특허 제2008-0129694호(2008.06.05공개)에 개시되어 있다.
본 발명이 이루고자 하는 기술적 과제는 근전도 신호와 모션 측정 신호를 이용하여 피측정자의 지화 동작을 인식하는 지화 인식 장치 및 그것을 이용한 지화 인식 방법을 제공하기 위한 것이다.
이러한 기술적 과제를 이루기 위한 본 발명의 실시예에 따르면, 지화 인식 장치를 이용한 지화 인식 방법에 있어서, 지화 인식 방법은 피측정자의 신체 일부에 부착된 센서로부터 측정된 가속도 신호, 자이로 신호 및 근전도 신호를 입력받는 단계, 상기 자이로 신호 및 근전도 신호 중 적어도 어느 하나를 이용하여 상기 피측정자의 동작 유형이 자음 및 모음 동작을 포함하는 언어음 동작 유형인지 상기 자음 및 모음에 적용되는 획 추가 동작 및 쌍자음 동작 그리고 인식된 동작을 취소하기 위한 삭제 동작을 포함하는 기능적 동작 유형인지를 판단하는 단계, 상기 가속도 신호 및 자이로 신호를 이용하여 상기 피측정자의 손목 각도를 연산하는 단계, 그리고 상기 판단된 동작 유형, 상기 연산된 손목 각도 및 상기 근전도 신호 중 적어도 어느 하나를 이용하여 상기 피측정자의 지화 동작을 인식하는 단계를 포함한다.
상기 피측정자의 동작 유형을 판단하는 단계는, 상기 근전도 신호의 파워가 제1 임계값보다 큰 경우 상기 피측정자의 동작 유형을 상기 언어음 동작 유형으로 판단하고, 상기 근전도 신호의 파워가 제1 임계값보다 작거나 같은 경우 상기 자이로 신호의 각속도 크기가 제2 임계값보다 작으면 상기 기능적 동작 유형으로 판단할 수 있다.
상기 피측정자의 지화 동작을 인식하는 단계는, 상기 판단된 동작 유형이 언어음 동작 유형이면 상기 피측정자의 손목 각도, 상기 근전도 신호 및 기 저장된 가우시안 모델들을 이용하여 상기 피측정자의 지화 동작을 인식하고, 상기 판단된 동작 유형이 기능적 동작 유형이면, 상기 연산된 손목 각도를 이용하여 상기 피측정자의 지화 동작을 인식할 수 있다.
상기 판단된 동작 유형이 상기 언어음 동작 유형인 경우, 상기 근전도 신호에 대한 엔트로피를 연산하는 단계, 상기 엔트로피와 상기 피측정자의 손목 각도에 대한 특징 벡터를 생성하는 단계, 그리고 상기 생성된 특징 벡터와 상기 가우시안 모델들을 비교하여 우도(likelihood)를 판단하고, 상기 가우시안 모델들 중 상기 우도가 가장 높은 가우시안 모델에 대응하는 지화 동작을 상기 피측정자의 지화 동작으로 인식하는 단계를 포함할 수 있다.
상기 판단된 동작 유형이 상기 기능적 동작 유형인 경우, 기 설정된 복수의 임계 범위들과 상기 손목 각도를 비교하여 상기 손목 각도가 포함된 임계 범위를 선택하는 단계, 그리고 상기 선택된 임계 범위에 대응하는 상기 획 추가 동작, 쌍자음 동작 및 삭제 동작 중 어느 하나를 상기 피측정자의 지화 동작으로 인식하는 단계를 포함할 수 있다.
상기 손목 각도를 연산하는 단계는, 상기 자이로 신호 및 가속도 신호로부터 획득한 각도 값을 상보필터에 입력하여 상기 피측정자의 손목의 각도를 연산할 수 있다.
본 발명의 다른 실시예에 따른 지화 인식 장치는 피측정자의 신체 일부에 부착된 센서로부터 측정된 가속도 신호, 자이로 신호 및 근전도 신호를 입력받는 입력부, 상기 자이로 신호 및 근전도 신호 중 적어도 어느 하나를 이용하여 상기 피측정자의 동작 유형이 자음 및 모음 동작을 포함하는 언어음 동작 유형인지 상기 자음 및 모음에 적용되는 획 추가 동작 및 쌍자음 동작 그리고 인식된 동작을 취소하기 위한 삭제 동작을 포함하는 기능적 동작 유형인지를 판단하는 판단부, 상기 가속도 신호 및 자이로 신호를 이용하여 상기 피측정자의 손목 각도를 연산하는 연산부, 그리고 상기 판단된 동작 유형, 상기 연산된 손목 각도 및 상기 근전도 신호 중 적어도 어느 하나를 이용하여 상기 피측정자의 지화 동작을 인식하는 인식부를 포함한다.
이와 같이 본 발명에 따르면, 종래의 지화 체계에 비하여 표현하고자 하는 자음과 모음의 동작 수를 줄임으로써 피측정자의 지화 동작에 대한 인식률을 상승시킬 수 있다. 또한, 삭제 동작을 통해 잘못 인식된 지화 동작을 수정할 수 있으므로 편리성을 향상시킬 수 있다.
도 1은 본 발명의 실시예에 따른 지화 인식 장치를 이용한 지화 인식 시스템의 시스템도이다.
도 2는 종래의 지화 인식 체계를 나타낸 도면이다.
도 3은 본 발명의 실시예에 따른 지화 인식 체계를 나타낸 도면이다.
도 4는 본 발명의 실시예에 따른 지화 인식 방법에 대한 순서도이다.
도 5는 본 발명의 실시예에 따른 지화 동작에 따른 각 신호의 파형을 나타낸 도면이다.
도 6은 본 발명의 실시예에 따른 상보필터를 이용한 손목 각도 연산과정을 설명하기 위한 도면이다.
도 7은 본 발명의 실시예에 따른 지화 동작에 따른 가우시안 모델을 설명하기 위한 도면이다.
도 8은 종래의 지화 인식 장치의 인식 성공률을 나타낸 도면이다.
도 9는 본 발명의 실시예에 따른 지화 인식 장치의 인식 성공률을 나타낸 도면이다.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다.
그러면 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다.
먼저, 도 1 내지 도 3를 통해 본 발명의 실시예에 따른 근전도 센서(200)와 모션 센서(200)를 이용한 지화 인식 장치(100)에 대하여 살펴본다. 도 1은 본 발명의 실시예에 따른 지화 인식 장치를 이용한 지화 인식 시스템의 시스템도이다.
도 1에서 나타난 바와 같이, 지화 인식 장치(100)를 이용한 지화 인식 시스템은 지화 인식 장치(100) 및 센서(200)를 포함한다. 이때, 센서(200)는 지화 인식 장치(100)에 포함될 수 있다.
먼저, 센서(200)는 피측정자의 신체 일부에 부착되어 피측정자의 신체 움직임 및 근전도를 센싱한다. 본 발명의 실시예에 따르면, 센서(200)는 근전도 센서(210)와 모션 감지 센서(220)를 포함할 수 있으며, 모션 감지 센서(220)는 가속도 센서 및 자이로 센서 중 적어도 어느 하나를 포함할 수 있다.
일반적으로 지화 동작은 사람의 손과 손목의 움직임에 따라 구분되므로, 근전도 센서(210)는 피측정자의 전완에 부착될 수 있으며, 모션 감지 센서(220)는 피측정자의 손목이나 손등에 부착될 수 있다.
본 발명의 실시예에 따르면, 근전도 센서(210)는 도 1에서 나타난 바와 같이 4개 채널로 구성되어 각 채널로부터 근전도 신호를 획득할 수 있으며, 모션 감지 센서(220)는 각각 3축(X축, Y축, Z축)으로 구성된 신호를 획득할 수 있는바, 이 경우 최대 10개의 측정 신호를 획득할 수 있다. 이때, 근전도 센서(210)의 채널 개수나 각 센서(200)가 측정한 신호의 개수는 사용자에 의해 설계 변경 가능하다.
그러면, 센서(200)는 획득한 근전도 신호, 자이로 신호 및 가속도 신호를 지화 인식 장치(100)로 전송한다.
다음으로, 지화 인식 장치(100)는 입력부(110), 판단부(120), 연산부(130) 및 인식부(140)를 포함한다.
먼저, 입력부(110)는 피측정자의 신체 일부에 부착된 센서(200)로부터 측정된 가속도 신호, 자이로 신호 및 근전도 신호를 입력받는다.
그러면, 판단부(120)는 입력부(110)로부터 자이로 신호 및 근전도 신호 중 적어도 어느 하나를 전달받은 후, 이를 이용하여 피측정자의 동작 유형을 판단한다. 이때, 피측정자의 동작 유형은 자음 및 모음 동작을 포함하는 언어음 동작 유형과 자음 및 모음에 적용되는 획 추가 동작 및 쌍자음 동작 그리고 인식된 동작을 취소하기 위한 삭제 동작을 포함하는 기능적 동작 유형을 포함한다.
구체적으로, 판단부(120)는 근전도 신호의 파워가 제1 임계값보다 큰 경우 피측정자의 동작 유형을 언어음 동작 유형으로 판단하고, 근전도 신호의 파워가 제1 임계값보다 작거나 같은 경우 자이로 신호의 각속도 크기가 제2 임계값보다 작으면 기능적 동작 유형으로 판단할 수 있다.
도 2는 종래의 지화 인식 체계를 나타낸 도면이고, 도 3은 본 발명의 실시예에 따른 지화 인식 체계를 나타낸 도면이다.
도 2에서 나타난 바와 같이, 종래의 지화 체계는 자음 동작 14가지와 모음 동작 10가지로 구성되며, 종래의 지화 인식 장치는 자음 및 모음 24개에 대한 피측정자의 지화 동작을 인식하였다.
그러나 본 발명은 도 2의 종래 지화 체계와 다른 새로운 지화 체계를 이용하며, 본 발명에서 이용하는 지화 체계는 도 3에 나타난 바와 같이 자음 동작 6개와 모음 동작 6개로 이루어진 언어음 동작 유형과 자음 및 모음의 획 추가, 자음의 쌍자음 그리고 삭제 동작으로 이루어진 기능적 동작 유형으로 구성된다.
본 발명은 사용자의 지화 동작에 대한 인식 정확도를 향상시키기 위하여 언어음 동작(자음 및 모음 동작)에 대한 움직임을 간소화하였으며, 종래에 포함되지 않았던 기능적 동작(자음 및 모음의 획추가 동작, 자음의 쌍자음 동작, 삭제 동작)을 추가하여 지화 체계를 쉽게 인지할 수 있도록 하였다.
표 1은 본 발명의 지화 체계에 따른 지화 동작 표현을 나타낸다.

자

음		 ㄱ ㄴ ㄹ ㅁ ㅅ ㅇ
획추가
 ㅋ
 ㄷ
ㅂ ㅈ ㅎ
ㅌ ㅍ ㅊ
ㄱ ㄷ ㅂ ㅅ ㅈ
쌍자음 ㄲ ㄸ ㅃ ㅆ ㅉ
모
음		 ㅏ ㅓ ㅗ ㅜ ㅡ ㅣ
획추가 ㅑ ㅕ ㅛ ㅠ
인식된 경우, 사용자의 지화 동작은 "ㅌ"에 대한 지화 동작으로 인식되고, 획추가 동작이 1회 인식된 후 쌍자음 동작이 인식된 경우, 사용자의 지화 동작은 "ㄸ"에 대한 지화 동작으로 인식된다.
다음으로, 연산부(130)는 입력부(110)로부터 가속도 신호 및 자이로 신호를 전달받은 후, 이를 이용하여 피측정자의 손목 각도를 연산한다. 본 발명의 실시예에 따르면, 자이로 신호 및 가속도 신호로부터 획득한 각도 값을 상보필터에 입력하여 상기 피측정자의 손목의 각도를 연산할 수 있다. 뿐만 아니라, 연산부(130)는 가속도 신호 및 자이로 신호 중 어느 하나를 전달받아 피측정자의 손목 각도를 연산할 수도 있다.
그러면, 인식부(140)는 판단부(120)가 판단한 동작 유형, 연산부(130)가 연산한 손목 각도 및 근전도 신호 중 적어도 어느 하나를 이용하여 피측정자의 지화 동작을 인식한다.
판단된 동작 유형이 언어음 동작 유형인 경우, 인식부(140)는 피측정자의 손목 각도와 근전도 신호 및 기 저장된 가우시안 모델들을 이용하여 피측정자의 지화 동작을 인식할 수 있다.
구체적으로, 인식부(140)는 근전도 신호에 대한 엔트로피를 연산하고, 상기 엔트로피와 피측정자의 손목 각도에 대한 특징 벡터를 생성할 수 있다. 그리고 인식부(140)는 생성된 특징 벡터와 가우시안 모델들을 비교하여 우도(likelihood)를 판단할 수 있다.
그러면, 인식부(140)는 가우시안 모델들 중 우도가 가장 높은 가우시안 모델에 대응하는 지화 동작을 피측정자의 지화 동작으로 인식할 수 있다.
반면, 판단된 동작 유형이 기능적 동작 유형인 경우, 인식부(140)는 연산된 손목 각도를 이용하여 피측정자의 지화 동작을 인식할 수 있다.
구체적으로, 인식부(140)는 기 설정된 복수의 임계 범위들과 손목 각도를 비교하여 손목 각도가 포함된 임계 범위를 선택하고, 선택된 임계 범위에 대응하는 획 추가 동작, 쌍자음 동작 및 삭제 동작 중 어느 하나를 피측정자의 지화 동작으로 인식할 수 있다.
다음으로 도 4 내지 도 7을 통해 본 발명의 실시예에 따른 지화 인식 장치(100)를 이용한 지화 인식 방법에 대하여 살펴보도록 한다. 도 4는 본 발명의 실시예에 따른 지화 인식 방법에 대한 순서도이다.
먼저, 지화 인식 장치(100)는 피측정자의 신체 일부에 부착된 센서(200)로부터 측정된 가속도 신호, 자이로 신호 및 근전도 신호를 입력받는다(S405).
도 5는 본 발명의 실시예에 따른 지화 동작에 따른 각 신호의 파형을 나타낸 도면으로, 도 5에서 보는 바와 같이, 본 발명의 실시예에 따르면, 지화 인식 장치(100)는 4개 채널의 근전도 센서(200)를 통해 측정된 4개의 근전도 신호, 3축의 가속도 신호 및 자이로 신호를 입력받을 수 있다.
구체적으로 도 5의 (a), (c), (e)는 피측정자가 "ㄱ"에 대응하는 지화 동작을 취한 경우에서 측정된 근전도 신호, 가속도 신호 및 각속도 신호의 파장을 나타낸 것이고, (b), (d), (f)는 피측정자가 "ㅂ"에 대응하는 지화 동작을 취한 경우에서 측정된 근전도 신호, 가속도 신호 및 각속도 신호의 파장을 나타내고 있다.
이때, 지화 인식 장치(100)가 입력받은 신호의 파장 형태는 피측정자가 취하는 지화 동작에 따라 다르게 나타나며, 같은 지화 동작을 취하더라도 피측정자에 따라 다르게 나타날 수 있으며,
다음으로, 지화 인식 장치(100)는 입력받은 근전도 신호의 파워를 계산한 후(S410), 계산된 파워 값과 제1 임계값을 비교하여 피측정자의 동작 유형을 판단한다(S415).
구체적으로, 지화 인식 장치(100)는 근전도 신호의 파워가 제1 임계값보다 크면 피측정자의 동작 유형을 언어음 동작 유형으로 판단한다.
그러면, 지화 인식 장치(100)는 가속도 신호와 자이로 신호를 이용하여 피측정자의 손목 각도를 연산한다(S420).
도 6은 본 발명의 실시예에 따른 상보필터를 이용한 손목 각도 연산과정을 설명하기 위한 도면으로서, 도 6에 나타난 바와 같이, 지화 인식 장치(100)는 자이로 신호 및 가속도 신호로부터 획득한 각도 값을 상보필터에 입력하여 피측정자의 손목 각도를 연산할 수 있다.
도 6에서 보는 바와 같이, 지화 인식 장치(100)는 자이로 신호를 적분하여 획득한 3축에 대한 각도 값(
Figure 112015121517074-pat00001
)을 고역 통과 필터(h2[n])에 통과 시켜 고주파 대역의 출력(
Figure 112015121517074-pat00002
)을 생성하고, 가속도 신호를 적분하여 획득한 3축에 대한 각도 값(
Figure 112015121517074-pat00003
)을 저역 통과 필터(h1[n])에 통과 시켜 저주파 대역의 출력(
Figure 112015121517074-pat00004
)을 생성한다. 그리고, 고주파 대역의 출력(
Figure 112015121517074-pat00005
)과 저주파 대역의 출력(
Figure 112015121517074-pat00006
)을 합산하여 피측정자의 손목 각도를 획득한다.
이때, 피측정자의 손목 각도(
Figure 112015121517074-pat00007
)는 수학식 1을 통해 연산할 수 있다.
Figure 112015121517074-pat00008
여기서, n은 이산 시간을 의미하고, S는 3축을 의미한다.
이와 같이 상보필터를 이용하여 손목 각도를 연산하게 되면, 적분으로 오차가 누적되어 최종 각도 값이 드리프트 되는 자이로 신호의 단점과 중력가속도 방향으로 각도를 축정하여 센서(200) 자체의 움직임에 민감한 가속도 신호의 단점을 보완할 수 있다. 이때, 필터는 상보필터 이외에 칼만필터를 이용할 수도 있다.
또한, 지화 인식 장치(100)는 가속도 신호 또는 자이로 신호 중 어느 하나를 이용하여 피측정자의 손목 각도를 연산할 수도 있다. 즉 위에서 살펴본 바와 같이, 자이로 신호나 가속도 신호를 적분하여 피측정자의 손목 각도를 획득할 수 있다.
그리고, 지화 인식 장치(100)는 근전도 신호를 이용하여 엔트로피를 연산한다(S425). 여기서 엔트로피란 정보 엔트로피를 의미하며, 정보 엔트로피(information entropy)란 어떠한 확률 분포에 담긴 불확실성 및 불균형성의 한 척도를 말한다.
본 발명의 근전도 신호에 대한 엔트로피(
Figure 112015121517074-pat00009
)는 수학식 2에 의해 연산될 수 있다.
Figure 112015121517074-pat00010
여기서,
Figure 112015121517074-pat00011
은 근전도 신호의 크기를 의미하고, k는 지화 동작을 의미하고, c는 근전도 신호의 채널 인덱스를 의미하고, n은 이산시간을 의미하고, M은 근전도 신호에서 발생 가능한 신호의 최소크기(0)부터 최대크기까지의 구간의 개수를 의미하고,
Figure 112015121517074-pat00012
은 특정 구간(m)에서 신호(
Figure 112015121517074-pat00013
)의 확률 값을 의미한다.
수학식 2의
Figure 112015121517074-pat00014
은 수학식 3를 통해 연산될 수 있다.
Figure 112015121517074-pat00015
여기서, Im은 근전도 신호에서 나누어진 구간 중 m번째 개별 구간을 의미한다.
그러면, 지화 인식 장치(100)는 연산된 피측정자의 손목 각도와 엔트로피를 이용하여 특징 벡터를 생성한다(S430).
특징 벡터는 피측정자가 어떠한 동작을 수행하였을 때 생성되는 3축의 손목 각도 및 n개 채널의 근전도 신호에 대한 엔트로피를 벡터 형식으로 표현한 것이며, 4개 채널의 근전도 신호를 입력받는다고 가정하면 특징 벡터는 아래의 수학식 4와 같이 7차원 특징 벡터로 나타날 수 있다.
Figure 112015121517074-pat00016
여기서, H는 근전도 신호에 대한 엔트로피 값을 의미하고, A는 피측정자의 3축에 대한 손목 각도를 의미한다.
그러면, 지화 인식 장치(100)는 생성된 특징 벡터와 기 저장된 가우시안 모델들을 비교하여 우도(likelihood)를 판단하고, 판단 결과 기 저장된 가우시안 모델들 중 우도가 가장 높은 가우시안 모델을 선택한다.
즉, 지화 인식 장치(100)는 기 저장된 가우시안 모델들에 대한 특징 벡터의 우도를 연산하여, 특징 벡터의 우도가 최대가 되는 가우시안 모델을 선택한다.
베이즈 이론(Bayes theory)을 통하여 우도를 연산할 경우, 우도(p(k|J))는 아래의 수학식 5를 통해 연산될 수 있다.
Figure 112015121517074-pat00017
여기서, J는 특징 벡터를 의미하고, k는 지화 동작을 의미한다.
여기서, 기 저장된 가우시안 모델들은 자음 동작 및 모음 동작을 반복수행하여 획득한 엔트로피 및 손목 각도를 가우시안 모델링(Gaussian Modelling)하여 생성되며, 엔트로피 및 손목 각도의 분포가 다변량 가우시안 분포(Multi-variate Gaussian Distribution)라고 가정하여 모델링할 수 있다.
도 7은 본 발명의 실시예에 따른 지화 동작에 따른 가우시안 모델을 설명하기 위한 도면이다. 도 7은 확률 밀도 함수로 표현한 6개의 자음 동작에 대한 7차원 가우시안 모델들을 나타내고 있으며, 6개의 모음 동작 역시 도 7과 같은 7차원 가우시안 모델들도 나타낼 수 있다.
도 7에서 보는 바와 같이, 각각의 자음 동작에 대한 확률 분포는 일부 각도 및 엔트로피 분포에서 유사한 확률 분포를 가지는 경우가 있으나, 각도 및 엔트로피 분포 중 적어도 하나 이상은 확률 분포에서 큰 차이를 보이고 있다.
D차원의 가우시안 모델들(p(J))은 수학식 6을 통해 모델링 될 수 있다.
Figure 112015121517074-pat00018
여기서, J는 D차원의 입력 벡터, k는 지화 동작,
Figure 112015121517074-pat00019
는 D*D 공분산 행렬,
Figure 112015121517074-pat00020
는 D*1의 평균 벡터,
Figure 112015121517074-pat00021
는 공분산 행렬의 행렬식을 의미한다.
그리고, 지화 인식 장치(100)는 선택된 가우시안 모델에 대응하는 지화 동작을 피측정자의 지화 동작으로 인식한다(S455).
반면, S415단계에서 근전도 신호의 파워가 제1 임계값보다 작거나 같은 경우, 지화 인식 장치(100)는 자이로 신호의 각속도 크기를 제2 임계값과 비교한다(S440).
비교 결과, 각속도 크기가 제2 임계값보다 작은 경우, 지화 인식 장치(100)는 피측정자의 지화 동작을 기능적 동작 유형으로 판단하고, 가속도 신호와 자이로 신호를 이용하여 피측정자의 손목 각도를 연산한다(S445). 이때, 손목 각도를 연산하는 과정은 S420단계에서 설명한 것과 동일한 바, 구체적인 설명은 생략한다.
하지만 각속도 크기가 제2 임계값보다 크거나 같은 경우, 기능적 동작 유형이 아니라고 판단하고, 입력된 신호를 이용하여 피측정자의 동작 유형을 판단하게 된다.
S445단계에서 피측정자의 손목 각도를 연산한 다음, 지화 인식 장치(100)는 연산된 손목 각도와 기 설정된 복수의 임계 범위를 비교하고, 연산된 손목 각도가 포함된 임계 범위를 선택한다(S450). 여기서, 임계 범위는 적어도 3개 이상의 범위로 구분될 수 있으며, 사용자에 의해 설계변경이 가능하다.
예를 들어, 손목 각도의 범위가 전체 360°일때, 제1 임계범위는 0°보다 크거나 같고 135°보다 작으며, 제2 임계범위는 135°보다 크거나 같고 225°보다 작고, 제3 임계범위는 225°보다 크거나 같고 360°보다 작다고 가정한다. 이때, 피측정자의 손목 각도가 100°로 연산된 경우, 지화 인식 장치(100)는 제1 임계범위를 선택하게 된다.
그러면, 지화 인식 장치(100)는 선택된 임계 범위에 대응하는 지화 동작을 피측정자의 지화 동작으로 인식한다(S455). 예를 들어, 제1 임계범위에 대응하는 지화 동작이 획추가 동작이고, S450단계에서 제1 임계범위가 선택되었다면, 지화 인식 장치(100)는 피측정자의 지화 동작을 획추가 동작으로 인식한다.
이하에서는 도 8 및 도 9를 통해 종래 발명과 본 발명의 지화 인식 성공률을 비교하여 살펴보도록 한다. 도 8은 종래의 지화 인식 장치의 인식 성공률을 나타낸 도면이고, 도 9는 본 발명의 실시예에 따른 지화 인식 장치의 인식 성공률을 나타낸 도면이다.
도 8에서 나타난 바와 같이, 종래의 지화 인식 장치(100)는 자음의 경우 최저 87.3%에서 최고 99.3%, 모음의 경우 최저 92.7%에서 최고 100%의 인식 성공률을 보이고 있다. 반면, 도 9에서 나타난 바와 같이, 본 발명은 자음의 경우 최저 95%에서 최대 100%, 모음의 경우 최저 99.8%에서 최대 100%의 인식 성공률을 보인다.
표 2는 기능적 동작 유형의 각 동작에 대한 인식 성공률을 나타낸다.
판별동작
실제동작		 획 추가 쌍자음 삭제
획 추가 100% 0% 0%
쌍자음 0% 100% 0%
삭제 0% 0% 100%
표 2에서 나타난 바와 같이 기능적 동작 유형의 각 동작에 대한 인식 성공률은 100%이므로 전체 자음과 모음의 인식 성공률은 도 9에서 나타난 바와 동일하다.
표 3은 본 발명과 종래 발명의 인식 성공률을 비교한 것이다.
자음 모음
종래 발명 95.31% 92.4%
본 발명 99.13% 99.97%
표 3에 나타난 것처럼, 본 발명은 종래 발명에 비해 자음의 인식 성공률을 3.82%, 모음의 인식 성공률을 7.57% 향상시켰으며, 전체적으로 99%이상의 인식 성공률을 나타내고 있다.
본 발명의 실시예에 따르면, 종래의 지화 체계에 비하여 표현하고자 하는 자음과 모음의 동작 수를 줄임으로써 피측정자의 지화 동작에 대한 인식률을 상승시킬 수 있다. 또한 삭제 동작을 통해 잘못 인식된 지화 동작을 수정할 수 있으므로 편리성을 향상시킬 수 있다.
본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 다른 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의하여 정해져야 할 것이다.
100 : 지화 인식 장치 110 : 입력부
120 : 판단부 130 : 연산부
140 : 인식부 200 : 센서
210 : 근전도 센서 220 : 모션 감지 센서

Claims (12)

  1. 지화 인식 장치를 이용한 지화 인식 방법에 있어서,
    피측정자의 신체 일부에 부착된 센서로부터 측정된 가속도 신호, 자이로 신호 및 근전도 신호를 입력받는 단계,
    상기 자이로 신호 및 근전도 신호 중 적어도 어느 하나를 이용하여 상기 피측정자의 동작 유형이 자음 및 모음 동작을 포함하는 언어음 동작 유형인지 상기 자음 및 모음에 적용되는 획 추가 동작 및 쌍자음 동작 그리고 인식된 동작을 취소하기 위한 삭제 동작을 포함하는 기능적 동작 유형인지를 판단하는 단계,
    상기 가속도 신호 및 자이로 신호를 이용하여 상기 피측정자의 손목 각도를 연산하는 단계, 그리고
    상기 판단된 동작 유형, 상기 연산된 손목 각도 및 상기 근전도 신호 중 적어도 어느 하나를 이용하여 상기 피측정자의 지화 동작을 인식하는 단계를 포함하며,
    상기 피측정자의 동작 유형을 판단하는 단계는,
    상기 근전도 신호의 파워가 제1 임계값보다 큰 경우 상기 피측정자의 동작 유형을 상기 언어음 동작 유형으로 판단하고, 상기 근전도 신호의 파워가 제1 임계값보다 작거나 같은 경우 상기 자이로 신호의 각속도 크기가 제2 임계값보다 작으면 상기 기능적 동작 유형으로 판단하는 지화 인식 방법.
  2. 삭제
  3. 제1항에 있어서,
    상기 피측정자의 지화 동작을 인식하는 단계는,
    상기 판단된 동작 유형이 언어음 동작 유형이면 상기 피측정자의 손목 각도, 상기 근전도 신호 및 기 저장된 가우시안 모델들을 이용하여 상기 피측정자의 지화 동작을 인식하고,
    상기 판단된 동작 유형이 기능적 동작 유형이면, 상기 연산된 손목 각도를 이용하여 상기 피측정자의 지화 동작을 인식하는 지화 인식 방법.
  4. [청구항 4은(는) 설정등록료 납부시 포기되었습니다.]
    제3항에 있어서,
    상기 판단된 동작 유형이 상기 언어음 동작 유형인 경우,
    상기 근전도 신호에 대한 엔트로피를 연산하는 단계,
    상기 엔트로피와 상기 피측정자의 손목 각도에 대한 특징 벡터를 생성하는 단계, 그리고
    상기 생성된 특징 벡터와 상기 가우시안 모델들을 비교하여 우도(likelihood)를 판단하고, 상기 가우시안 모델들 중 상기 우도가 가장 높은 가우시안 모델에 대응하는 지화 동작을 상기 피측정자의 지화 동작으로 인식하는 단계를 포함하는 지화 인식 방법.
  5. [청구항 5은(는) 설정등록료 납부시 포기되었습니다.]
    제3항에 있어서,
    상기 판단된 동작 유형이 상기 기능적 동작 유형인 경우,
    기 설정된 복수의 임계 범위들과 상기 손목 각도를 비교하여 상기 손목 각도가 포함된 임계 범위를 선택하는 단계, 그리고
    상기 선택된 임계 범위에 대응하는 상기 획 추가 동작, 쌍자음 동작 및 삭제 동작 중 어느 하나를 상기 피측정자의 지화 동작으로 인식하는 단계를 포함하는 지화 인식 방법.
  6. 제1항에 있어서,
    상기 손목 각도를 연산하는 단계는,
    상기 자이로 신호 및 가속도 신호로부터 획득한 각도 값을 상보필터에 입력하여 상기 피측정자의 손목의 각도를 연산하는 지화 인식 방법.
  7. 피측정자의 신체 일부에 부착된 센서로부터 측정된 가속도 신호, 자이로 신호 및 근전도 신호를 입력받는 입력부,
    상기 자이로 신호 및 근전도 신호 중 적어도 어느 하나를 이용하여 상기 피측정자의 동작 유형이 자음 및 모음 동작을 포함하는 언어음 동작 유형인지 상기 자음 및 모음에 적용되는 획 추가 동작 및 쌍자음 동작 그리고 인식된 동작을 취소하기 위한 삭제 동작을 포함하는 기능적 동작 유형인지를 판단하는 판단부,
    상기 가속도 신호 및 자이로 신호를 이용하여 상기 피측정자의 손목 각도를 연산하는 연산부, 그리고
    상기 판단된 동작 유형, 상기 연산된 손목 각도 및 상기 근전도 신호 중 적어도 어느 하나를 이용하여 상기 피측정자의 지화 동작을 인식하는 인식부를 포함하며,
    상기 판단부는,
    상기 근전도 신호의 파워가 제1 임계값보다 큰 경우 상기 피측정자의 동작 유형을 상기 언어음 동작 유형으로 판단하고, 상기 근전도 신호의 파워가 제1 임계값보다 작거나 같은 경우 상기 자이로 신호의 각속도 크기가 제2 임계값보다 작으면 상기 기능적 동작 유형으로 판단하는 지화 인식 장치.
  8. 삭제
  9. 제7항에 있어서,
    상기 인식부는,
    상기 판단된 동작 유형이 언어음 동작 유형이면 상기 피측정자의 손목 각도와 상기 근전도 신호 및 기 저장된 가우시안 모델들을 이용하여 상기 피측정자의 지화 동작을 인식하고,
    상기 판단된 동작 유형이 기능적 동작 유형이면, 상기 연산된 손목 각도를 이용하여 상기 피측정자의 지화 동작을 인식하는 지화 인식 장치.
  10. [청구항 10은(는) 설정등록료 납부시 포기되었습니다.]
    제9항에 있어서,
    상기 인식부는,
    상기 판단된 동작 유형이 상기 언어음 동작 유형인 경우,
    상기 근전도 신호에 대한 엔트로피를 연산하고, 상기 엔트로피와 상기 피측정자의 손목 각도에 대한 특징 벡터를 생성하며, 상기 생성된 특징 벡터와 상기 가우시안 모델들을 비교하여 우도(likelihood)를 판단하고, 상기 가우시안 모델들 중 상기 우도가 가장 높은 가우시안 모델에 대응하는 지화 동작을 상기 피측정자의 지화 동작으로 인식하는 지화 인식 장치.
  11. [청구항 11은(는) 설정등록료 납부시 포기되었습니다.]
    제9항에 있어서,
    상기 인식부는,
    상기 판단된 동작 유형이 상기 기능적 동작 유형인 경우,
    기 설정된 복수의 임계 범위들과 상기 손목 각도를 비교하여 상기 손목 각도가 포함된 임계 범위를 선택하고, 상기 선택된 임계 범위에 대응하는 상기 획 추가 동작, 쌍자음 동작 및 삭제 동작 중 어느 하나를 상기 피측정자의 지화 동작으로 인식하는 지화 인식 장치.
  12. 제7항에 있어서,
    상기 연산부는,
    상기 자이로 신호 및 가속도 신호로부터 획득한 각도 값을 상보필터에 입력하여 상기 피측정자의 손목의 각도를 연산하는 지화 인식 장치.
KR1020150176835A 2015-12-11 2015-12-11 근전도 센서와 모션 센서를 이용한 지화 인식 장치 및 그것을 이용한 지화 인식 방법 KR101755242B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150176835A KR101755242B1 (ko) 2015-12-11 2015-12-11 근전도 센서와 모션 센서를 이용한 지화 인식 장치 및 그것을 이용한 지화 인식 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150176835A KR101755242B1 (ko) 2015-12-11 2015-12-11 근전도 센서와 모션 센서를 이용한 지화 인식 장치 및 그것을 이용한 지화 인식 방법

Publications (2)

Publication Number Publication Date
KR20170069521A KR20170069521A (ko) 2017-06-21
KR101755242B1 true KR101755242B1 (ko) 2017-07-10

Family

ID=59281784

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150176835A KR101755242B1 (ko) 2015-12-11 2015-12-11 근전도 센서와 모션 센서를 이용한 지화 인식 장치 및 그것을 이용한 지화 인식 방법

Country Status (1)

Country Link
KR (1) KR101755242B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110286774A (zh) * 2019-07-03 2019-09-27 中国科学技术大学 一种基于手腕运动传感器的手语识别方法

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102058789B1 (ko) * 2017-11-27 2020-01-22 숭실대학교산학협력단 표면 근전도 신호를 이용한 손 동작 변화 판단 장치 및 그 방법
KR102132035B1 (ko) * 2019-01-03 2020-07-08 한남대학교 산학협력단 자이로센서를 포함하는 봉을 이용한 언어 교육시스템
KR102182413B1 (ko) * 2019-11-28 2020-11-25 한국전자기술연구원 가상 모션 생성을 이용한 행위 인식을 위한 장치 및 이를 위한 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101360980B1 (ko) * 2013-02-05 2014-02-11 주식회사 카이언스 필기구형 전자 입력장치

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101360980B1 (ko) * 2013-02-05 2014-02-11 주식회사 카이언스 필기구형 전자 입력장치

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110286774A (zh) * 2019-07-03 2019-09-27 中国科学技术大学 一种基于手腕运动传感器的手语识别方法
CN110286774B (zh) * 2019-07-03 2021-08-13 中国科学技术大学 一种基于手腕运动传感器的手语识别方法

Also Published As

Publication number Publication date
KR20170069521A (ko) 2017-06-21

Similar Documents

Publication Publication Date Title
KR101755242B1 (ko) 근전도 센서와 모션 센서를 이용한 지화 인식 장치 및 그것을 이용한 지화 인식 방법
Altun et al. Comparative study on classifying human activities with miniature inertial and magnetic sensors
Zhang et al. A comprehensive study of smartphone-based indoor activity recognition via Xgboost
US11179066B2 (en) Real-time spike detection and identification
CN107389052B (zh) 一种踝泵运动监测系统及终端设备
CN107194193B (zh) 一种踝泵运动监测方法及装置
KR20160031246A (ko) 보행 환경 인식 방법 및 장치
EP3298955A1 (en) Method and system for determining postural balance of a person
Calado et al. Toward the minimum number of wearables to recognize signer-independent Italian sign language with machine-learning algorithms
CN109976526A (zh) 一种基于表面肌电传感器和九轴传感器的手语识别方法
KR102089002B1 (ko) 행동에 대한 피드백을 제공하는 웨어러블 디바이스 및 방법
Liu et al. Finger gesture tracking for interactive applications: A pilot study with sign languages
CN107330240A (zh) 一种基于双手环传感器的智能远程特护监控系统及方法
Zhang et al. Recognizing ping-pong motions using inertial data based on machine learning classification algorithms
US20240096136A1 (en) System And Method For Exercise Type Recognition Using Wearables
KR102363879B1 (ko) 환자의 상지 동작에 의해 도출되는 특징값을 이용한 임상평가척도 예측 방법
Liu et al. Deep-learning-based signal enhancement of low-resolution accelerometer for fall detection systems
Ghasemzadeh et al. A phonological expression for physical movement monitoring in body sensor networks
Mascret et al. A wearable sensor network with embedded machine learning for real-time motion analysis and complex posture detection
Trujillo-Guerrero et al. Accuracy comparison of CNN, LSTM, and Transformer for activity recognition using IMU and visual markers
KR101930942B1 (ko) 수화 인식 시스템 및 방법
US9026477B2 (en) Method for identifying a person's posture
Ata et al. A robust optimized convolutional neural network model for human activity recognition using sensing devices
CN116705236A (zh) 一种用于患者康复方案生成的方法、系统及设备
Jin Design of intelligent perception module based on wireless sensor network and basketball sports attitude

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant