KR20160023984A

KR20160023984A - 표면근전도 신호기반 보행동작 인식을 위한 분류기 시스템

Info

Publication number: KR20160023984A
Application number: KR1020140109147A
Authority: KR
Inventors: 김덕환; 류재환
Original assignee: 인하대학교 산학협력단
Priority date: 2014-08-21
Filing date: 2014-08-21
Publication date: 2016-03-04

Abstract

본 발명은 표면근전도 신호기반 보행동작 인식을 위한 분류기 시스템에 관한 것으로서, 보행 동작에 의한 제1 신호로부터 제1 알고리즘에 의해 추출된 제1 특징값을 입력받아, 상기 제1 특징값에 따라 1 또는 0을 출력하는 제1 분류기; 및, 보행 동작에 의한 제2 신호로부터 제2 알고리즘에 의해 추출된 제2 특징값을 입력받아, 상기 제2 특징값에 따라 1 또는 0을 출력하는 제2 분류기를 포함하고, 상기 시스템은 상기 제1 및 제2 분류기의 출력값의 조합에 따라 4개의 보행동작 중 하나를 나타내고, 상기 제1 및 제2 분류기는 LDA(linear discriminant analysis)를 이용하여 구성된 분류기로서, 보행 동작의 EMG 샘플 신호와, 상기 EMG 샘플 신호에 해당되는 보행동작 데이터로 구성되는 트레이닝 데이터에 의해 트레이닝된 분류기이고, 상기 제1 및 제2 알고리즘은 다수의 특징추출 알고리즘 중 어느 하나인 구성을 마련한다.
상기와 같은 방법에 의하여, 다수의 특징 값 중에서 적합한 특징 및 채널을 적응적으로 선택하여 사용함으로써, 모든 특징들과 채널을 이용하는 기존 방법 보다 빠르게 보행단계인식을 처리할 수 있고, 인식의 정확도도 상당히 높일 수 있다.

Description

표면근전도 신호기반 보행동작 인식을 위한 분류기 시스템 { A System of a feature algorithm and a classifier for sEMG Signal based Gait Phase Recognition }

본 발명은 표면근전도(sEMG, surface electromyography) 신호를 이용하여 보행동작을 인식하고 이를 통해 하지 절단 환자의 동력의족을 제어할 때, 임베디드 시스템의 신호처리과정에서 발생하는 오버헤드를 감소시킬 수 있는 특징추출 알고리즘 및 분류기를 생성하는, 표면근전도 신호기반 보행동작 인식을 위한 분류기 시스템에 관한 것이다.

최근 하지 절단 환자들의 보행을 보조하기 위한 연구들이 활발히 진행되고 있다. 대표적으로 무릎 각도, 압력 등의 물리적인 센서를 이용한 대퇴 동력의지가 있다[비특허문헌 1]. 하지만 물리적인 센서를 이용한 대퇴 동력의지는 사전에 훈련된 보행 속도만 재현된다는 단점이 있다. 따라서 동력의지에 사람이 이끌려 가는 느낌을 받을 수 있다.

이러한 문제를 해결하기 위하여 최근 생체신호인 근전도(EMG, Electromyogram) 신호를 이용한 동력의족 연구가 진행 중에 있다[비특허문헌 2-4]. EMG 신호는 근육의 활동전위를 기록하는 것으로 근육별 활동량, 피로도, 신경 속도 등을 정량적으로 측정할 수 있다[비특허문헌 5]. 따라서 EMG 신호는 사용자의 의사를 통한 시스템 제어가 가능하다.

하지만 피부에 부착하여 사용되는 표면근전도(sEMG, Surface EMG)는 피부, 다른 생체신호, 움직임, 전원 등의 노이즈로 인하여 보행단계가 아닌 물리적인 센서를 이용한 동력 의족에서 보행 모드를 인식하기 위한 보조적인 용도로 사용하기 위하여 연구되고 있다[비특허문헌 6-8].

최근 sEMG 신호기반의 2개의 분류기와 분류 매트릭스를 이용한 4단계 보행단계 분석 기법이 개발되었다[비특허문헌 9-10]. 이 연구에서는 앞꿈치와 뒷꿈치를 이용한 sEMG 신호기반 보행단계 인식기법을 통해 인식 알고리즘을 간소화 시키면서 처리 속도와 정확도가 향상된 실험결과를 발표하였다. 따라서 물리적인 센서를 사용하지 않더라도 sEMG 신호만을 이용한 보행단계 분석이 가능함을 확인하였다.

그러나 동력 의족의 제어를 담당하는 휴대용 임베디드 시스템에서 다수의 채널에서 입력되는 EMG 신호를 실시간으로 처리하는 것은 상당한 오버헤드가 발생할 수 있다. 부동소수점으로 구성된 EMG 신호 데이터로부터 특징을 추출하는 알고리즘과 정확도를 높이기 위한 인식 알고리즘은 많은 계산량과 처리시간을 필요로 한다.

따라서 임베디드 시스템의 신호처리과정에서 발생하는 오버헤드를 감소시킬 수 있는 표면근전도(sEMG, surface electromyography) 신호기반 보행단계 인식 방법의 개발이 필요하다.

[비특허문헌 1] E.C. Martinez-Villalpando and H. Herr, "Agonist-antaagonist active knee prosthesis: A preliminary study in level-ground walking," Journal of Rehabilitation Research & Development, Vol. 46, pp.361-373, 2009. [비특허문헌 2] C. Jensen, O. Vasseljen, R.H. Westgaard, "The influence of Electrode Position on Bipolar Surface Electromyogram Recordings of the Upper Trapezius Muscle," Eur J Appl Physiol, Vol. 67, pp. 266-273, 1993. [비특허문헌 3] H.Huang, T.A. Kuiken and R.D. Lipschutz, "A Strategy for Identifying Locomotion Modes Using Surface Electromyography," Biomedical Engineering, IEEE Transactions on, Vol. 56, No.1, pp.65-73, 2009. [비특허문헌 4] E.N. Kamavuako, J.C. Rosenvang, R. Horup, W. Jensen, D. Farina, and K.B. Englehart, "Surface Versus Untargeted Intramuscular EMG Based Classification of Simultaneous and Dynamically Changing Movements," IEEE Transactions on neural systems and rehabilitation engineering, Vol. 21, No. 6, pp. 992-998, 2013. [비특허문헌 5] 유재환, 이동훈, 김덕환, "다중 분류 SVM을 이용한 sEMG 신호 기반의 손동작 식별 방법", 제주 컴퓨터 및 정보과학 학술대회 논문집, 제 6권, 2호, pp.51-53, 2012. [비특허문헌 6] L.J. Hargrove, A.M. Simon, A.J. Young, R.D. Lipschutz, S.B. Finucane, D.G. Smith, and T.A. kuiken, "Robotic Leg Control with EMG Decoding in an Amputee with Nerve Transfers," The New ENGLAND JOURNAL of MEDICINE, Vol. 369, No 13, pp.1237-1242, 2013. [비특허문헌 7] A.J. Young, L.H. Smith, E.J. Rouse, and L.J. Hargrove, "Classification of Simultaneous Movements Using Surface EMG Pattern Recognition,", IEEE Transactions on biomedical engineering, Vol. 60, No. 5, pp. 1250-1258, 2013 [비특허문헌 8] L.J. Hargrove, A.M. Simon, R. Lipschutz, S.B. Finucane, and T.A. kuiken, "Non-weight-bearing neural control of a powered transfemoral prosthesis," Journal of Neuro Engineering and Rehabilitation, Vol. 10, No. 1(Online Published), pp. 1-11, 2013. [비특허문헌 9] 유재환, 정석화, 김덕환, "sEMG신호기반 2단계 LDA 분류기를 이용한 보행단계 인식", 2013년도 대한전자공학회 하계종합학술대회 논문집, 제36권 1호, pp.1009-1012, 2013. [비특허문헌 10] 유재환, 김덕환, "적응적 특징 및 채널 선택을 이용한 sEMG 신호기반 분류기를 이용한 보행단계 인식 기법sEMG신호기반 2단계 LDA 분류기를 이용한 보행단계 인식", 2013년도 대한재활복지공학회 추계 학술대회 논문집, 제7권 2호, pp.217-220, 2013. [비특허문헌 11] A.N. Donald, and N. David, "Kinesiology of the Musculoskeletal System," Mosby, 2009. [비특허문헌 12] 조규권, 김유신, 김은정, "파워워킹과 일반보행의 운동학적 및 EMG 비교 분석," 한국운동역학회지, Vol. 16, No. 2, pp.85-95, 2006. [비특허문헌 13] 박민화, 소하주, 김성현, 김동욱, "진동 체성감각 자극의 적용에 의하여 변화하는 보행 중 EMG 패턴에 관한 연구," 한국정밀공학회 2013년도 춘계학술대회 논문집, pp.1141-1142, 2013. [비특허문헌 14] D. Tkach, H. huang, and T.A. Kuiken, "RSetseuardchy of stability of time-domain features for electromyographic pattern recognition,", Jounal of Neuro Engineering and Rehabilitation, Vol. 5, pp.7-21, 2010.

본 발명의 목적은 상술한 바와 같은 문제점을 해결하기 위한 것으로, 표면근전도 신호를 이용하여 보행동작을 인식하고 이를 통해 하지 절단 환자의 동력의족을 제어할 때, 임베디드 시스템의 신호처리과정에서 발생하는 오버헤드를 감소시킬 수 있는 특징추출 알고리즘 및 분류기를 생성하는, 표면근전도 신호기반 보행동작 인식을 위한 분류기 시스템을 제공하는 것이다.

또한, 본 발명의 목적은 관찰을 통해 피험자의 보행 습관에 따라 근육 발달도가 다르며, 그에 따라 특징 추출 방법별 정확도가 차이난다는 것을 밝혀내고, 이에 따라 피험자의 보행단계에 따라 사용 빈도가 높은 근육과 특징을 선택하는 표면근전도 신호기반 보행동작 인식을 위한 분류기 시스템을 제공하는 것이다.

특히, 본 발명의 목적은 먼저 훈련과정을 통해 각각의 피험자에 대해 보행단계별로 근육과 특징 추출 방법의 모든 경우의 수만큼 분류기를 생성하고, 경우의 수만큼 생성된 분류기는 별도의 보행 데이터를 이용하여 각각 정확도를 계산하고, 마지막으로 각각의 경우에 대하여 정확도가 가장 높은 특징추출 방법 및 분류기를 선택하는 표면근전도 신호기반 보행동작 인식을 위한 분류기 시스템을 제공하는 것이다.

상기 목적을 달성하기 위해 본 발명은 표면근전도 신호기반 보행동작 인식을 위한 분류기 시스템에 관한 것으로서, 보행 동작에 의한 제1 신호로부터 제1 알고리즘에 의해 추출된 제1 특징값을 입력받아, 상기 제1 특징값에 따라 1 또는 0을 출력하는 제1 분류기; 및, 보행 동작에 의한 제2 신호로부터 제2 알고리즘에 의해 추출된 제2 특징값을 입력받아, 상기 제2 특징값에 따라 1 또는 0을 출력하는 제2 분류기를 포함하고, 상기 시스템은 상기 제1 및 제2 분류기의 출력값의 조합에 따라 4개의 보행동작 중 하나를 나타내고, 상기 제1 및 제2 분류기는 LDA(linear discriminant analysis)를 이용하여 구성된 분류기로서, 보행 동작의 EMG 샘플 신호와, 상기 EMG 샘플 신호에 해당되는 보행동작 데이터로 구성되는 트레이닝 데이터에 의해 트레이닝된 분류기이고, 상기 제1 및 제2 알고리즘은 다수의 특징추출 알고리즘 중 어느 하나이고, 상기 제1 및 제2 신호는 다수 채널의 EMG 신호 중 어느 하나인 것을 특징으로 한다.

또한, 본 발명은 표면근전도 신호기반 보행동작 인식을 위한 분류기 시스템에 있어서, 상기 제1 분류기에 트레이닝되는 보행동작 데이터는 앞꿈치가 지면에 닿는지 여부를 나타내는 데이터이고, 상기 제2 분류기에 트레이닝되는 보행동작 데이터는 뒷꿈치가 지면에 닿는지 여부를 나타내는 데이터인 것을 특징으로 한다.

또한, 본 발명은 표면근전도 신호기반 보행동작 인식을 위한 분류기 시스템에 있어서, 상기 분류기는 앞꿈치(Toe) 분류기 및 뒷꿈치(Heel) 분류기를 하나의 세트로 하여 구성되는 것을 특징으로 한다.

또한, 본 발명은 표면근전도 신호기반 보행동작 인식을 위한 분류기 시스템에 있어서, 상기 제1 또는 제2 분류기는 상기 제1 또는 제2 신호와 다른 EMG 신호 및, 상기 제1 또는 제2 알고리즘과 다른 특징추출 알고리즘에 의해 트레이닝된 분류기에 비하여 정확도가 높은 분류기인 것을 특징으로 한다.

또한, 본 발명은 표면근전도 신호기반 보행동작 인식을 위한 분류기 시스템에 있어서, 상기 특징추출 알고리즘은 VAR(variance), WL(waveform length), RMS(root mean square), MAV(mean absolutue), ZC(zero crossing), 및 SSC(Slope Sign Changes) 중 적어도 2개 이상으로 구성되는 것을 특징으로 한다.

상술한 바와 같이, 본 발명에 따른 표면근전도 신호기반 보행동작 인식을 위한 분류기 시스템에 의하면, 다수의 특징 값 중에서 적합한 특징 및 채널을 적응적으로 선택함으로써, 모든 특징들과 채널을 이용하는 기존 방법 보다 빠르게 보행단계인식을 처리할 수 있고, 인식의 정확도도 상당히 높일 수 있는 효과가 얻어진다.

특히, 실험을 통하여, 모든 특징들과 채널들을 이용하는 기존 방법의 경우 50%의 평균정확도를 보인 반면, 본 발명은 91%의 평균정확도를 보이는 것을 밝혀내고 있다.

도 1은 본 발명의 일실시예에 따른 분류기 시스템을 실시하기 위한 전체 시스템의 구성에 대한 블록도.
도 2는 본 발명에 사용되는 인간의 보행 단계를 나타낸 그림.
도 3은 본 발명의 일실시예에 따른 분류기 시스템을 설명하는 흐름도.
도 4는 본 발명의 표면근전도 신호기반 보행동작 인식을 위한 분류기 시스템의 전체적인 과정을 설명하는 흐름 블록도.
도 5는 본 발명의 일실시예에 따른 훈련과정을 설명하는 흐름도.
도 6은 본 발명의 일실시예에 따른 채널 및 특징 추출 알고리즘 선택 과정을 설명하는 흐름도.
도 7은 본 발명의 일실시예에 따른 보행을 인식하는 방법을 설명하는 흐름도.
도 8은 본 발명의 일실시예에 따라 분류 매트릭스(Classification Matrix)을 통해 분류되는 동작을 정리한 표.
도 9는 본 발명의 실험에 따라, 피험자1에게서 측정한 보행 4주기 동안의 4ch EMG 신호와 2ch 압력 센서 데이터를 나타낸 그래프.
도 10은 본 발명의 실험에 따라, 피험자의 보행단계에 따른 가장 높은 정확도를 보인 근육을 정리한 표.
도 11은 본 발명의 실험에 따라, 피험자의 보행단계에 따른 가장 높은 정확도를 보인 특징 추출 알고리즘에 대한 표.
도 12는 본 발명의 실험에 따라, 적응적 채널 및 특징 선택에 따른 피험자별 분류 정확도에 대한 실험 결과 그래프.
도 13은 본 발명의 실험에 따라, 적응적 채널 및 특징 선택에 따른 모든 피험자의 평균 분류 정확도를 나타내는 그래프.

이하, 본 발명의 실시를 위한 구체적인 내용을 도면에 따라서 설명한다.

또한, 본 발명을 설명하는데 있어서 동일 부분은 동일 부호를 붙이고, 그 반복 설명은 생략한다.

먼저, 본 발명의 일실시예에 따른 표면근전도 신호기반 보행동작 인식을 위한 분류기 시스템을 실시하기 위한 전체 시스템의 구성에 대하여 도 1을 참조하여 설명한다.

도 1에서 보는 바와 같이, 본 발명에 따른 표면근전도 신호기반 보행동작 인식을 위한 분류기 시스템은 학습 데이터(11) 또는 sEMG 신호(12)를 입력받아, 특징 및 채널을 선택하거나 보행단계를 인식하는 컴퓨터 단말(20) 상의 프로그램 시스템(30)으로 실시될 수 있다. 즉, 상기 표면근전도 신호기반 보행동작 인식을 위한 분류기 시스템은 프로그램으로 구성되어 컴퓨터 단말(20)에 설치되어 실행될 수 있다. 컴퓨터 단말(20)에 설치된 프로그램은 하나의 프로그램 시스템(30)과 같이 동작할 수 있다.

한편, 다른 실시예로서, 상기 표면근전도 신호기반 보행동작 인식을 위한 분류기 시스템은 프로그램으로 구성되어 범용 컴퓨터에서 동작하는 것 외에 ASIC(주문형 반도체) 등 하나의 전자회로로 구성되어 실시될 수 있다. 또는 특징 및 채널 선택 또는 보행단계 인식만을 전용으로 처리하는 전용 단말(30)로 개발될 수도 있다. 이를 표면근전도 신호기반 보행단계 인식 장치(30)라 부르기로 한다. 그 외 가능한 다른 형태도 실시될 수 있다.

다음으로, 본 발명에서 인식하고자 하는 보행단계를 도 2를 참조하여 설명한다.

도 2에서 보는 바와 같이, 인간의 보행 단계는 입각기(Stance) 4단계와 유각기(Swing) 4단계로 구분된다[비특허문헌 11-12]. 입각기는 기준이 되는 다리의 발바닥이 지면에 닿은 상태를 의미하여 유각기는 발바닥이 지면에서 떨어져 있는 상태다.

입각기 단계는 도 2에서 볼 수 있듯이 관절각과 지면에 닿은 발바닥의 위치에 따라 초기 접촉기(Initial Contact), 부하 반응기(Loading Response), 중간 입각기(Mid stance) 및 마지막 입각기(Terminal stance)로 구분된다. 유각기는 관절각과 이 순간 속력에 따라 전 유각기(Pre Swing), 초기 유각기(Initial Swing), 중간 유각기(Mid Swing), 및, 마지막 유각기(Terminal Swing)로 구분된다. 본 발명에서는 보행 단계의 핵심이 되는 입각기(Stance) 3단계인 초기 접촉기(Initial Contact), 중간 입각기(Mid stance) 및 마지막 입각기(Terminal stance)로 유각기(Swing)는 1단계로 총 4단계를 구분한다.

다음으로, 본 발명의 실시를 위한 근전도(EMG) 신호의 분석 방법에 대하여 설명한다.

EMG 신호를 이용한 근활동 분석 방법에는 적분 근전도(IEMG, Integrated EMG), 평균값(Average Value), 피크(Peak), 중간값(Mean Value), 문턱값(Threshold) 등이 있다. IEMG는 특정 동작이 시작되고 끝날 때까지 측정된 신호를 적분을 하여 1개의 특징 값으로 변환하는 것이다. 평균값(Average Value) 및, 피크(Peak)는 특정 동작이 시작되고 끝날 때까지 측정된 신호의 평균과 최대 값을 특징 값으로 추출한 것이다. 중간값(Mean)은 특정 동작이 시작되고 끝날 때까지 측정된 신호의 최대 값과 최소 값의 중앙에 위치한 값을 특징 값으로 추출한다. 마지막으로 문턱값(Threshold)은 근활성도에 따라 명령어를 정의해둔 뒤 기준이 넘을 때마다 명령어를 수행 또는 전송하는 방법이다.

즉 상방향 1.3mv, 좌 방향 2.6mv로 설정했다면 주먹을 주었을 때 그 최대 값이 1.5mv가 나왔다면 상방향 명령어를 전송하고, 2.8mv가 나왔다면 좌방향 명령어를 전송하는 방법이다. 기존의 EMG 신호 분석 방법은 근활성도 측정을 위해 개발된 방법이다. 따라서 식이 간단하고 활성도에 초점이 맞추어져 있다. 따라서 보행 분석과 같이 복잡한 조합을 통해 패턴을 인식하는 방법에는 정확도가 낮은 단점이 있다.

최근에는, 팔, 보행, 허리 등의 동작 인식을 위하여 신호처리 알고리즘을 이용한 EMG 신호 분석 방법들이 제안되었다. 대표적으로 VAR(variance of EMG), wAMP(Willision amplitude), RMS(root mean square), MAV(mean absolutue), ZC(zero crossing), SSC(sign slope change) 등을 이용한 특징 추출 알고리즘이 있다. 각각 분산, 진폭의 평균, 실효치, 절대값의 평균, 반복횟수, 진폭의 기울기를 이용하여 특징 값으로 변환한다. 자세한 내용은 [비특허문헌 14]을 통해 확인할 수 있다. 본 발명에서는 VAR, MAV, VAR, WAMP, ZC, SSC 총 6개의 특징 추출 알고리즘을 사용하여 특징 값으로 변환한다.

본 발명의 일실시예에 따른 표면근전도 신호기반 보행동작 인식을 위한 분류기 시스템을 도 3을 참조하여 구체적으로 설명한다.

도 3에서 보는 바와 같이, 적응적으로 특징과 채널을 선택하는 sEMG 신호기반 보행단계 인식 방법은 훈련과정(S10), 채널 및 특징 추출 알고리즘 선택 과정(S20)으로 나뉜다.

훈련 과정(S10)에서는 피험자별로 보행단계에 따라 4채널의 근육과 6개의 특징 추출 알고리즘을 이용하여 경우의 수만큼 분류기 그룹, 즉, 앞꿈치(Toe) 분류기 및 뒷꿈치(Heel) 분류기를 생성한다.

채널 및 특징 선택 과정(S20)에서는 생성된 분류기 그룹과 그에 이용하여 각각 새로운 데이터에 대한 인식 정확도를 계산한다. 그 후 보행단계별로 가장 높은 정확도를 보인 분류기 그룹과 그에 사용된 근육 및 특징을 선택한다.

보행 인식 과정(S30)에서는 선택된 근육과 특징 추출 알고리즘을 이용하여 입력된 EMG 신호를 특징 값으로 변환한다. 그 후 앞꿈치(Toe)와 뒷꿈치(Heel) 분류기를 이용하여 분류 결과를 얻고 분류 매트릭스(Classification Matrix)를 이용하여 보행 단계를 인식한다.

도 4는 본 발명의 표면근전도 신호기반 보행동작 인식을 위한 분류기 시스템의 전체적인 과정을 설명하는 흐름 블록도이다.

먼저, 훈련과정(S10)을 보다 구체적으로 설명한다.

도 5에서 보는 바와 같이, 훈련과정(S10)은 학습 데이터 입력 단계(S11), 압력 센서 입력의 보행단계 구분 단계(S12), EMG 신호의 특징값 변환 단계(S13), 분류기 생성 단계(S14)로 구성된다.

훈련과정의 첫 번째 단계(S11)에서는 분류기 생성을 위하여 4채널 EMG신호와 2채널 압력센서 데이터(또는 보행 압력 신호) 등 총 6채널의 신호를 입력받는다. 이때 2채널의 압력 센서는 앞꿈치와 뒷꿈치에 각각 설치하여 눌렸을 경우와 눌리지 않았을 경우를 분류한다.

두 번째 단계(S12)는 앞꿈치와 뒷꿈치에 설치한 압력센서를 이용하여 보행단계를 인식한다. 즉 뒷꿈치가 지면과 닿고 앞꿈치가 지면과 떨어져 있는 상태를 초기 접촉기(Initial Contact), 뒷꿈치와 앞꿈치 모두 지면과 닿은 상태를 중간 입각기(Mid stance), 뒷꿈치가 지면과 떨어지고 앞꿈치가 지면과 닿은 상태를 마지막 입각기(Terminal stance), 앞꿈치와 뒷꿈치가 모두 지면과 떨어진 상태를 유각기(Swing)로 분류한다.

세 번째 단계(S13)는 보행단계에 따라 각각 특징 추출 알고리즘을 적용하여 4채널의 EMG 신호를 특징 값으로 변환한다. 이때 사용되는 특징 추출 알고리즘으로서, VAR(variance), WL(waveform length), RMS(root mean square), MAV(mean absolutue), ZC(zero crossing), SSC(Slope Sign Changes) 총 6개를 사용한다.

네 번째 단계(S14)는 특징 값으로 변환된 EMG신호를 선형 판별 분석법(LDA, linear discriminant analysis)을 이용하여 각각의 보행단계에 따라 앞꿈치(Toe) 분류기 및 뒷꿈치(Heel) 분류기를 생성한다. 이때 분류기는 보행 단계별로 근육 4채널과 특징 추출 알고리즘 6개의 조합을 통해 24개의 분류기 그룹(Heel 분류기, Toe분류기)이 생성된다. 따라서 총 4가지 보행단계를 인식하기 위한 분류기 그룹의 개수는 96개이다.

즉, 하나의 분류기는 (1) 하나의 EMG신호를 입력받아(4가지) (2) 어느 하나의 특징 추출 알고리즘(6가지)으로 특징값을 변환하고, (3) 어느 하나의 보행단계(4가지)가 맞는지 틀리는지(O,X)를 분류하는 분류기이다. 다시 말하면, (1) EMG 신호를 입력받고(4가지 근육 중 하나), (2) 각 EMG 신호는 6가지의 특징 추출 알고리즘을 사용하여 벡터값이 산출되고, (3) 분류기를 통하여 보행단계가 4가지로 나눠진다.

분류기는 각 근육에서 발생한 EMG 신호를 6가지의 특징추출을 이용하여 산출된 값을 입력받는다. 분류기는 LDA(linear discriminant analysis)를 이용하여 분류한다. 이것은 선형 판별 분석으로 트레이닝 데이터와 입력받은 특징 값들을 비교하여 분류한다. 즉 분류기는 입력된 EMG신호를 이용하여 보행단계를 판단한다. EMG신호 입력받고, 특징을 추출하여, 이를 분류기에 입력하면, 보행단계 결과를 획득할 수 있다.

뒷꿈치(Heal) 분류기는 뒷 꿈치가 지면에 닿았을 때를 1, 떨어졌을 때는 0으로 분류한다. 앞꿈치(toe) 분류기는 앞꿈치가 지면에 닿는지 여부를 분류하는 것으로서, 뒷꿈치(Heal) 분류기와 내용은 동일하다. 분류기 그룹은 뒷꿈치(Heal) 분류기와 앞꿈치(toe) 분류기를 묶은 것을 말한다. 즉, 특징 값을 입력하면 뒷꿈치(Heal) 분류기에서 결과를 얻고, 앞꿈치(toe) 분류기에서 결과를 얻는다. 따라서 2개의 분류기를 이용하기 때문에 분류기 그룹이라 부르기로 한다.

다음으로, 채널 및 특징 추출 알고리즘 선택 과정(S20)을 보다 구체적으로 설명한다.

도 6에서 보는 바와 같이, 채널 및 특징 추출 알고리즘 선택 과정(S20)은 테스트용 EMG 신호 입력 단계(S21), 입력된 EMG 신호의 특징값 변환 단계(S22), 분류기의 정확도 계산 단계(S23), 및, 분류기 및 상기 분류기에 사용된 EMG 신호 채널과 특징 추출 알고리즘 선택 단계(S24)로 구성된다.

채널 및 특징 추출 알고리즘 선택 과정의 첫 번째 단계(S21)는 보행단계에 따라 훈련과정에서 사용된 보행주기와 동일한 주기의 EMG 신호를 입력받는다. 보행주기만 같고 훈련과정의 EMG 신호와는 다른 EMG 신호(테스트용 EMG신호)를 입력받는다. 즉, 채널 및 추출 알고리즘 선택을 위하여 훈련과정에서 사용된 보행주기와 동일한 주기를 갖는 새로운 EMG신호를 입력받는다.

두 번째 단계(S22)는 새로 입력된 EMG 신호를 훈련과정과 동일한 특징 추출 알고리즘을 사용하여 특징 값으로 변환한다.

세 번째 단계(S23)는 새로 입력된 데이터를 보행단계별로 분류기 그룹에 입력한 뒤 정확도를 계산한다. 이때 보행 인식에는 분류 매트릭스(Classification Matrix)를 이용하고 이에 대한 자세한 설명은 후술한다. 즉 훈련단계에서 보행단계별로 생성된 24개의 분류기 그룹에 대하여 정확도를 계산한다.

마지막 네 번째 단계(S24)는 보행단계에 따라 정확도가 가장 높게 나오는 분류기 그룹을 보행인식 단계에 사용하도록 선택하고, 선택된 분류기 그룹에서 사용된 채널과 특징 추출 알고리즘을 보행단계 인식 기법에서 사용한다.

여기서 채널의 선택은 EMG 신호 선택 또는 EMG 신호 채널 선택을 말한다. 앞서 훈련과정의 보행압력 신호 채널은 해당되지 않는다. 즉, EMG신호만을 이용하여 보행단계를 인식하는 것이기 때문에 보행 압력신호 채널은 사용되지 않는다.

바람직하게는, 선택되는 분류기 그룹(힐분류기 토분류기)은 보행단계 당 하나이다. 즉 보행단계별로 채널 4개와 특징추출 알고리즘 6개를 경우의 수만큼 분류기를 생성하고, 정확도를 확인한다. 그 중 가장 높은 정확도를 보이는 분류기 그룹을 선택한다. 이때 사용되는 채널 및 특징 추출 알고리즘은 사용자마다 달라질 수 있다. 예를 들어, 채널 1이 될 수도 있고 채널 4가 될 수 있다. 또한, 특징도 1~6 중 하나가 상황에 따라 다르게 선택된다. 즉, 사용자마다 맞춤형의 채널과 특징 ㅊ추출 알고리즘이 선택된다.

또한, 보행단계에서의 보행동작 마다 분류기는 다르게 선택될 수 있다.

다음으로, 앞서와 같이 특징추출 알고리즘 및 분류기가 선택된 다음, 보행을 인식하는 방법을 도 7을 참조하여 설명한다.

도 7에서 보는 바와 같이, 보행을 인식하는 방법은 실제 EMG 신호를 입력받아 특징값으로 변환하는 단계(S31), 선택된 분류기에 변환된 특징값을 입력하여 분류하는 단계(S32), 및, 분류 매트릭스를 이용하여 보행단계를 추출하는 단계(S33)로 구성된다.

보행 인식과정의 첫 번째 단계(S31)는 훈련과정 중 선택된 보행동작에 따라 채널과 특징추출 알고리즘을 이용하여 특징 값으로 변환한다.

예를 들어, 보행은 1->2->3->4->1->2->3->4와 같이 순차적으로 진행됩니다. 즉 1번 동작이 3번으로 갑자기 뛰는 경우가 없다. 따라서 이전 보행에서 초기 접촉기(Initial Contact)라는 것이 결정되면 다음은 중간 입각기(Mid stance)가 된다. 도 4에 있는 내용은 이전에 초기 접촉기(Initial Contact)라면, 현재는 중간 입각기(Mid stance)라는 것을 의미한다.

훈련과정에서 보행단계 마다 정확도가 가장 높은 분류기를 알아내고 이를 사용한다. 즉 초기 접촉기(Initial Contact)에서 채널 2와 특징 3으로 했을 때 정확도가 가장 높았다면 이 분류기 그룹(힐, 토)을 초기 접촉기(Initial Contact) 인식에 사용한다. 또한, 중간 입각기(Mid stance)에서 채널 1과 특징 1을 사용했을 때 정확도가 가장 높았다면 이 분류기 그룹을 중간 입각기(Mid stance)에서 사용한다. 따라서 위와 같은 경우일 때 초기 접촉기(Initial Contact)는 채널 2와 특징 3이 선택된 것이고, 중간 입각기(Mid stance)일 때 채널 1과 특징 1이 선택된다.

앞서 “선택된 보행동작에 따라”라는 의미는 현재 보행단계에 따라 분류기를 선택한다는 의미이다. 예를 들어, 현재 단계가 초기 접촉기(Initial Contact)라면 분류기 생성에 사용된 채널 2를 입력받고, 특징 3의 특징추출 알고리즘을 사용하여 특징을 추출한다.

참고로, 보행동작은 앞꿈치와 뒷꿈치가 지면에 닿았는지 떨어졌는지를 말하는 것이고, 보행단계는 앞꿈치와 뒷꿈치의 동작으로 인한 보행 단계를 구분하는 것이다. 예를 들어, 앞꿈치와 뒷꿈치가 모두 지면에 닿으면 전체 보행단계 4단계 중에 입각기에서 중간 입각기(Mid stance)가 된다. 또한, 앞꿈치와 뒷꿈치가 모두 지면에서 떨어진 상태이면 유각기(Swing) 국면이 되는 것으로, 총 4단계로 구분된다.

한편, 이때 입력되는 데이터는 실제 EMG 신호이다. 그리고 이때 EMG신호는 모든 신호를 받는 것이 아니라 선택된 채널의 EMG신호만 입력받는다.

두 번째 단계(S32)는 채널 및 특징 추출 알고리즘 선택과정에서 선택된 분류기 그룹, 즉, 앞꿈치(Toe) 분류기와 뒷꿈치(Heel) 분류기를 이용하여 분류 결과를 얻는다.

마지막 세 번째 단계(S33)는 분류기 그룹인 앞꿈치(Toe) 분류기와 뒷꿈치(Heel) 분류기를 통해 얻은 결과를 분류 매트릭스(Classification Matrix)를 이용하여 4단계로 분류한다. 분류 매트릭스(Classification Matrix)는 앞꿈치(Toe) 분류기와 뒷꿈치(Heel) 분류기를 이용해 각각 지면과 닿았을 경우와 닿지 않았을 경우에 대한 경우의 수를 이용하여 보행을 인식한다.

도 8은 분류 매트릭스(Classification Matrix)을 통해 분류되는 동작을 정리한 표이다.

도 8에서 볼 수 있듯이, 총 4단계를 분류하며 입각기(Stance) 3단계와 유각기(Swing) 1단계를 구분한다. 이때 보행은 항상 순서대로 진행되기 때문에 현재 보행단계가 인식될 시 다음 보행단계에서는 그에 해당하는 분류기를 선택하고 분류기 생성에 사용된 채널과 특징 추출 알고리즘을 이용하여 신호를 특징 값으로 변환한다. 즉 현재 중간 입각기(Mid stance)에 대한 결과를 얻었다면 다음에 입력되는 EMG 신호는 마지막 입각기(Terminal stance) 분류기 그룹을 선택하고 분류기 생성에 사용된 채널과 특징 추출 알고리즘을 이용하여 특징 값으로 변환한다.

다음으로, 실험을 통한 본 발명의 효과를 구체적으로 설명한다.

먼저, 본 발명의 효과를 위한 실험환경을 설명한다.

EMG 신호 측정 장비에는 BIOPAC사의 BM-EMG2 (2Ch) 2대를 사용하여 총 4채널을 취득 하였다. 근육 부착 위치는 참고문헌을 통하여 보행시 근육 활성도가 높게 나오는 부위 4곳(Rectus femoris, Vastus lateralis, Vastus medialis, Semitendinosus)을 사용하였다[비특허문헌 6,10,12-13]. 훈련 단계에서는 EMG 신호와 함께 보행 단계를 구분하기 위하여 앞꿈치와 뒷꿈치에 설치한 압력센서 2채널을 동시에 취득하였다. 도 9는 피험자1에게서 측정한 보행 4주기 동안의 4ch EMG 신호와 2ch 압력 센서 데이터이다.

이때 압력 센서로부터 입력되는 데이터는 5Kg을 초과할 시 1로 변환하여 최종적으로 1과 0으로 취득하였다. 개발 프로그램은 Matlab 2013을 이용하였다. 실험에는 총 3명의 피험자가 참여했고 피험자 당 120걸음을 사용하였으며 훈련단계에는 피험자 당 40 걸음에 대한 데이터를 이용하였고, 채널 및 특징 선택단계에서 40걸음에 대한 데이터를 추가로 사용했다. 마지막으로 보행단계 인식 에서는 마지막 남은 40 걸음을 사용했다.

다음으로, 피험자의 보행단계에 따른 채널과 특징에 대한 비교를 설명한다.

피험자별 보행 습관에 따라 근육별 사용 빈도가 차이가 나는 것을 확인하기 위하여 보행단계에 따른 근육별 정확도를 측정하였다. 정확도는 식 1을 이용하여 계산하였다. 식 1에서 볼 수 있듯이 전체 보행걸음 수인 40번 중 보행단계별로 올바르게 인식된 개수를 나누고 백분율로 표시하기 위하여 100을 곱하였다.

[수학식 1]

실험은 보행단계별로 근육에 따라 정확도를 각각 계산하였다.

도 10의 표는 식 1을 이용하여 계산된 피험자의 보행단계에 따른 근육별 정확도에 대하여 가장 높은 정확도를 보인 근육을 정리하였다. 도 10은 피험자의 보행단계에 따른 가장 높은 정확도를 보인 근육을 정리한 표이다.

도 10의 표에서 볼 수 있듯이 피험자와 보행단계에 따라 가장 높은 정확도를 보인 근육이 차이가 있었다. Subject2의 경우 Gait1과 Gait4가 Semitendinosus였고, Gait2는 Vastus Lateralis, Gait3는 Rectus Femoris인 반면에 Subject3의 경우 Gait인 Semitendinosus, Gait2와 Gait4과 Rectus femoris, Gait3가 Vastus lateralis였다. 피험자 5명 모두 보행단계에 따라 공통적으로 높은 정확도를 보이는 근육이 존재하지 않았다. 따라서 피험자와 보행단계에 따라 근육별 발달도가 모두 다르다는 것을 확인하였다.

다음은 가장 높은 정확도를 보인 근육에 특징 추출 알고리즘을 각각 적용하여 정확도를 비교하였다. 도 11의 표는 피험자의 보행단계별 가장 높은 정확도를 보인 특징 추출 알고리즘을 정리하였다. 도 11은 피험자의 보행단계에 따른 가장 높은 정확도를 보인 특징 추출 알고리즘에 대한 표이다.

표 2에서 볼 수 있듯이 피험자와 보행단계에 따라 가장 높은 정확도를 보인 특징추출 알고리즘이 모두 다르다는 것을 확인하였다. Subject1의 경우 Gait1은 Zc, Gait2는 Var, Gait3는 Rms 및 Gait4는 Mav인 반면에 Subject3의 경우 Gait1은 MAV, Gait2는 Zc, Gait3는 WL, Gait4는 SSC로 모두 달랐다. 하지만 Gait4의 경우 Subject3를 제외하고 모든 피험자에게서 MAV가 가장 높은 정확도를 보였다. 실험결과 피험자별 보행 단계에 따른 근육별 정확도와 특징별 정확도가 모두 다르다는 것을 확인하였다.

다음으로, 적응적 채널 및 특징 선택에 따른 정확도에 대한 실험 결과를 설명한다.

앞서 실험을 이용하여 얻게 된 근육별 정확도와 특징별 정확도를 이용하여 보행단계를 구분했다. 이 실험에서는 근육별 정확도와 특징별 정확도를 순위에 따라 적응적으로 채널과 특징을 조합한 분류기별 정확도를 측정하였다. 도 12는 적응적 채널 및 특징 선택에 따른 피험자별 분류 정확도에 대한 실험 결과 그래프이다.

도 12에서 nCh Mix는 정확도 순위에 따른 채널 조합 개수이며 nF Mix는 정확도 순위에 따른 특징 추출 알고리즘 조합 개수이다. 즉 2Ch Mix_2F Mix는 정확도가 1순위와 2순위를 보인 근육을 사용하고, 정확도가 1순위와 2순위를 보인 특징 추출 알고리즘을 사용하여 생성된 분류기의 결과이다. 피험자 모두에게서 1Ch Mix일 때 정확도가 가장 높았다. 특징 추출 알고리즘은 1F Mix 또는 2F Mix가 가장 높은 정확도를 보였다. 피험자1의 경우 그림 5-I(a)에서 볼 수 있듯이 1Ch Mix_2F Mix일 때 91%였으나, 4Ch Mix_2F Mix일 때 74%였다. 피험자 5의 경우 그림 5-(e)에서 볼 수 있듯이 1Ch Mix, 3F Mix 69%인 반면에, 1Ch Mix, 2F Mix와 1Ch Mix, 1F Mix모두 80%가 넘는 정확도를 보이면서 특징을 1개 또는 2개를 사용했을 때 10% 이상 정확도가 향상되었다. 특히 기존 방법인 4Ch Mix_6F Mix보다 1Ch Mix_1F Mix가 모든 피험자에게서 20% 높은 정확도를 보이면서 제안한 방법이 높은 정호가도를 보임을 확인하였다[비특허문헌 6].

다음은 마지막으로 피험자 5명의 실험결과에 대해 평균을 계산하였다. 도 13은 적응적 채널 및 특징 선택에 따른 모든 피험자의 평균 분류 정확도를 나타내는 그래프이다.

도 13의 표에서 보는 바와 같이, 1Ch Mix_1F Mix가 81%로 가장 높은 정확도를 보였고, 1Ch Mix_2F Mix 79%로 다음으로 높은 정확도를 보였다. 하지만 1Ch Mix_3F Mix의 경우 73%의 정확도를 보이면서 약 6%정도 정확도가 감소된 것을 볼 수 있었다. 하지만 채널 결합의 경우 2Ch Mix_1F Mix가 74%를 2Ch Mix_2F Mix가 70%를 보이면서 채널을 1개만 사용했을 경우보다 약 10%정도 감소하였다. 특히 기존 방법인 4Ch Mix_6F Mix의 경우 50%의 정확도를 보이면서 보행단계 인식 방법으로는 부적합하다는 것을 확인하였다. 실험결과 가장 정확도가 높게나오는 1개의 채널만을 사용했을 때 정확도가 가장 높았으며, 특징의 경우 1개 또는 2개를 사용했을 때 가장 정확도가 높게 나온다는 것을 확인하였다.

본 발명은 물리적인 센서가 아닌 EMG만을 이용하여 보행단계 인식을 위한 적응적 특징 및 채널 선택을 이용한 sEMG 신호기반 보행단계 분류 방법을 제시하였다. 본 발명의 중요한 내용을 정리하면 다음과 같다.

첫째, 물리적인 센서를 사용하지 않고 EMG만을 이용하여 평균 80%가 넘는 보행 단계 인식률을 보였다. 따라서 EMG만을 이용하여 보행단계를 인식하는 것이 가능함을 확인하였다.

둘째, 피험자의 근육 발달 도에 따라 채널과 특징을 선택함으로써 사용자에 따라 최적화된 보행단계 인식 방법을 제시했다. 기존 방법인 모든 근육과 특징을 이용한 방법의 경우 50%의 정확도를 보이면서 보행단계 인식 기법으로는 적합하지 않음을 확인했다. 하지만 본 발명에 따른 방법은 피험자의 보행 습관에 따라 보행단계별로 가장 사용도가 높은 근육을 선별하고 정확도가 높게 나오는 특징을 이용함으로 써 최대 90%의 정확도를 보였다.

셋째, 적응적 채널 기법을 통하여 초당 4000개의 입력 데이터를 1000개로 감소시켰고, 적응적 특징 선택 기법을 이용하여 특징 변환 개수를 6개에서 3개 이하로 감소시켰다. 따라서 임베디드 시스템 환경에서 오버헤드를 감소시키고 처리속도를 향상시킬 수 있다.

이상, 본 발명자에 의해서 이루어진 발명을 실시 예에 따라 구체적으로 설명하였지만, 본 발명은 실시 예에 한정되는 것은 아니고, 그 요지를 이탈하지 않는 범위에서 여러 가지로 변경 가능한 것은 물론이다.

10 : 학습데이터 12 : EMG 신호
20 : 컴퓨터 단말 30 : 보행단계 인식 장치

Claims

표면근전도 신호기반 보행동작 인식을 위한 분류 시스템에 있어서,
보행 동작에 의한 제1 신호로부터 제1 알고리즘에 의해 추출된 제1 특징값을 입력받아, 상기 제1 특징값에 따라 1 또는 0을 출력하는 제1 분류기; 및,
보행 동작에 의한 제2 신호로부터 제2 알고리즘에 의해 추출된 제2 특징값을 입력받아, 상기 제2 특징값에 따라 1 또는 0을 출력하는 제2 분류기를 포함하고,
상기 시스템은 상기 제1 및 제2 분류기의 출력값의 조합에 따라 4개의 보행동작 중 하나를 나타내고,
상기 제1 및 제2 분류기는 LDA(linear discriminant analysis)를 이용하여 구성된 분류기로서, 보행 동작의 EMG 샘플 신호와, 상기 EMG 샘플 신호에 해당되는 보행동작 데이터로 구성되는 트레이닝 데이터에 의해 트레이닝된 분류기이고,
상기 제1 및 제2 알고리즘은 다수의 특징추출 알고리즘 중 어느 하나이고,
상기 제1 및 제2 신호는 다수 채널의 EMG 신호 중 어느 하나인 것을 특징으로 하는 표면근전도 신호기반 보행동작 인식을 위한 분류기 시스템.
제1항에 있어서,
상기 제1 분류기에 트레이닝되는 보행동작 데이터는 앞꿈치가 지면에 닿는지 여부를 나타내는 데이터이고, 상기 제2 분류기에 트레이닝되는 보행동작 데이터는 뒷꿈치가 지면에 닿는지 여부를 나타내는 데이터인 것을 특징으로 하는 다중 보행단계 인식을 위한 표면근전도 신호기반 부스트 분류 시스템.
제1항에 있어서,
상기 제1 또는 제2 분류기는 상기 제1 또는 제2 신호와 다른 EMG 신호 및, 상기 제1 또는 제2 알고리즘과 다른 특징추출 알고리즘에 의해 트레이닝된 분류기에 비하여 정확도가 높은 분류기인 것을 특징으로 하는 표면근전도 신호기반 보행동작 인식을 위한 분류기 시스템.
제1항에 있어서,
상기 특징추출 알고리즘은 VAR(variance), WL(waveform length), RMS(root mean square), MAV(mean absolutue), ZC(zero crossing), 및 SSC(Slope Sign Changes) 중 적어도 2개 이상으로 구성되는 것을 특징으로 하는 표면근전도 신호기반 보행동작 인식을 위한 분류기 시스템.