KR20170000451A

KR20170000451A - 상하향 계단보행을 위한 근전도 신호 기반 보행단계 인식 방법

Info

Publication number: KR20170000451A
Application number: KR1020150089156A
Authority: KR
Inventors: 김덕환; 이미란; 류재환
Original assignee: 인하대학교 산학협력단
Priority date: 2015-06-23
Filing date: 2015-06-23
Publication date: 2017-01-03
Also published as: KR101705082B1

Abstract

본 발명은 상하향 계단보행을 위한 근전도 신호 기반 보행단계 인식 방법에 관한 것으로서, (a) 오르막 보행 또는 내리막 보행 시에 측정된 다수 근육의 근전도 신호의 훈련용 신호와, 보행 시에 측정된 발바닥 압력과 무릎 각도의 물리 데이터를 입력받는 단계; (b) 상기 물리 데이터를 이용하여 보행 단계를 판단하는 단계; (c) 상기 근전도 신호로부터 특징을 추출하는 단계; (d) 추출한 특징을 입력으로 하고, 판단된 보행 단계를 출력으로 하는 분류기를 생성하는 단계; 및, (e) 생성된 분류기를 이용하여, 상기 오르막 보행 또는 내리막 보행의 보행단계를 인식하는 단계를 포함하는 구성을 마련한다.
상기와 같은 방법에 의하여, 근전도 신호만을 이용하여 오르막, 내리막 계산보행을 분류함으로써, 계단 보행 단계를 보다 정확하게 분류할 수 있다.

Description

상하향 계단보행을 위한 근전도 신호 기반 보행단계 인식 방법 { A Gait Phase Recognition method based on EMG Signal for Stairs Ascending and Stairs Descending}

본 발명은 물리센서를 사용하지 않고, 근전도 신호만을 이용하여 오르막, 내리막 계단보행을 각각 4단계로 분류하는, 상하향 계단보행을 위한 근전도 신호 기반 보행단계 인식 방법에 관한 것이다.

또한, 본 발명은 근전도 신호를 RMS, VAR, MAV, SSC, ZC, WAMP 특징으로 산출하여 LDA(Linear Discriminant Analysis) 분류기를 통해 보행단계를 인식하고, 훈련 단계에서는 AHRS센서를 이용하여 무릎각도 변화에 따른 보행단계 범위를 생성하는, 상하향 계단보행을 위한 근전도 신호 기반 보행단계 인식 방법에 관한 것이다.

최근 인간의 보행 특성을 분석하는 연구가 활발히 진행 중이다. 빠르게 걷기, 느리게 걷기, 계단 오르기, 계단 내려가기 등의 보행은 각 보행모드에 따라 사용되는 근육과 근활성도의 정도가 다르다[비특허문헌 1]. 특히, 상하향 계단보행은 몸의 균형과 무게중심을 유지하며 보행해야하기 때문에 평지와는 다른 보행 특성을 지닌다. 또한, 계단보행은 무릎 관절 움직임과 지면반력이 많이 요구되는 활동이라 평지보행에 비해 많은 하지 근력이 필요하다. 따라서 절단 환자나 하지 근력이 부족한 노약자를 위해 계단보행에서 사용되는 동력의족과 근력보조기기에 대한 필요성이 확대되고 있다.

계단보행을 위한 동력의족을 자연스럽게 구동시키기 위해선 보행단계가 잘 분류되어야 한다. 동력의족을 이용한 계단보행단계 분류에 대한 기존 연구는 물리적인 센서(압력, 가속도, 각도, 모션카메라 등)를 통해 분류하고 있다[비특허문헌 2-4]. 이러한 방법은 센서가 항상 동력의족에 탑재되어야하기 때문에 의족 무게에 영향을 줄 수 있다. 또한, 사용자의 의도에 따른 보행이 아니라 물리센서를 이용하여 사전에 훈련된 속도로만 재현되어 사람이 동력의족에 이끌려 가는 느낌을 받을 수 있다는 단점을 지니고 있다[비특허문헌 5].

[비특허문헌 1] H-J. Cho, K-H. Kang, H-C. Park, M-S. Kang, Y-S. Choi, T-K. Kim, S-J. Yoon, "Effect of Inclined Backward and Forward Walking Training on Muscle Strength and Electromyographic Activity", Journal of the Society of Living Environment System of Korea, Vol.16, No.2, pp186-193, April 2009. [비특허문헌 2] J-Y. Jung, Y-S. Yang, Y-W. Won, J-J Kim, "Development of Wireless Ambulatory Measurement System based on Inertial Sensors for Gait Analysis and its Application for Diagnosis on Elderly People with Diabetes Mellitus", Journal of the Institute of Electronics Engineers of Korea, Vol.48, No.2, pp38-46, March 2011. [비특허문헌 3] J-Y. Lee, K-J. Lee, Y-H. Kim, S-H. Lee, S-W. Park, "Development of Gait Analysis Algorithm for Hemiplegic Patients based on Accelerometry", Journal of the Institute of Electronics Engineers of Korea, Vol.41, No.4, pp.231-240, July 2004. [비특허문헌 4] M-G. Chae, J-Y. Jung, C-J. Park, I-H. Jang, H-S. Park, "Gait Phases Classification using Joint angle and Ground Reaction Force: Application of Backpropagation Neural Networks", Journal of Institute of Control & Robotics and Systems, Vol.18, No.7, pp.644-649, July 2012. [비특허문헌 5] J-H. Ryu, D-H. Kim, "sEMG Signal Based Gait Phase Recognition Method for Selecting Features and Channels Adaptively", Journal of The Rehabilitation Engineering and Assistive Technology Society, Vol.7, No.2, pp.19-26, December 2013. [비특허문헌 6] Alison C. Novak, Samantha M. Reid, Patrick A. Costigan, Brenda Brouwer "Stair negotiation alters stability in older adults", Lower Extremity Review, October 2010 [비특허문헌 7] H-S. Cho, Y-H. Chang, J-C Ryu, M-S. Mun, C-B. Kim, "Analysis of Stair walking characteristics for the development of Exoskeletal walking Assist Robot", Journal of The Rehabilitation Engineering and Assistive Technology Society of Korea, Vol.6, No.2, pp.15-22, December 2012. [비특허문헌 8] E-S. Kim, "Trajectory Generation Schemes for Bipedal Ascending and Descending Stairs using Genetic Algorithm(GA)", University of Dong-A, February 2010. [비특허문헌 9] H.Huang, T.A. Kuiken and R.D. Lipschutz, "A Strategy for Identifying Locomotion Modes Using Surface Electromyography," The Journal of Biomedical Engineering, IEEE Transactions on, Vol. 56, No.1, pp.65-73,January 2009. [비특허문헌 10] A.Phinyomark, S.Hirunviriya, C.Limsakul, P.Phukpattaranont, "Evaluation of EMG Feature Extraction for Hand Movement Recognition Based on Euclidean Distance and Standard Deviation", in Proc. of ECTI-CON Conf. on 2010 International Conference, pp.856-860, Chiang Mai, Thailand, May 2010. [비특허문헌 11] Boris I. Prilutsky, Ludmila N. Petrova, Leonid M. Raitsin, "Comparison of Mechanical energy expenditure of joint moments and muscle forces during human locomotion", The Journal of Biomechanics, Vol.29, No.4, pp.405-415, April 1996. [비특허문헌 12] S-H. Kim, J-H. Ryu, D-H. Kim, "Gait phase classification for Stair walking using Feature Extraction and Muscle selection based on EMG Signals", in Proc. of IEEK Conf. on Summer Conference, Vol.37, No.1, pp.1053-1056, Jeju, Korea, June 2014. [비특허문헌 13] A.Phinyomark, P.Phukpattaranont, C.Limsakul, "Feature reduction and selection for EMG signal classification", The Journal of Expert Systems with Applications, Vol.39, No.8, pp.7420-7431, June 2012.

본 발명의 목적은 상술한 바와 같은 문제점을 해결하기 위한 것으로, 근전도 신호를 RMS, VAR, MAV, SSC, ZC, WAMP 특징으로 산출하여 LDA(Linear Discriminant Analysis) 분류기를 통해 보행단계를 인식하고, 훈련 단계에서는 AHRS(Attitude & Heading Reference System) 센서를 이용하여 무릎각도 변화에 따른 보행단계 범위를 생성하는, 상하향 계단보행을 위한 근전도 신호 기반 보행단계 인식 방법을 제공하는 것이다.

특히, 본 발명의 목적은 근전도 신호만으로 오르막과 내리막 계단보행단계를 분류하는 방법으로서, 정상인의 계단보행 관찰을 통해 무릎 각도 변화가 일정한 패턴을 보이며 이를 통해 각 보행단계 범위를 분류할 수 있다는 점을 이용하여, 훈련단계에서 AHRS센서를 이용하여 무릎각도 변화에 따른 보행단계 범위를 생성하며, 근전도 신호만을 이용하여 상하향 계단보행을 각각 4단계로 분류하는 방법을 제공하는 것이다.

상기 목적을 달성하기 위해 본 발명은 상하향 계단보행을 위한 근전도 신호 기반 보행단계 인식 방법에 관한 것으로서, (a) 오르막 보행 또는 내리막 보행 시에 측정된 다수 근육의 근전도 신호의 훈련용 신호와, 보행 시에 측정된 발바닥 압력과 무릎 각도의 물리 데이터를 입력받는 단계; (b) 상기 물리 데이터를 이용하여 보행 단계를 판단하는 단계; (c) 상기 근전도 신호로부터 특징을 추출하는 단계; (d) 추출한 특징을 입력으로 하고, 판단된 보행 단계를 출력으로 하는 분류기를 생성하는 단계; 및, (e) 생성된 분류기를 이용하여, 상기 오르막 보행 또는 내리막 보행의 보행단계를 인식하는 단계를 포함하는 것을 특징으로 한다.

또한, 본 발명은 상하향 계단보행을 위한 근전도 신호 기반 보행단계 인식 방법에 있어서, 상기 (b)단계에서, 발바닥 압력으로 보행단계의 입각기와 유각기를 구분하고, 무릎 각도에 따라 보행단계를 세분화하는 것을 특징으로 한다.

또한, 본 발명은 상하향 계단보행을 위한 근전도 신호 기반 보행단계 인식 방법에 있어서, 상기 (b)단계에서, 오르막 보행인 경우, 입각기의 3단계와 유각기의 1단계로 구분하되, 입각기는 체중이동기(Weight acceptance), 풀업기(Pull-up), 및, 전방지속기(Forward continuance) 순으로 진행되는 것으로 판단하고, 체중이동기(Weight acceptance) 단계는 발바닥 압력이 초기값 부터 최대값 사이의 일정한 지점에 해당할 때까지로 판단하고, 풀업기(Pull-up) 단계는 체중이동기(Weight acceptance) 이후 무릎의 각도가 지면과 수직이 될 때까지로 판단하는 것을 특징으로 한다.

또한, 본 발명은 상하향 계단보행을 위한 근전도 신호 기반 보행단계 인식 방법에 있어서, 상기 (b)단계에서, 체중이동기(Weight acceptance) 단계는 압력의 전압이 초기값 부터 다음 수식 1의 임계값 Threshold 까지일 때로 판단하는 것을 특징으로 한다.

[수식 1]

단, i_init 와 i_max 는 각각 발바닥 압력의 전압의 초기값 및 최대값임.

또한, 본 발명은 상하향 계단보행을 위한 근전도 신호 기반 보행단계 인식 방법에 있어서, 상기 (b)단계에서, 내리막 보행인 경우, 입각기의 체중이동기(Weight acceptance), 입각기의 제어하강기(Controlled lowering), 유각기의 다리견인기(Leg pull through), 및, 유각기의 발착지기(Fool placement) 순으로 4개의 단계로 구분하여 판단하되, 입각기 보행이 시작된 후, 기준 다리로만 지탱하는 동안 무릎 각도가 최저가 되는 시점을 기준으로 체중이동기(Weight acceptance)와 제어하강기(Controlled lowering)를 구분하고, 유각기 보행이 시작된 후, 발바닥 압력이 초기값부터 윈도우 사이즈의 분산 T_var이 최저 구간이 되는 전압값인 y_range까지를 다리견인기(Leg pull through)로 구분하는 것을 특징으로 한다.

또한, 본 발명은 상하향 계단보행을 위한 근전도 신호 기반 보행단계 인식 방법에 있어서, 상기 y_range 는 다음 수식 2의 T_var 가 최저구간이 되는 전압값인 것을 특징으로 한다.

[수식 2]

단, p는 윈도우 사이즈, m은 평균, n은 샘플 개수임.

또한, 본 발명은 상하향 계단보행을 위한 근전도 신호 기반 보행단계 인식 방법에 있어서, 상기 (a)단계에서, 보행자의 발바닥 압력은 압력센서에 의해 측정되고, 보행자의 무릎각도는 AHRS(Attitude & Heading Reference System) 센서에 의해 측정되는 것을 특징으로 한다.

또한, 본 발명은 상하향 계단보행을 위한 근전도 신호 기반 보행단계 인식 방법에 있어서, 상기 (a)단계에서, 오르막 보행일 때 보행자의 허벅지의 내측광근(Vastus Medialis), 외측광근(Vastus lateralis), 대퇴직근(Rectus femoris), 종아리의 비복근(Gastrocnemius)을 사용하고, 내리막 보행일 때 보행자의 허벅지의 내측광근, 반건양근(Semitendinous), 외측광근, 종아리의 비복근을 사용하는 것을 특징으로 한다.

상술한 바와 같이, 본 발명에 따른 상하향 계단보행을 위한 근전도 신호 기반 보행단계 인식 방법에 의하면, 근전도 신호만을 이용하여 오르막, 내리막 계산보행을 분류함으로써, 계단 보행 단계를 보다 정확하게 분류할 수 있는 효과가 얻어진다.

특히, 본 발명에 따른 실험 결과, 선행 연구의 경우 오르막 보행에서 평균 58.5%, 내리막 보행에서 35.3%의 정확도를 보인 반면, 본 발명에 따른 방법은 오르막 보행에서 평균 85.6%, 내리막 보행에서 69.5%의 인식률을 보이고 있다.

도 1은 본 발명의 일실시예에 따른 상하향 계단보행을 위한 근전도 신호 기반 보행단계 인식 방법을 실시하기 위한 전체 시스템의 구성에 대한 블록도.
도 2는 본 발명에 따른 근전도 신호 패턴인식 방법을 설명하는 블록도.
도 3은 본 발명에 사용하는 인간의 계단 보행 4단계를 나타낸 예시도로서, (A) 오르막 보행 4단계, (B) 내리막 보행 4단계를 나타낸 예시도.
도 4는 본 발명의 일실시예에 따른 상하향 계단보행을 위한 근전도 신호 기반 보행단계 인식 방법을 설명하는 흐름도.
도 5는 본 발명의 일실시예에 따른 계단보행단계 분류에 대한 전체 블록도.
도 6은 본 발명의 일실시예에 따른 계단보행에서 AHRS를 이용한 무릎각도 패턴에 대한 그래프.
도 7은 본 발명의 일실시예에 따른 무릎 각도에 따른 오르막 보행 계단 분류를 위한 무릎 각도 그래프.
도 8은 본 발명의 일실시예에 따른 무릎 각도에 따른 오르막 보행단계 범위를 나타낸 표.
도 9는 본 발명의 일실시예에 따른 무릎 각도에 따른 내리막 보행 계단 분류를 위한 무릎 각도 그래프.
도 10은 본 발명의 일실시예에 따른 무릎 각도에 따른 내리막 보행단계 범위를 나타낸 표.
도 11은 본 발명의 실험에 따른 전극 부착위치 및 실험환경을 나타낸 도면.
도 12는 본 발명의 실험에 따른 실험 장비 및 시스템으르 나타낸 도면.
도 13은 본 발명의 실험에 따라, 단일 특징을 사용한 개별 근육 별 인식률에 대한 그래프로서, (a)오르막 입각기 (b)오르막 유각기 (c)내리막 입각기 (d)내리막 유각기에 대한 인식률 그래프.
도 14는 본 발명의 실험에 따라, 복수의 특징을 사용한 개별 근육 별 인식률에 대한 그래프로서, (a)오르막 입각기 (b)오르막 유각기 (c)내리막 입각기 (d)내리막 유각기에 대한 인식률 그래프.
도 15는 본 발명의 실험에 따른, 본 발명 방법의 인식률 비교를 나타낸 그래프.

이하, 본 발명의 실시를 위한 구체적인 내용을 도면에 따라서 설명한다.

또한, 본 발명을 설명하는데 있어서 동일 부분은 동일 부호를 붙이고, 그 반복 설명은 생략한다.

먼저, 본 발명의 일실시예에 따른 상하향 계단보행을 위한 근전도 신호 기반 보행단계 인식 방법을 실시하기 위한 전체 시스템의 구성에 대하여 도 1을 참조하여 설명한다.

도 1에서 보는 바와 같이, 본 발명에 따른 상하향 계단보행을 위한 근전도 신호 기반 보행단계 인식 방법은 훈련 데이터(11) 또는 근전도 신호(12)를 입력받아, 오르막 보행 또는 내리막 보행에서 특징 및 채널을 선택하거나 보행단계를 인식하는 컴퓨터 단말(20) 상의 프로그램 시스템(30)으로 실시될 수 있다. 즉, 상기 상하향 계단보행을 위한 근전도 신호 기반 보행단계 인식 방법은 프로그램으로 구성되어 컴퓨터 단말(20)에 설치되어 실행될 수 있다. 컴퓨터 단말(20)에 설치된 프로그램은 하나의 프로그램 시스템(30)과 같이 동작할 수 있다.

한편, 다른 실시예로서, 상기 상하향 계단보행을 위한 근전도 신호 기반 보행단계 인식 방법은 프로그램으로 구성되어 범용 컴퓨터에서 동작하는 것 외에 ASIC(주문형 반도체) 등 하나의 전자회로로 구성되어 실시될 수 있다. 또는 오르막 또는 내리막 계단 보행에서의 보행단계 인식만을 전용으로 처리하는 전용 단말(30)로 개발될 수도 있다. 특히, 상기와 같은 전자회로는 동력의족을 제어하는 제어장치에 이용되거나, 제어장치의 일부로서 실시될 수 있다. 이를 근전도 신호기반 보행단계 분류 장치(30)라 부르기로 한다. 그 외 가능한 다른 형태도 실시될 수 있다.

다음으로, 본 발명에 따른 보행단계 인식 방법을 도 2를 참조하여 설명한다.

근전도 신호를 이용한 보행단계인식 방법은 도 2와 같다. 생체신호수집장비로부터 얻은 근전도 신호는 저주파통과필터(LPF, Low pass filter)나 밴드패스필터(Band pass filter)를 통해 노이즈가 제거된다. 각 신호의 특징이 되는 파라미터를 산출하는 특징추출(Feature Extraction)과정 후, 분류기(Classify)를 통해 분류된다.

다음으로, 본 발명에서 분류하고자 하는 계단 보행단계를 도 3을 참조하여 설명한다.

본 발명에서는 오르막과 내리막 계단 보행을 각각 4단계로 분류한다. 이는 무릎 각도와 무게 중심을 이용한다.

생체역학에서 인간의 보행 단계는 기준으로 정한 다리의 발이 지면에 닿아 있는 상태를 의미하는 입각기(stance) 단계와 기준 다리의 발이 지면에서 떨어져 있는 상태를 의미하는 유각기(swing) 단계로 나뉜다. 일반적으로 계단보행은 오르막 보행과 내리막 보행로 나눠진다.

먼저, 도 3(A)에서 보는 바와 같이, 오르막 보행은 기준다리가 계단 지면에 닿았을 때 체중이동기(Weight acceptance), 힘을 싣고 계단 지면을 오를 때인 풀업기(Pull-up) 단계, 기준다리가 지면과 수직이 되었을 때 전방지속기(Forward continuance) 단계, 및, 기준다리가 지면에서 떼어졌을 때 발인상기(Foot clearance) 단계로 구분한다.

도 3(B)에서 보는 바와 같이, 내리막 보행은 계단에 기준 다리를 내디뎠을 때 체중이동기(Weight acceptance) 단계, 기준다리 무릎이 가장 많이 굽혀졌을 때 제어하강기(Controlled lowering) 단계, 기준 다리를 지면에서 떼었을 때 다리견인기(Leg pull through) 단계, 유각기인 발착지기(Fool placement) 단계로 구분한다[비특허문헌 6].

이외에도 다양한 물리센서를 이용하여 계단보행단계를 분류할 수 있다. 모션 카메라를 통해 보행단계를 분류하는 연구에서는 8대의 적외선 카메라와 반사마커를 사용하여 관절토크 패턴, 관절각의 굽힘 방향과 파워 변화율 등을 통해 보행단계를 구분한다[비특허문헌 7]. 또한, 발목 관절 각도를 이용하여 계단보행을 분류하기도 한다[비특허문헌 8].

반면, 물리센서를 사용하지 않고 근전도만을 이용하여 보행모드를 인식하는 연구가 진행 되었다[비특허문헌 9]. 이 연구에서는 발바닥의 앞/뒷꿈치를 기준으로 계단 내려가기, 오르기, 평지보행, 장애물 보행 등 총 7개의 보행모드를 분류하였다.

본 발명의 일실시예에 따른 상하향 계단보행을 위한 근전도 신호 기반 보행단계 인식 방법을 도 4를 참조하여 구체적으로 설명한다.

본 발명에서는 근전도 신호만을 이용하여 계단보행 4단계를 분류하고 이에 따른 개별 근육 별 보행단계 인식률을 산출한다. 보행단계는 동력의족 제어에 유용하도록 계단보행에서 핵심이 되는 보행 4단계로 분류된다. 즉, 오르막 보행은 체중이동기(Weight acceptance), 풀업기(Pull-up), 전방지속기(Forward continuance), 발인상기(Foot clearance)로 정의한다. 내리막보행은 체중이동기(Weight acceptance), 제어하강기(Controlled lowering), 다리견인기(Leg pull through), 발착지기(Fool placement)로 정의한다.

도 4에서 보는 바와 같이, 상하향 계단보행을 위한 근전도 신호 기반 보행단계 인식 방법은 훈련용 근전도 신호 및 물리 데이터를 입력받는 단계(S10), 입력된 물리 데이터로 보행단계를 판단하는 단계(S20), 근전도 신호로부터 특징값을 추출하는 단계(S30), 추출된 특징값과 판단된 보행단계로 분류기를 학습시키는 단계(S40), 및, 학습된 분류기를 이용하여 보행단계를 인식하는 단계(S50)로 나뉜다.

앞서 단계 S10 내지 S40은 보행단계 범위를 학습하여 분류기를 생성하는 과정이다. 훈련을 위한 훈련용 데이터, 즉, 보행자가 보행시 측정되는 근전도 신호 및 물리 데이터를 입력받는다(S10).

이때, 보행단계 범위를 학습하기 위해 훈련단계에서 압력센서와 AHRS센서를 사용한다. 압력센서와 AHRS 센서는 각각 보행자의 발바닥 압력과 무릅 각도를 측정하는 물리적 센서이고, 측정된 데이터를 물리 데이터라 부르기로 한다. 발바닥 압력 및 무릅 각도에 따라 보행단계 범위를 결정한다(S20).

학습된 4채널의 근전도 신호는 RMS(Root mean square), VAR(Variance), WAMP(Willison amplitude), MAV (Mean absolute), SSC(Slope sign change), ZC(Zero crossing)을 사용하여 특징 값을 산출한다[비특허문헌 10](S30). 앞서, 4개의 근육과 6개의 특징 추출 알고리즘으로 한 걸음 당 24개의 값을 갖는 훈련 데이터 그룹을 생성된다.

다음으로, 특징값과 물리 데이터로 분류기를 학습시켜 생성한다(S40). 즉, 특징값들을 분류기의 입력으로 하고, 물리 데이터에 의해 결정된 보행단계를 분류기의 출력으로 하여, 분류기를 학습시킨다. 이때, 분류기는 LDA(Linear Discriminant Analysis)를 이용한다.

학습된 분류기를 이용하여 보행단계를 인식한다(S50). 새로 입력하는 근전도 신호는 훈련과정과 동일한 방법으로 특징 값을 산출하고 이전에 훈련된 분류기 그룹에 입력한 뒤 LDA(Linear Discriminant Analysis)를 이용하여 보행단계를 인식한다.

도 5는 본 발명의 일실시예에 따른 특징추출 및 계단 보행 분류 방법의 전체적인 흐름의 구성을 나타내고 있다. 도 5에서 보는 바와 같이, 훈련 과정에서는 압력센서 및 AHRS 센서 등을 이용하여 측정한 물리 데이터를 이용하는 반면, 실제 인식 과정에서는 물리 데이터를 이용하지 않는다. 훈련 과정 및 실제 인식 과정에서 모두, 보행자의 근육에서 근전도 신호를 측정하여, 특징값을 추출하고, 특징값으로 분류기를 적용한다.

이하에서, 세부적인 작업을 구체적으로 설명한다.

먼저, 데이터 수집 단계에 대하여 설명한다.

채널은 총 6개로 구성된다. 압력센서와 AHRS(Attitude & Heading Reference System) 센서는 훈련단계에서만 사용되며, 보행단계는 근전도 신호로만 분류된다.

압력센서는 발바닥에 부착하여 입각기와 유각기를 구분하고, AHRS센서는 무릎 슬관절 앞쪽에 착용하며 무릎각도 변화에 따라 보행단계를 세분화하기 위해 사용한다. 무릎 각도는 기준다리가 지면과 수직일 때를 90˚로 정하고, 최소 60˚에서 최대 110˚까지 범위에서 각도 값을 갖는다. 인간의 계단보행에 따른 무릎각도 변화는 도 6과 같이 일정한 패턴을 보인다.

근육은 보행에서 흔히 사용되는 허벅지 근육과 계단보행에서 자주 사용되는 종아리 근육을 사용한다. 각 보행마다 발생되는 근전도 신호를 활용하기 위해 보행단계 별로 근육의 수축과 이완이 교차되는 근육들을 선정하였다[비특허문헌 11]. 오르막일 때 허벅지의 내측광근(Vastus Medialis), 외측광근(Vastus lateralis), 대퇴직근(Rectus femoris), 종아리의 비복근(Gastrocnemius)을 사용하고, 내리막보행일 때는 허벅지의 내측광근, 반건양근(Semitendinous), 외측광근, 종아리의 비복근을 사용한다.

다음으로, 오르막 보행 단계의 분류에 대하여 설명한다.

오르막 보행은 입각기 3단계와 유각기 1단계로 구분한다. 보행의 한 주기에서 무릎 각도 그래프는 도 7과 같다.

체중이동기(Weight acceptance) 단계는 입각기 보행의 시작부터 기준다리가 계단 지면에 힘을 싣는 시점까지로 정의한다. 수학식 1과 같이, AHRS센서 전압의 초기값부터 최대값 사이에 일정 시점 R을 구하여 임계값으로 정의한다.

[수학식 1]

이때 전압의 초기값 i_init은 보행을 시작할 때를 나타내며, 최대값 i_max은 무릎각도가 지면과 수직이 될 때를 나타낸다. 일정 시점 R은 기준다리가 계단 지면에 힘을 싣는 때이다. 관찰 결과, R은 보행이 시작되고 무릎각도가 지면에서 수직이 되는 구간의 30% 시점에 해당되는 것으로 나타났다.

체중이동기(Weight acceptance) 부터 무릎이 지면과 수직이 될 때까지 구간을 풀업기(Pull-up) 단계로 정하고, 이때부터 입각기가 끝나는 시점까지를 전방지속기(Forward continuance)로 정한다. 마지막으로 발바닥이 계단지면에서 떨어지는 유각기 단계를 발인상기(Foot clearance)로 정의한다.

도 8의 표는 본 발명에 따른 방법을 사용하여 보행단계를 학습한 대표적인 예로서, 1번 피험자의 첫 번째 오르막 보행을 분류한 관찰결과를 나타낸 표이다.

다음으로, 내리막 보행 단계의 분류에 대하여 설명한다.

도 9는 내리막 보행의 한 주기의 무릎 각도 그래프를 나타낸다. 내리막 보행의 입각기는 보행 시작 후, 계단 지면을 기준 다리로만 지탱하는 T 시간 안에서 무릎 각도가 최저가 되는 시점을 기준으로 2단계로 구분한다. 입각기 단계의 전체 시간은 평균 730ms이고, 이 시간 안에서 기준다리로만 계단지면을 지탱하는 시간이 통상 350ms이하여서 T를 350ms로 정하였다. 따라서 체중이동기(Weight acceptance)는 내리막 보행 시작 후 T 시점 안에 AHRS센서 전압의 최소값까지로 정한다. 제어하강기(Controlled lowering) 단계는 입각기가 끝나는 시점까지로 정의한다.

내리막 보행의 유각기는 AHRS센서 전압의 초기값부터 y_range까지를 다리견인기(Leg pull through) 단계로 나눈다. y_range 범위는 수학식 2를 사용하여 구한다.

[수학식 2]

수학식 2는 AHRS센서 전압값의 분산을 나타내는 식이며, p는 윈도우 사이즈, m은 평균, n은 샘플 개수를 의미한다. 윈도우 사이즈란 전체 신호에 해당하는 전체 샘플들 중에 시간적으로 어떤 한 구간을 정한 것을 의미한다.

여기서 분산을 구하기 위해 윈도우사이즈라 정의한 것은, 전체 내리막 보행 단계 중에 다리견인기(Leg pull through) 단계에서만 분산을 구하기 때문에 다리견인기(Leg pull through) 단계에 해당하는 샘플들의 구간을 윈도우 사이즈로 정하였다. 예를 들어, 전체 신호 샘플 수가 1500개, 다리견인기(Leg pull through) 단계가 350개 샘플들이 있다고 가정한다면, 윈도우 사이즈(p)는 350이 되고, n은 1, 2, 3, 4, …, 299, 300 이 된다.

수학식 2에서 n은 샘플들의 인덱스(index), 즉 위에서 설명하는 것처럼 윈도우 사이즈 내에서의 샘플의 관측계수(1, 2, 3, 4, …, 299, 300)가 되므로 n으로 정의한다. m은 AHRS 센서들의 전압 값 평균이다. 이는 윈도우 사이즈 내에서의 평균을 의미한다. T시간은 y_range전압값에 해당되는 시점을 의미한다.

T_var는 임의의 구간(=윈도우사이즈) 만큼 입력 신호에 대해 분산을 구한 값이다. 예를 들어, 샘플링 레이트가 1KHz인, 즉 1초에 1000개가 입력되는 전체샘플에서 윈도우사이즈를 10ms라고 가정한다면, 한 번에 100개 샘플들의 분산을 구한 값이 T_var로 정의된다.

수학식 2를 통해 계산된 T_var가 최저구간이 되는 전압값을 y_range 로 지정한다. 최저구간은 분산이 통상 2×10^-6 값을 갖고 있음을 관찰하였다. 즉, 윈도우 사이즈 내에서 산출된 분산들 중에 가장 최저가 되는 값을 찾는 것이 목적인데, 이 값은 관찰 결과 통상 2×10^- ⁶ 의 값을 확인하였다. 전체 샘플들 중에 AHRS 전압값이 2×10^-6 이 되는 구간이 y_range 가 된다. 즉, T_var는 윈도우 사이즈 내에서 산출한 분산들의 집합이고, y_range 는 산출한 분산들 중에 가장 최저값을 의미한다.

끝으로 y_range 부터 유각기가 끝나는 시점까지를 발착지기(Fool placement) 단계로 정한다.

도 10의 표는 본 발명에 따른 방법을 사용하여 보행단계를 학습한 대표적인 예로서, 1번 피험자의 첫 번째 내리막 보행을 분류한 관찰결과이다.

다음으로, 특징 추출 및 분류 단계에 대하여 설명한다.

특징 추출은 패턴인식을 위해 대표할 수 있는 특징 값을 산출해내는 과정이다. 특징추출에는 시간 영역(Time domain), 주파수 영역(Frequency domain)과 주파수-시간 영역(Frequency-time domain)기법이 있다. 주파수 영역은 근육의 피로도를 조사할 때 유용하다. 시간 영역은 계산 효율이 좋기 때문에 근전도를 이용한 보행인식 시스템에서 자주 활용된다[비특허문헌 10].

본 발명에서는 시간영역 특징추출 알고리즘인 RMS(root mean square), VAR(variance of EMG), WAMP(Willision amplitude), MAV(mean absolutue), SSC(sign slope change), ZC(zero crossing)을 사용한다. RMS는 일정한 힘과 비피로도 상태에서의 근수축과 관련이 있고, VAR은 표준편차의 제곱 평균으로 구하며 근전도 신호의 힘을 구하는데 사용된다. WAMP는 근전도 신호 크기 변화가 임계값 이상일 때의 횟수를 구하여 나타낸다. MAV는 근육의 활동량과 힘을 추출하는데 주로 사용되며 근력이 증가함에 따라 값이 증가한다. ZC은 근신호가 0전위를 교차한 횟수, SSC는 근전도 신호 파형의 기울기가 바뀌는 횟수를 나타낸다[비특허문헌 10].

특징 값들은 LDA분류기를 사용하여 보행단계가 인식된다. LDA는 클래스 간 분산과 클래스 내 분산의 비율을 최대화 하는 방식으로, 클래스를 선형적(Linear)으로 분류한다.

다음으로, 실험을 통한 본 발명의 효과를 구체적으로 설명한다.

먼저, 본 발명의 효과를 위한 실험환경을 설명한다.

4명의 정상인 피험자들은 오르막, 내리막 계단을 각각 50걸음씩 걷는다. 25걸음은 훈련데이터에, 25걸음은 입력데이터에 사용된다. 실험에 사용된 계단은 도 11과 같고, 계단의 길이는 가로 145cm, 세로 27cm, 높이 16cm이다. 걸음 속도는 한 걸음 당 평균 1500ms이다.

도 12는 구성된 실험 장비와 시스템이다. 장비로는 BIOPAC BN-EMG 2대, STM32F4 DISCOVERY 2대, FLEXIForce A201 압력센서, E2BOX EBIMU-9DOFV2 AHRS센서를 사용하였다. 먼저, BN-EMG로부터 얻은 근전도 신호는 이더넷을 통해 PC로 전송된다. 동시에 수집단말기(STM32F4)에는 압력센서와 AHRS센서를 장착하여 압력과 각도 데이터를 메인보드(STM32F4)로 전송한다. 메인보드에서는 이 데이터를 근전도 신호와 동기화시켜 PC로 전송한다.

다음으로, 본 발명의 실험에 따른 실험결과를 설명한다.

먼저, 개별 근육 별 보행단계 인식률에 대한 결과를 설명한다.

실험에는 특징추출 알고리즘을 모두(단일특징)를 사용한 경우와 정확도가 높은 2개의 특징추출알고리즘(복수의 특징)을 사용한 경우로 비교하였다. 복수의 특징은 LDA 분류기를 사용하여 보행단계를 인식할 때, 2개의 특징 값들을 사용하여 분류하는 방식이다. 이는 시간영역 특징추출 기법들 중 근전도 신호에 대해 비슷한 정보를 가진 특징 기법끼리 조합함으로써 특징 공간의 차이를 줄이며 더 많은 양의 클래스 정보를 얻을 수 있다[비특허문헌 13]. 특징은 RMS+VAR, MAV+SSC, WAMP+ZC으로 조합하여 실험하였다.

도 13은 단일특징을 사용하여 피험자(Subject)의 근육별 오르막/내리막 보행단계 인식률을 입각기/유각기로 나타낸 그래프이다. 실험 결과, 4명의 피험자들은 근육 발달도 및 활성도가 다르기 때문에 근육마다 인식률에 차이가 나타났다. 또한, 단일 특징을 사용했을 때, 근육 별 보행단계 인식률이 피험자마다 편차가 큰 것을 확인하였다.

반면, 도 14는 복수의 특징을 사용하여 피험자의 근육 별 오르막/내리막 보행단계 인식률을 입각기/유각기로 나타낸 그림이다. 관찰 결과, 도 13의 단일 특징과 다르게 복수의 특징을 사용하였을 때, 보행단계 인식률이 보다 향상되었다. 또한, 모든 특징을 사용하지 않고 유사한 클래스 정보를 가진 특징 기법끼리 조합하여 사용함으로써 피험자마다 인식률의 편차가 적게 나타난 것을 확인하였다.

다음으로, 선행연구와 본 발명에 따른 방법의 인식률 비교 결과를 설명한다.

물리센서를 사용하여 보행단계만을 나눈 기존연구와는 달리, 선행연구와 본 발명에서는 훈련단계에서 센서를 이용하여 보행범위를 생성하고, 인식단계에서 근전도 신호만을 이용하여 보행단계의 인식률을 산출한다. 선행연구와 본 발명를 통해 계단에서 사용되는 근육과 적합한 훈련데이터 생성 범위를 고찰하기 위해 두 방법의 보행단계 인식률을 확인하였다.

먼저, 선행 연구는 허벅지 근육 4채널을 사용하였다[비특허문헌 12]. 훈련데이터는 오르막 보행을 입각기 2단계, 유각기 2단계로 분류하였고, 내리막 보행은 체중이동기(Weight acceptance)와 전방지속기(Forward continuance)를 한 단계로 축소하였다. 본 발명에서는 허벅지 근육 3채널과 종아리 근육 1채널을 사용하였다. 훈련데이터 생성 범위는 오르막에서 입각기 3단계, 유각기 1단계로 분류하였고, 내리막에서 전방지속기(Forward continuance)와 제어하강기(Controlled lowering)을 축소하여 각각 4단계로 분류하였다.

도 15는 두 방법을 통해 얻은 보행단계 인식률이다. 선행연구에서 오르막 보행 평균(편차)은 58.5% (±17.63), 내리막 보행 평균(편차)은 35.3%(±1.41)의 인식률을 보였다[비특허문헌 12]. 제안하는 방법의 단일 특징을 사용할 경우, 오르막 보행은 76.1%(±6.80), 내리막 보행은 61.5%(±9.01)을 보였다. 복수의 특징을 사용할 경우, 오르막 보행은 85.6%(±5.19), 내리막 보행은 69.5%(±5.40)의 인식률을 나타낸다.

인식률은 피험자들의 전체 근육에 대한 보행단계 인식률로 계산된다.

보행단계 인식률을 관찰한 결과, 전체적으로 본 발명의 방법이 선행연구의 보행단계 인식률보다 앞선 것을 확인할 수 있었다. 또한, 계단에서 사용되는 근육과 적합한 훈련데이터 생성 범위를 분석할 수 있었다. 그러나 오르막 Gait 2는 선행연구가 본 발명의 방법보다 보행단계 인식률이 약 1.2% 가량 높게 나타났다. 하지만, 일원배치 분산분석(one-way ANOVA)을 사용하여 통계처리를 해본 결과, 오르막 보행에서 선행연구는 F비 44.77, F기각치 6.591, p-value 0.001(유의수준 0.05); 본 발명의 방법 1은 F비 7.424, F기각치 3.490, p-value 0.004를 나타내었다. 따라서 선행연구와 제안하는 방법 1의 결과가 통계적으로 유의하지 않았다. 반면, 본 발명의 방법 2는 F비 1.635, F기각치 3.490, p-value 0.233(유의수준 0.05)로 통계적으로 유의하다는 것을 검증하였다. 내리막 보행에서는 세 방법 모두 F비가 F기각치보다 작고, p-value가 0.05보다 작았다.

본 발명에서는 근전도 신호만으로 오르막과 내리막 계단보행을 각각 4단계로 분류하는 방법을 제안하였다. 결과적으로 개별 근육 별 보행단계의 평균 인식률을 분석함으로써 각 보행단계에 도움이 되는 근육과 그렇지 않은 근육을 확인하였다. 또한, 특징조합을 사용하여 단일 특징기법보다 오르막 보행에서 약 9%, 내리막 보행에서 약 8% 인식률이 증가한 것을 확인할 수 있었다. 마지막으로 계단보행에서 사용하는 근육과 보행단계 범위를 다르게 함으로써 인식률을 고찰하였고, 사용되는 근육과 적합한 훈련데이터 생성 범위를 분석하였다.

이상, 본 발명자에 의해서 이루어진 발명을 실시 예에 따라 구체적으로 설명하였지만, 본 발명은 실시 예에 한정되는 것은 아니고, 그 요지를 이탈하지 않는 범위에서 여러 가지로 변경 가능한 것은 물론이다.

10 : 훈련데이터 12 : EMG 신호
20 : 컴퓨터 단말 30 : 계단 보행단계 인식 장치

Claims

상하향 계단보행을 위한 근전도 신호 기반 보행단계 인식 방법에 있어서,
(a) 오르막 보행 또는 내리막 보행 시에 측정된 다수 근육의 근전도 신호의 훈련용 신호와, 보행 시에 측정된 발바닥 압력과 무릎 각도의 물리 데이터를 입력받는 단계;
(b) 상기 물리 데이터를 이용하여 보행 단계를 판단하는 단계;
(c) 상기 근전도 신호로부터 특징을 추출하는 단계;
(d) 추출한 특징을 입력으로 하고, 판단된 보행 단계를 출력으로 하는 분류기를 생성하는 단계; 및,
(e) 생성된 분류기를 이용하여, 상기 오르막 보행 또는 내리막 보행의 보행단계를 인식하는 단계를 포함하는 것을 특징으로 하는 상하향 계단보행을 위한 근전도 신호 기반 보행단계 인식 방법.
제1항에 있어서,
상기 (b)단계에서, 발바닥 압력으로 보행단계의 입각기와 유각기를 구분하고, 무릎 각도에 따라 보행단계를 세분화하는 것을 특징으로 하는 상하향 계단보행을 위한 근전도 신호 기반 보행단계 인식 방법.
제2항에 있어서,
상기 (b)단계에서, 오르막 보행인 경우, 입각기의 3단계와 유각기의 1단계로 구분하되, 입각기는 체중이동기(Weight acceptance), 풀업기(Pull-up), 및, 전방지속기(Forward continuance) 순으로 진행되는 것으로 판단하고,
체중이동기(Weight acceptance) 단계는 발바닥 압력이 초기값 부터 최대값 사이의 일정한 지점에 해당할 때까지로 판단하고, 풀업기(Pull-up) 단계는 체중이동기(Weight acceptance) 이후 무릎의 각도가 지면과 수직이 될 때까지로 판단하는 것을 특징으로 하는 상하향 계단보행을 위한 근전도 신호 기반 보행단계 인식 방법.
제3항에 있어서,
상기 (b)단계에서, 체중이동기(Weight acceptance) 단계는 압력의 전압이 초기값 부터 다음 수식 1의 임계값 Threshold 까지일 때로 판단하는 것을 특징으로 하는 상하향 계단보행을 위한 근전도 신호 기반 보행단계 인식 방법.
[수식 1]

단, i_init 와 i_max 는 각각 발바닥 압력의 전압의 초기값 및 최대값임.
제2항에 있어서,
상기 (b)단계에서, 내리막 보행인 경우, 입각기의 체중이동기(Weight acceptance), 입각기의 제어하강기(Controlled lowering), 유각기의 다리견인기(Leg pull through), 및, 유각기의 발착지기(Fool placement) 순으로 4개의 단계로 구분하여 판단하되,
입각기 보행이 시작된 후, 기준 다리로만 지탱하는 동안 무릎 각도가 최저가 되는 시점을 기준으로 체중이동기(Weight acceptance)와 제어하강기(Controlled lowering)를 구분하고, 유각기 보행이 시작된 후, 발바닥 압력이 초기값부터 윈도우 사이즈의 분산 T_var이 최저 구간이 되는 전압값인 y_range까지를 다리견인기(Leg pull through)로 구분하는 것을 특징으로 하는 상하향 계단보행을 위한 근전도 신호 기반 보행단계 인식 방법.
제5항에 있어서,
상기 y_range 는 다음 수식 2의 T_var 가 최저구간이 되는 전압값인 것을 특징으로 하는 상하향 계단보행을 위한 근전도 신호 기반 보행단계 인식 방법.
[수식 2]

단, p는 윈도우 사이즈, m은 평균, n은 샘플 개수임.
제1항에 있어서,
상기 (a)단계에서, 보행자의 발바닥 압력은 압력센서에 의해 측정되고, 보행자의 무릎각도는 AHRS(Attitude & Heading Reference System) 센서에 의해 측정되는 것을 특징으로 하는 상하향 계단보행을 위한 근전도 신호 기반 보행단계 인식 방법.
제1항에 있어서,
상기 (a)단계에서, 오르막 보행일 때 보행자의 허벅지의 내측광근(Vastus Medialis), 외측광근(Vastus lateralis), 대퇴직근(Rectus femoris), 종아리의 비복근(Gastrocnemius)을 사용하고, 내리막 보행일 때 보행자의 허벅지의 내측광근, 반건양근(Semitendinous), 외측광근, 종아리의 비복근을 사용하는 것을 특징으로 하는 상하향 계단보행을 위한 근전도 신호 기반 보행단계 인식 방법.