KR102473667B1

KR102473667B1 - 보행단계분석 및 예측제어가 가능한 인공지능 기반 스마트 의족 시스템

Info

Publication number: KR102473667B1
Application number: KR1020200139389A
Authority: KR
Inventors: 태기식; 이현주; 김종운; 전형주; 이영식
Original assignee: 건양대학교 산학협력단
Priority date: 2020-10-26
Filing date: 2020-10-26
Publication date: 2022-12-02
Also published as: KR20220055534A

Abstract

본 발명은 하지 절단 장애인이 착용하는 의족 시스템에 관한 것으로, 자세하게는 각종 센서와 액추에이터를 구비하여 의족을 구동시켜 원활한 보행을 지원함에 있어 착용자의 보행단계를 분석하고 이를 맞춤형으로 예측제어하여 불편함 없이 자연스러운 보행 동작을 구현할 수 있는 보행단계분석 및 예측제어가 가능한 인공지능 기반 스마트 의족 시스템에 관한 것이다.

Description

보행단계분석 및 예측제어가 가능한 인공지능 기반 스마트 의족 시스템 {Artificial intelligence-based smart prosthetic leg system capable of walking step analysis and predictive control}

하지 절단장애인들의 자연스러운 보행을 위해 개발된 의족(의지)의 등장에 따라 많은 하지 절단장애인들의 보행이 가능해지고 생활의 질의 개선이 이루어지고 있다.

또한, 각종 센싱 및 제어기술의 발달에 따라 단순 보행뿐 아니라 스포츠활동과 같은 다양한 움직임에 적합한 의족의 연구도 진행중이다.

이와 같은 의족 제어를 위한 기초적인 데이터로서 보행의 임상평가와 정확한 분석은 하지 의지 구성에 있어 매우 중요한 정보로, 일반적으로 3차원 모션 카메라를 이용한 보행촬영을 기반으로 보행분석이 이루어진다.

이러한 모션 카메라를 이용한 보행분석과 패턴인식은 인식 정확도가 비교적 높은 장점이 있으나 초기 분석이 이뤄지지 않은 상황에서 분석을 통해 환자의 개인적 특징을 명확히 파악하기까지 오랜 시간이 걸려 분석과정에서 하지 절단 환자에게 가해지는 피로도가 높다는 문제점이 있다.

이로 인해 종래의 의족 제어 연구는 개인 맞춤형 기술보다는 평균적인 보행 데이터를 적용할 수밖에 없어 다양한 보행 특성이 있는 절단장애인이 개별 특성을 반영하지 못한 상태로 사용시 의족의 오작동 및 파손이나 보행시 사용자에게 위험을 초래할 우려도 있다. 따라서, 다양한 특성이 있는 절단장애인으로부터 수집된 데이터를 학습하고 착용자에게 최적화된 제어가 이루어지도록 하는 연구가 진행중에 있다.

대한민국 공개특허 제10-2014-0035620호(2017.03.31)

본 발명은 상기와 같은 문제를 해결하기 위해 창출된 것으로, 본 발명의 목적은 영상방식이 아닌 의족에 설치된 센서를 통해 보행단계를 분석하되 다수의 분석대상에 대한 데이터를 학습하여 최적화된 보행 단계를 예측함으로 의족을 제어하는 보행단계분석 및 예측제어가 가능한 인공지능 기반 스마트 의족 시스템을 제공하는 것이다.

상기와 같은 목적을 위해 본 발명은 하지 절단부에 고정되는 착용부와, 상기 착용부 하측에 설치되어 설정된 각도 범위에서 전후방향으로 회동하며 무릎관절 역할을 하는 제1힌지부와, 상기 제1힌지부 하측으로 연장되는 다리구조체와, 상기 다리구조체 하단에 설정된 각도 범위에서 전방향 자유회동이 가능한 제2힌지부를 통해 결합되며 바닥면에 지지되는 발구조체를 구비하는 의족부; 상기 다리구조체의 움직임을 측정하는 관성센서와, 제1힌지부의 각도를 측정하는 각도센서와, 상기 다리구조체에 인가되는 하중을 측정하는 하중센서를 구비하는 감지부; 상기 다리구조체 및 제1힌지부에 연결되는 실린더 구조로 제1힌지부를 움직여 각도를 조절하는 액추에이터와, 입력 또는 설정된 제어신호에 따라 상기 액추에이터의 구동신호를 인가하는 제어유닛과, 상기 감지부의 감지신호의 송신 및 제어신호의 수신이 이루어지는 무선통신부를 구비하는 구동부; 상기 감지부를 통해 감지된 신호를 분석하여 보행단계를 구분하여 보행 패턴 데이터를 생성 및 수집하는 수집부와, 수집된 보행 패턴 데이터를 분석하여 보행단계별 감지값의 최적치를 산출하고 이에 대응한 제어신호를 생성하여 상기 제어유닛에 인가하는 분석부를 구비하는 제어부; 로 이루어지는 것을 특징으로 한다.

이때, 상기 다리구조체는 설정된 범위 내에서 길이조절이 가능한 조절부를 구비하고, 상기 분석부는 대상자의 신장 및 상기 다리구조체의 길이를 수집하고 이를 반영하여 상기 보행 패턴 데이터의 분석이 이루어지며, 의족 착용자의 신장 및 다리구조체의 길이를 반영하여 제어신호를 생성할 수 있다.

또한, 상기 분석부는 바닥경사 또는 계단구조를 수집하고 이를 반영하여 상기 보행 패턴 데이터의 분석이 이루어지며, 상기 감지부를 통해 수집된 바닥경사 또는 계단구조를 반영하여 제어신호를 생성할 수 있다.

본 발명을 통해 하지 절단장애인이 의족을 착용을 착용하고 보행함에 있어 사용자 맞춤을 위한 초기세팅 작업이 매우 간편하게 이루어질 수 있으며, 보행동작의 정확도와 의족 사용편의성을 높일 수 있다.

특히 종래 영상설비를 갖춘 실험실 환경에서 이루어질 수밖에 없었던 보행분석 과정이 장소에 구애받지 않고 이루어질 수 있으며, 의족을 사용하는 다양한 사용자로부터 센서값을 분석하여 얻어진 보행패턴 데이터를 딥러닝 방식으로 학습하여 최적의 액추에이터 제어값을 산출함으로 신규 사용자의 초기 분석데이터를 충분히 확보하지 못하더라도 효과적인 의족제어가 이루어질 수 있다.

도 1은 본 발명의 실시예에 따른 의족의 구조를 나타낸 측면도,
도 2는 본 발명의 실시예에 따른 구성 및 연결관계를 나타낸 블록도,
도 3은 의족에 설치된 로드셀 및 각도센서의 측정값을 통해 보행 단계를 구분한 그래프,
도 4는 슬라이딩 윈도우 알고리즘을 사용하여 생성된 보행 단계의 예시 이미지,
도 5는 교차 검증 방법을 나타낸 이미지이다.

이하, 첨부된 도면을 참조하여 본 발명 보행단계분석 및 예측제어가 가능한 인공지능 기반 스마트 의족 시스템의 구성을 구체적으로 설명한다.

도 1은 본 발명의 실시예에 따른 의족의 구조를 나타낸 측면도, 도 2는 본 발명의 실시예에 따른 구성 및 연결관계를 나타낸 블록도로서, 본 발명에 따른 스마트 의족 시스템은 의족부(110)와, 감지부(120)와, 구동부(130)와, 제어부(140)를 주요 구성으로 구비한다.

상기 의족부(110)는 하지 절단 장애인이 절단부에 착용하여 신체를 지지하되 전동방식으로 구동되며 보행을 지원하는 구조체이다.

상단에는 하지 절단부에 고정, 즉 착용을 위한 착용부(111)가 구비되며, 상기 착용부(111) 하측으로는 인체의 다리의 형상, 즉 무릎, 하퇴, 발목, 발에 각각 대응하여 제1힌지부(112)와, 다리구조체(113)와, 제2힌지부(115)와, 발구조체(116)가 연결된다.

상기 착용부(111)는 하지 절단부에 접촉한 상태에서 밴드 등의 공지수단을 이용하여 신체를 둘러 고정될 수 있도록 구성된다.

상기 제1힌지부(112)는 상기 착용부(111) 하측에 설치되어 설정된 각도 범위에서 전후방향으로 회동하며 무릎관절 역할을 하게 되며, 상기 제1힌지부(112) 하측으로 하퇴 역할을 하도록 다리구조체(113)가 연장된다.

즉 제1힌지부(112)는 실질적으로 착용부(111)와 다리구조체(113) 사이의 전후방향 회동이 이루어지도록 무릎관절 역할을 하되, 착용부(111)와 다리구조체(113)가 직선을 이룬 상태에서 다리구조체(113)가 뒤쪽으로 회동 가능하도록 구성되며, 이러한 제1힌지부(112)의 각도를 액추에이터(131)를 통해 조절하며 보행의 지원이 이루어진다.

상기 제2힌지부(115)는 상기 다리구조체 하단에 설정된 각도 범위에서 전방향 자유회동이 가능한 자유 힌지로서 발목관절의 움직임에 대응하며, 바닥면에 지지되는 발구조체(116)와 다리구조체(113)를 연결하며 보행시 발구조체(116)가 원활히 바닥에 밀착, 지지될 수 있도록 한다. 이러한 제2힌지부(115)의 경우 상기 제1힌지부(112)와 달리 액추에이터 등으로 제어나 구속되지 않은 상태에서 보행중 발구조체(116)가 바닥을 디딜 수 있도록 소정의 각도내에서 자유롭게 움직일 수 있다.

더불어 기본적으로 이러한 의족부(110)는 대상자의 신장 및 다리 길이와 같은 신체조건을 반영하여 맞춤형으로 제작되는 것이 일반적이나, 의복, 신발 등 다양한 요인에 따른 공차문제를 해소할 수 있도록 상기 다리구조체(113)를 설정된 범위 내에서 길이조절이 가능하도록 조절부(114)가 구성된다.

구체적으로 다리구조체(113)의 일부를 이중관 연결구조로 구성하되, 슬라이드 방식이나 나사방식으로 결합하여 길이 조절이 가능하도록 하되 이를 클램핑하며 나사 등으로 고정할 수 있는 형태로 구성하는 것이 바람직하며, 길이 및 조절된 정도를 확인할 수 있도록 이중관 결합부에 눈금표시를 하는 것이 바람직하다.

상기 감지부(120)는 상기 의족부(110)에 설치되어 움직임을 감지함으로 초기 보행동작을 분석할 수 있도록 하고, 이후 보행동작에서 사용자의 의지를 신속하게 인지하여 후속 제어동작을 위한 판단정보를 생성하는 역할을 한다.

이를 위해 의족부(110)에 설치되어 움직임을 측정할 수 있는 다양한 센서가 적용될 수 있으나, 본 발명에서는 상기 다리구조체(113)의 움직임을 측정하는 관성센서(121)와, 제1힌지부(112)의 각도를 측정하는 각도센서(123)와, 상기 다리구조체(113)에 인가되는 하중을 측정하는 하중센서(122)를 구비한다.

사람의 다리는 다양한 움직임이 이루어질 수 있으나 통상적으로 보행을 위해 의족 제어가 최적화되므로, 본 발명에서는 중요한 움직임인 무릎각도, 하퇴의 전 후진 범위뿐 아니라 착용자의 체중으로부터 의족을 통해 지면에 전달되는 하중으로서 특히 보행중 발구조체(116)가 바닥면에 접촉함에 따른 지면반발력의 측정이 이루어진다.

상기 구동부(130)는 의족부(110)를 착용한 상태에서 보행시 상기 제1힌지부(112)의 각도를 기계적으로 조절하기 위한 구성으로, 액추에이터(131)와, 제어유닛(132)과, 무선통신부(133)를 구비하게 된다.

상기 액추에이터(131)는 하단과 상단이 각각 상기 다리구조체(113) 및 제1힌지부(112)에 연결되는 실린더 구조로 제어신호에 따라 길이가 변하며 제1힌지부(112)를 움직여 각도를 조절하게 된다. 전동, 유압, 공압 등 다양한 구동방식의 액추에이터를 적용할 수 있으며 힘과 구동신뢰성 등에서 유압방식이 유리하다.

상기 제어유닛(132)은 입력 또는 설정된 제어신호에 따라 상기 액추에이터(131)에 구동신호를 인가하는 구성으로, 기본적으로 전원공급을 위한 배터리를 구비하며, 앞서 언급한 바와 같이 유압방식의 액추에이터를 적용함에 따라 유압제어모터, 노즐 밸브 등 액추에이터 구동에 필요한 부속구성을 포함하게 된다.

상기 무선통신부(133)는 외부 단말기와 통신을 하며 상기 감지부(120)의 감지신호의 송신을 비롯하여 외부에서 감지신호의 분석에 따라 생성된 제어신호를 수신하여 상기 제어유닛(132)에 인가하게 되며, 블루투스와 같은 근거리 무선통신 모듈로 구성된다.

상기 제어부(140)는 보행을 분석하여, 사용자의 정확한 보행자세 및 패턴을 인지하여 이후 보행시 상기 구동부의 예측제어를 통해 원활한 보행이 이루어지도록 하는 핵심 구성으로, 상기 무선통신부(133)와 데이터 송수신 가능한 별도의 단말기 형태로 구성될 수 있으며, 수집부(141)와, 분석부(142)를 구비한다.

상기 수집부(141)는 상기 감지부(120)를 통해 감지된 신호를 분석하여 보행단계를 구분하여 보행 패턴 데이터를 생성 및 수집하는 구성으로, 인공지능 알고리즘 분석을 위해 다수의 사용자로부터 측정되는 감지신호가 많을수록 더 좋은 분석결과를 도출할 수 있다.

도 3은 의족에 설치된 로드셀 및 각도센서의 측정값을 통해 보행 단계를 구분한 그래프로서, 본 발명의 실시예에서는 하중센서(122)로서 50Hz로 측정된 Load Cell을 통한 지면 반발력과, 관성센서(121)로서 IMU 센서 및 각도센서(123)를 통해 계산된 무릎각도를 이용하여 보행 단계를 Loading Response (LR), Mid Stance (MS), Push Off (PO), Early Swing (ES), Late Swing(LS) 5단계로 추정하여 데이터를 생성하였다.

도 4는 슬라이딩 윈도우 알고리즘을 사용하여 생성된 보행 단계의 예시 이미지로서, 앞서 언급된 방식으로 계산되며 다양한 의족 착용자로부터 수집된 데이터를 관성센서(121)를 구성하는 Accelerometer와 Gyroscope의 특성과 연동하여 Sliding Window Algorithm을 통해 평면 형식의 2차원 배열 데이터로 변환하게 된다.

이러한 초기 보행 분석에서는 기본적으로 평지이면서 지면에 아무 문제가 없는 상태에서 데이터수집이 이루어지는 것이 바람직하다.

상기 분석부(142)는 상기 수집부(141)를 통해 수집된 보행 패턴 데이터를 분석하여 보행단계별 감지값의 최적치를 산출하고 이에 대응한 제어신호를 생성하여 상기 제어유닛에 인가하는 구성이다.

본 발명의 실시예에서 앞서 수집부(141)를 통해 생성된 데이터는 정규화 과정을 거친 후 4차원 입력 데이터 배열로 변환과정을 거쳐 다음 표와 같은 CNN 모델에 학습을 진행하였으며, Epochs는 100, batch size는 4개로 동일하게 학습을 진행하였다.

Layer Name	Kernel Size/Num	Activation
Con2d_1	(2x2)/512	Relu
Dropout	0.3	x
MaxPooling	(2x1)	x
Con2d_2	(1x2)/256	Relu Padding
Dropout	0.3	x
Con2d_3	(1x2)/128	Relu Padding
Dropout	0.3	x
Fratten	x	x
Dense	128	Relu
Dense	5	Softmax

도 5는 교차 검증 방법을 나타낸 이미지로서, 상기 분석부(142)는 이렇게 학습된 데이터를 학습하여 이후 보행단계를 예측하여 의족부(110), 즉 액추에이터(131)를 제어하기 위한 최적의 값을 도출하는 것으로, 학습된 모델의 평가를 위한 Test data는 전체의 20%씩 교차검증을 통해 반복 측정된 값의 평균을 이용하여 평가한 결과를 나타내었다.

학습을 통한 현재 보행 분석의 경우와 현재에서 0.1 s 후의 보행 단계를 예측하는 2가지 결과에 대한 재현율과 학습된 모델을 다음 표와 같이 검증하였으며, 하지 의지 데이터를 CNN을 통해 학습시킨 결과 높은 정확도를 보이는 것을 확인할 수 있다.

Gait Phase	Gati Analysis Precision/recall	Gait Prediction Precision/recall
LR	94.78%/95.25%	93.13%/95.04%
MS	94.02%/91.75%	86.58%/89.72%
PO	94.61%/92.87%	89.14%/82.99%
ES	96.97%/93.43%	94.70%/91.24%
LS	95.87%/98.79%	95.37%/95.95%
Average	95.25%/94.41%	91.78%/90.98%

이러한 제어부(140)의 동작을 통해 의족부(110)의 초기 착용상태로부터 지속적으로 보행분석이 이루어짐과 동시에 시간 경과에 따라 예측제어의 정확도를 높일 수 있으며 유사조건의 의족 착용자 또한 이미 구축된 데이터를 활용하여 보다 편리한 의족 사용이 가능하다.

또한, 착용자의 신체적 조건에 해당하는 의족부(110)의 길이 등에 따른 보행분석의 정확도 향상을 위해 상기 분석부(142)는 대상자의 신장 및 상기 다리구조체(113)의 길이를 수집하고 이를 반영하여 상기 보행 패턴 데이터의 분석을 할 수 있다.

앞서 언급한 바와 같이 상기 다리구조체(113)는 조절부(114)를 구비할 수 있으며 길이조절 정도를 육안으로 확인할 수 있는 눈금과 같은 수단을 표시할 수 있다. 이러한 표시값을 입력받고 반영한 상태로 데이터 수집과 분석이 이루어지게 되며, 상기 분석부(142)는 의족 착용자의 신장 및 다리구조체(113)의 조절된 길이를 반영하여 학습이 이루어지도록 하여 제어신호를 생성할 수 있다.

또한, 보행이 평지에서만 이루어지지는 않음에 따라, 보행분석 시 바닥경사 또는 계단구조를 반영할 수도 있다. 즉 상기 분석부(142)는 바닥경사 또는 계단구조를 수집하고 이를 반영하여 상기 보행 패턴 데이터의 분석이 이루어지며, 상기 감지부(120)를 통해 보행중 수집된 바닥경사 또는 계단구조를 판단 및 이를 반영하고 학습하여 제어신호를 생성함으로 평지뿐 아니라 다양한 지면상태에 대응한 의족부(110), 즉 액추에이터(131)의 제어도 가능하다.

본 발명의 권리는 위에서 설명된 실시예에 한정되지 않고 청구범위에 기재된 바에 의해 정의되며, 본 발명의 분야에서 통상의 지식을 가진 자가 청구범위에 기재된 권리범위 내에서 다양한 변형과 개작을 할 수 있다는 것은 자명하다.

110: 의족부 111: 착용부
112: 제1힌지부 113: 다리구조체
114: 조절부 115: 제2힌지부
116: 발구조체 120: 감지부
121: 관성센서 122: 하중센서
123: 각도센서
130: 구동부 131: 액추에이터
132: 제어유닛 133: 무선통신부
140: 제어부 141: 수집부
142: 분석부

Claims

하지 절단부에 고정되는 착용부(111)와, 상기 착용부(111) 하측에 설치되어 설정된 각도 범위에서 전후방향으로 회동하며 무릎관절 역할을 하는 제1힌지부(112)와, 상기 제1힌지부(112) 하측으로 연장되며 일부를 이중관 연결구조로 구성하되 슬라이드 및 나사방식으로 결합하여 길이 조절이 가능하며 이중관 결합부에 눈금표시를 통해 조절된 길이를 확인할 수 있는 조절부(114)를 구비하는 다리구조체(113)와, 상기 다리구조체(113) 하단에 설정된 각도 범위에서 전방향 자유회동이 가능한 제2힌지부(115)를 통해 결합되며 바닥면에 지지되는 발구조체(116)를 구비하는 의족부(110);
상기 다리구조체(113)의 움직임을 측정하는 관성센서(121)와, 제1힌지부(112)의 각도를 측정하는 각도센서(123)와, 상기 다리구조체(113)에 인가되는 하중을 측정하는 하중센서(122)를 구비하는 감지부(120);
상기 다리구조체(113) 및 제1힌지부(112)에 연결되는 실린더 구조로 제1힌지부(112)를 움직여 각도를 조절하는 액추에이터(131)와, 입력 또는 설정된 제어신호에 따라 상기 액추에이터(131)의 구동신호를 인가하는 제어유닛(132)과, 상기 감지부(120)의 감지신호의 송신 및 제어신호의 수신이 이루어지는 무선통신부(133)를 구비하는 구동부(130);
상기 감지부(120)를 통해 감지된 신호를 분석하여 보행단계를 구분하여 보행 패턴 데이터를 생성 및 수집하되 하중센서(122)를 통한 지면 반발력과 관성센서(121) 및 각도센서(123)를 통해 계산된 무릎각도를 이용하여 보행 단계를 Loading Response(LR)와 Mid Stance (MS)와 Push Off(PO)와 Early Swing(ES)와, Late Swing(LS) 5단계로 추정하여 데이터를 생성하고 슬라이딩 윈도우 알고리즘을 통해 평면 형식의 2차원 배열 데이터로 변환하는 수집부(141)와, 수집된 보행 패턴 데이터를 분석하되 정규화 과정을 거친 후 4차원 입력 데이터 배열로 변환과정을 거쳐 CNN 모델에 Epochs는 100 batch size 4개로 학습을 진행하여 보행단계별 감지값의 최적치를 산출하고 이에 대응한 제어신호를 생성하여 상기 제어유닛(132)에 인가하되 대상자의 신장 및 상기 다리구조체의 길이를 수집하고 이를 반영하여 상기 보행 패턴 데이터의 분석하며 의족 착용자의 신장 및 다리구조체의 길이를 반영하여 제어신호를 생성하고 바닥경사 또는 계단구조를 수집하고 이를 반영하여 상기 보행 패턴 데이터의 분석하며 상기 감지부(120)를 통해 수집된 바닥경사 또는 계단구조를 반영하여 제어신호를 생성하는 분석부(142)를 구비하는 제어부(140); 로 이루어지는 것을 특징으로 하는 스마트 의족 시스템.
삭제
삭제