KR20200141751A

KR20200141751A - 보행 시간-주파수 분석에 기초한 건강 상태 예측 방법 및 시스템

Info

Publication number: KR20200141751A
Application number: KR1020190068669A
Authority: KR
Inventors: 문경률; 김진욱; 정다운
Original assignee: 한국과학기술연구원
Priority date: 2019-06-11
Filing date: 2019-06-11
Publication date: 2020-12-21
Anticipated expiration: 2039-06-11
Also published as: KR102395937B1

Abstract

보행 시간-주파수 분석에 기초한 건강 상태 예측 방법 및 시스템이 제공된다. 본 발명의 일 실시예에 따른 보행 시간-주파수 분석에 기초한 건강 상태 예측 시스템은 대상자의 보행에 따른 보행 특성 신호를 대상자의 신체에 부착된 적어도 하나 이상의 센서로부터 수신하는 보행 특성 신호 취득부; 상기 수신된 보행 특성 신호를 시간-주파수 분석을 이용하여 스펙트로그램으로 변환하는 보행 특성 신호 변환부; 상기 스펙트로그램에 대한 상기 대상자의 건강 상태를 기계 학습하여 상기 보행 특성 신호에 기초한 건강 상태 모델을 구축하는 건강 상태 학습부; 새로운 대상자로부터 획득한 스펙트로그램을 상기 건강 상태 모델에 입력시켜 상기 새로운 대상자의 건강 상태를 예측하는 건강 상태 예측부를 포함한다.

Description

보행 시간-주파수 분석에 기초한 건강 상태 예측 방법 및 시스템{Health state prediction method and system based on gait time-frequency analysis}

본 발명은 보행 시간-주파수 분석에 기초한 건강 상태 예측 방법 및 시스템에 관한 것으로, 사용자의 보행 특성을 간단한 장비를 통해 획득하고, 보행의 시간-주파수 분석에 기초하여 사용자의 건강 상태를 예측할 수 있는 방법 및 시스템에 관한 것이다.

보행(걸음걸이, gait)은 가장 기본적인 인간의 이동 수단으로 개인의 고유 요소(gender, age), 건강 요소, 병적 요소(trauma, neurological/musculoskeletal/psychiatric diseases) 등과 밀접하게 관련되어 있다. 따라서, 보행의 정량적 평가를 통해 대상자의 노쇠 정도, 근골격계 및 신경 질환을 진단하고 모니터링할 수 있고, 체계적인 치료에 대한 효과를 판단할 수 있으며, 외과적 수술 결정 및 수술 후 검토에 활용할 수 있다.

또한, 보행 능력은 대상자의 운동 능력을 나타내는 지표일 수 있으며, 대상자의 운동 능력 및 건강 상태 모니터링을 위해서는 보행 분석이 반드시 필요하다. 또한, 보행 분석 데이터는 보행 보조 기구, 보행 보조 로봇의 개발 및 성능 향상을 위한 기초 자료로도 사용될 수 있다.

이러한, 보행 능력을 분석하고 정량화 하기 위해, 미국 특허 공개 공보 US 2009-0141933은 카메라를 이용하여 보행 시 이미지를 획득하고, 다리의 움직임을 분석하여 동작을 예측하고 보행 사이클을 예측하는 기술을 제안하였다. 다만, 이러한 종래 기술은 고가의 카메라, 고가의 바닥 센서(Ground Reaction Force), 압력 센서, 근전도(Electromyography) 센서 등과 같은 장비와 경험이 풍부한 실험자가 필요하다. 즉, 상술한 장비를 활용한 보행 능력 평가 방법은 많은 기기 및 인력이 투입됨에 따라 비용이 많이 발생했을 뿐만 아니라, 거동이 불편한 대상자가 상술한 실험을 모두 수행할 수 없어 정확한 결과 데이터를 취하기 어려운 단점이 있었다.

따라서, 대상자의 보행에 따른 특성을 간단한 장치만으로 획득하고, 획득한 정보에 따라 대상자의 건강 상태를 예측할 수 있는 방법 및 시스템이 요구되고 있는 실정이다.

미국 특허 공개 공보 US 2009-0141933 A1 (2009년 06월 04일)

본 발명은 상술한 문제점을 해결하기 위해 안출된 것으로, 구체적으로, 대상자의 보행에 따른 특성 신호를 간단한 장치만으로 획득하고, 획득한 보행 특성 신호에 따라 대상자의 건강 상태를 예측할 수 있는 방법 및 시스템을 제공한다.

본 발명의 일 실시예에 따른 보행 시간-주파수 분석에 기초한 건강 상태 예측 시스템은 대상자의 보행에 따른 보행 특성 신호를 대상자의 신체에 부착된 적어도 하나 이상의 센서로부터 수신하는 보행 특성 신호 취득부; 상기 수신된 보행 특성 신호를 시간-주파수 분석을 이용하여 스펙트로그램으로 변환하는 보행 특성 신호 변환부; 상기 스펙트로그램에 대한 상기 대상자의 건강 상태를 기계 학습하여 상기 보행 특성 신호에 기초한 건강 상태 모델을 구축하는 건강 상태 학습부; 및 새로운 대상자로부터 획득한 스펙트로그램을 상기 건강 상태 모델에 입력시켜 상기 새로운 대상자의 건강 상태를 예측하는 건강 상태 예측부를 포함한다.

본 발명의 일 실시예에 따른 보행 시간-주파수 분석에 기초한 건강 상태 예측 방법은 다수의 대상자로부터 보행에 따른 보행 특성 신호를 대상자의 신체에 부착된 적어도 하나 이상의 센서로부터 수신하고, 상기 수신된 보행 특성 신호를 시간-주파수 분석을 이용하여 스펙트로그램으로 변환하며, 상기 스펙트로그램에 대한 상기 대상자의 건강 상태를 기계 학습하여 상기 보행 특성 신호에 기초한 건강 상태 모델을 구축하는 단계; 평가 대상자로부터 스펙트로그램을 획득하는 단계; 및 상기 평가 대상자의 스펙트로그램을 상기 구축된 건강 상태 모델에 입력시켜 상기 평가 대상자의 건강 상태를 예측하는 단계를 포함한다.

본 발명의 일 실시예에 따른 컴퓨터 프로그램은 하드웨어와 결합되어 상기 보행 시간-주파수 분석에 기초한 건강 상태 예측 방법을 실행하도록 매체에 저장된다.

본 실시예에 따른 건강 상태 예측 방법 및 시스템은 대상자의 보행에 따른 특성을 관성 측정 센서와 같은 간단한 장치만으로 획득할 수 있으며, 획득된 보행 특성 신호를 스펙트로그램으로 변환하여 보행 특성 신호에 기초한 건강 상태 모델 구축에 활용한다.

또한, 본 실시예에 따른 건강 상태 예측 방법 및 시스템은 구축된 건강 상태 모델을 통해 간단한 장치로 획득한 새로운 대상자의 보행 특성을 기초로 새로운 대상자의 건강 상태를 용이하게 예측할 수 있다.

도 1은 본 발명의 일 실시예에 따른 보행 시간-주파수 분석에 기초한 건강 상태 예측 시스템의 블록도이다.
도 2는 본 발명의 일 실시예에 따른 건강 상태 예측 시스템에 참여하는 대상자 및 대상자에 부착된 센서를 예시적으로 도시한 도면이다.
도 3a는 센서에서 제공된 보행 특성 신호의 예시적인 그래프이다.
도 3b 및 도 3c는 보행 특성 신호를 시간-주파수 분석을 이용하여 변환한 스펙트로그램의 예시적인 도면이다.
도 4a는 스펙트로그램과 다른 스펙트로그램을 병합한 예시적인 이미지이다.
도 4b는 스펙트로그램의 이미지 크기를 조절하고 조절된 이미지들을 병합한 예시적인 이미지이다.
도 5는 본 발명의 일 실시예에 따른 건강 상태 예측 시스템의 건강 상태 학습부의 예시적인 기계 학습 모델을 도시한 것이다.
도 6은 도 5의 예시적인 모델에 따른 분석 결과를 도시한 그래프이다.
도 7은 본 발명의 일 실시예에 따른 보행 시간-주파수 분석에 기초한 건강 상태 예측 방법의 순서도이다.

이하, 본 발명에 따른 바람직한 실시 형태를 첨부된 도면을 참조하여 상세하게 설명한다. 첨부된 도면과 함께 이하에 개시될 상세한 설명은 본 발명의 예시적인 실시형태를 설명하고자 하는 것이며, 본 발명이 실시될 수 있는 유일한 실시형태를 나타내고자 하는 것이 아니다. 이하의 상세한 설명은 본 발명의 완전한 이해를 제공하기 위해서 구체적 세부사항을 포함한다. 그러나, 당업자는 본 발명이 이러한 구체적 세부사항 없이도 실시될 수 있음을 인지할 수 있다. 이하의 설명에서 사용되는 특정 용어들은 본 발명의 이해를 돕기 위해서 제공된 것이며, 이러한 특정 용어의 사용은 본 발명의 기술적 사상을 벗어나지 않는 범위에서 다른 형태로 변경될 수 있다.

도 1은 본 발명의 일 실시예에 따른 보행 시간-주파수 분석에 기초한 건강 상태 예측 시스템의 블록도이다. 도 2는 본 발명의 일 실시예에 따른 건강 상태 예측 시스템에 참여하는 대상자 및 대상자에 부착된 센서를 예시적으로 도시한 도면이다. 도 3a는 센서에서 제공된 보행 특성 신호의 예시적인 그래프이고, 도 3b 및 도 3c는 보행 특성 신호를 시간-주파수 분석을 이용하여 변환한 스펙트로그램의 예시적인 도면이다. 도 4a는 스펙트로그램과 다른 스펙트로그램을 병합한 예시적인 이미지이다. 도 4b는 스펙트로그램의 이미지 크기를 조절하고 조절된 이미지들을 병합한 예시적인 이미지이다.

도 1 내지 도 4b를 참조하면, 건강 상태 예측 시스템(10)은 보행 특성 신호 취득부(100), 보행 특성 신호 변환부(110), 건강 상태 학습부(120), 건강 상태 예측부(130) 및 데이터 베이스부(140)를 포함한다.

실시예들에 따른 건강 상태 예측 시스템은, 전적으로 하드웨어이거나, 또는 부분적으로 하드웨어이고 부분적으로 소프트웨어인 측면을 가질 수 있다. 예컨대, 본 명세서의 건강 상태 예측 시스템 및 이에 포함된 각 부(unit)는, 특정 형식 및 내용의 데이터를 전자통신 방식으로 주고받기 위한 장치 및 이에 관련된 소프트웨어를 통칭할 수 있다. 본 명세서에서 "부", "모듈(module)", "서버(server)", "시스템", "장치" 또는 "단말" 등의 용어는 하드웨어 및 해당 하드웨어에 의해 구동되는 소프트웨어의 조합을 지칭하는 것으로 의도된다. 예를 들어, 여기서 하드웨어는 CPU 또는 다른 프로세서(processor)를 포함하는 데이터 처리 기기일 수 있다. 또한, 하드웨어에 의해 구동되는 소프트웨어는 실행중인 프로세스, 객체(object), 실행파일(executable), 실행 스레드(thread of execution), 프로그램(program) 등을 지칭할 수 있다.

또한, 건강 상태 예측 시스템을 구성하는 각각의 부는 반드시 물리적으로 구분되는 별개의 구성요소를 지칭하는 것으로 의도되지 않는다. 도 1에서 보행 특성 신호 취득부(100), 보행 특성 신호 변환부(110), 건강 상태 학습부(120), 건강 상태 예측부(130) 및 데이터 베이스부(140)는 서로 구분되는 별개의 블록으로 도시되나, 이는 건강 상태 예측 시스템을 구성하는 장치를 해당 장치에 의해 실행되는 동작에 의해 단지 기능적으로 구분한 것이다. 따라서, 실시예에 따라서는 보행 특성 신호 취득부(100), 보행 특성 신호 변환부(110), 건강 상태 학습부(120), 건강 상태 예측부(130) 및 데이터 베이스부(140)는 일부 또는 전부가 동일한 하나의 장치 내에 집적화될 수 있고, 하나 이상이 다른 부와 물리적으로 구분되는 별개의 장치로 구현될 수도 있으며, 분산 컴퓨팅 환경 하에서 서로 통신 가능하게 연결된 컴포넌트들일 수도 있다.

보행 특성 신호 취득부(100)는 대상자의 보행에 따른 보행 특성 신호를 대상자의 신체에 부착된 적어도 하나 이상의 센서로부터 수신한다. 도 2에 도시된 바와 같이, 건강 상태 예측 시스템(10)에 참여하는 대상자(H)는 신체에 센서(S)를 장착하게 된다. 센서(S)가 장착되는 대상자(H)의 신체 부위는 대상자(H)의 보행에 직접적인 관계를 가지는 신체 부위일 수 있다. 즉, 센서(S)가 장착되는 대상자(H)의 신체 부위는 보행의 추진력뿐만 아니라, 보행시 동적 안전성을 제공하여 보행을 유지시키는 기능을 제공할 수 있다. 예시적으로, 센서(S)가 장착되는 대상자(H)의 신체 부위는 대상자(H)의 골반(Pelvis), 허벅지(Right Thigh, Left Thigh), 정강이(Right Shank, Left Shank) 및 발(Right Foot, Left Foot) 중 적어도 하나일 수 있으나, 이에 한정되는 것은 아니다. 상술한 바와 같이, 보행(걸음걸이, gait)은 가장 기본적인 인간의 이동 수단으로 성별(gender), 연령(age), 건강 요소, 병적 요소, 운동 능력 등의 특징이 반영되어 나타날 수 있으며, 이러한 특징에 따라 센서(S)에서 수집되는 보행 특성 신호는 상이하게 나타날 수 있다.

대상자(H)는 센서(S)를 신체 부위에 장착한 상태로 정해진 거리를 보행하게 되며, 센서(S)는 보행에 따라 변화하는 신호를 보행 특성 신호 취득부(100)에 제공할 수 있다. 즉, 센서(S)는 보행에 따른 대상자(H)의 신체 상태를 평가하는데 있어서 도구적인 역할을 수행한다. 보행 특성 신호 취득부(100)는 대상자(H)의 보행에 따라 변화하는 보행 특성 신호를 각 센서(S)로부터 수신할 수 있다. 보행 특성 신호 취득부(100)와 센서(S)는 무선으로 신호의 송신 및 수신이 가능하도록 구성될 수 있다.

여기서, 센서(S)는 대상자(H)의 신체에 용이하게 탈, 부착 가능하며 휴대 가능하도록 소형 사이즈로 구성될 수 있다. 센서(S)는 관성 측정 센서(IMU: Inertial Measurement Unit)를 포함할 수 있다. 관성 측정 센서(IMU)는 3차원 공간에서 자유로운 움직임을 측정하는 자이로스코프(gyroscope), 가속도계 및 지자계 센서를 포함하며, 대상자(H)의 속도와 방향, 가속도를 측정할 수 있다. 즉, 관성 측정 센서는 대상자(H)의 신체에 부착된 위치에서 대상자(H)의 보행에 따라 변화되는 가속도 정보 및 각속도 정보를 센싱하여 보행 특성 신호로써 보행 특성 신호 취득부(100)로 제공할 수 있다.

보행 특성 신호는 관성 측정 센서(IMU)로부터 제공되는 X축, Y축, Z축 각각에 대한 가속도 정보 및 X축, Y축, Z축 각각에 대한 각속도 정보를 포함할 수 있다. 여기서, X축 및 Y축은 대상자(H)가 위치하는 바닥면과 수직한 수직면을 정의하며, Z축은 상기 수직면과 수직한 축으로 정의될 수 있으나, 이에 한정되는 것은 아니다.

보행 특성 신호 변환부(110)는 보행 특성 신호 취득부(100)에서 수신된 보행 특성 신호를 시간-주파수 분석을 이용하여 스펙트로그램으로 변환할 수 있다. 관성 측정 센서(IMU)로부터 제공되는 보행 특성 신호는 도 3a에 예시적으로 도시된 바와 같이, 시간에 따라 신호의 진폭이 변화하는 것을 도시한 데이터, 시간 영역 신호일 수 있다. 도 3a는 X축, Y축, Z축 각각에 대한 각속도 정보를 도시한 그래프이다.

보행 특성 신호 변환부(110)는 이러한 시간에 따른 진폭 데이터를 시간-주파수 분석을 통해 시간-주파수(TF: Time-frequency) 영역 신호로 변환할 수 있으며, 이러한 시간-주파수(TF) 영역 신호는 하나의 이미지와 같이 생성될 수 있다. 스펙트로그램은 파동을 인간의 시각으로 직관적으로 파악할 수 있도록 변환한 이미지로서, 파형과 스펙트럼의 특징이 조합되어 있다. 따라서, 시간-주파수(TF) 영역 신호는 시간 영역 신호보다 딥 러닝(deep learning)에 적합한 입력 데이터일 수 있다. 스펙트로그램은 한 축에 시간(time), 다른 축엔 주파수(frequency)를 가지는 스펙트럼 시퀀스를 나타내며, 주파수 성분의 강도를 색상으로 구분하여 함께 도시할 수 있다.

보행 특성 신호 변환부(110)는 푸리에 변환(Fourier transform) 또는 웨이브릿 변환(wavelet transform)을 통해 시간 영역 신호를 스펙트로그램으로 변환할 수 있다. 예시적으로, 보행 특성 신호 변환부(110)는 국소 푸리에 변환(Short-time Fourier transform, STFT)을 통해 스펙트로그램을 생성할 수 있으나, 이에 한정되는 것은 아니며, 스톡웰 변환(Stockwell transform) 또는 연속 웨이브릿 변환(Continuous wavelet transform, CWT)도 적용될 수 있다. 도 3b는 국소 푸리에 변환(Short-time Fourier transform, STFT)을 통해 생성한 스펙트로그램을 예시적으로 도시한 것이며, 도 3c는 연속 웨이브릿 변환(Continuous wavelet transform, CWT)을 통해 생성한 스펙트로그램을 예시적으로 도시한 것이다. 여기서, 연속 웨이브릿 변환(Continuous wavelet transform, CWT)을 통해 보행 특성 신호는 보다 매끄러운(Smooth) 이미지의 스펙트로그램으로 변환될 수 있다. 이러한 매끄러운(Smooth) 이미지의 스펙트로그램은 국소 푸리에 변환(Short-time Fourier transform, STFT)에서 시간 해상도 설정에 따라 발생하는 주파수 및 시간 정보 손실을 방지할 수 있기 때문에, 딥 러닝(deep learning)에 보다 더 적합한 입력 데이터일 수 있다.

보행 특성 신호 변환부(110)는 관성 측정 센서(IMU)로부터 제공되는 X축, Y축, Z축 각각에 대한 가속도 정보 및 X축, Y축, Z축 각각에 대한 각속도 정보를 각각 스펙트로그램으로 변환할 수 있다. 예시적으로, 도 3a에 도시된 X축, Y축, Z축 각각에 대한 시간 영역에서의 각속도 신호는 도 3b에 도시된 바와 같은 X축 각속도 스펙트로그램, Y축 각속도 스펙트로그램, Z축 각속도 스펙트로그램으로 각각 변환될 수 있다.

또한, 보행 특성 신호 변환부(110)는 변환된 스펙트로그램을 후술할 건강 상태 학습부(120)에 입력될 수 있도록 스펙트로그램을 조정할 수 있다. 여기서, 스펙트로그램의 조정은 건강 상태 학습부(120)에서 구축되는 건강 상태 모델의 입력 데이터의 크기에 맞도록 스펙트로그램의 이미지 크기를 조절하거나, 다른 스펙트로그램과 병합하는 과정일 수도 있다. 도 4a는 다른 스펙트로그램과의 병합된 예시적인 이미지, 도 4b는 스펙트로그램의 이미지 크기를 조절하고 조절된 이미지를 병합한 예시적인 이미지이다.

도 4a와 같이 각 축(X축, Y축 또는 Z축)에 따른 가속도 스펙트로그램과 각속도 스펙트로그램의 사이즈를 동일하게 조정하며, 건강 상태 모델의 입력 데이터의 크기에 맞도록 조정된 이미지를 병합할 수 있다. 또한, 각 축(X축, Y축 또는 Z축)에 따른 가속도 스펙트로그램과 각속도 스펙트로그램을 병합하고, 동일 평면에 나란한 방향으로 위치시키고, 도 4b와 같이, 일정 크기, 해상도를 가진 입력 데이터 이미지를 생성할 수 있다. 여기서, 입력 데이터 이미지는 각 센서(S)에 대응하여 생성될 수 있다. 즉, 하나의 센서(S)에서 생성된 신호 각각은 스펙트로그램으로 변환되며, 하나의 이미지로 병합되어 일정 크기의 입력 데이터 이미지로 생성될 수 있다.

건강 상태 학습부(120)는 상기 스펙트로그램에 대한 대상자의 건강 상태를 기계 학습하여 보행 특성 신호에 기초한 건강 상태 모델을 구축한다.

복수의 대상자로부터 각각 취득한 스펙트로그램을 입력 값으로, 상기 복수의 대상자 각각의 건강 상태를 출력 값으로 설정하고, 이들 사이의 관계를 결정하는 추상화된 모델을 건강 상태 학습부(120)는 학습할 수 있다.

건강 상태 학습부(120)는 인간의 두뇌가 수많은 데이터 속에서 패턴을 발견한 뒤 사물을 구분하는 정보처리 방식을 모방해 컴퓨터가 사물을 분별하도록 기계 학습을 수행시키는 딥 러닝(deep learning)을 통해서 보행 특성 신호에 기초한 건강 상태 모델을 구축할 수 있다. 건강 상태 학습부(120)는 입력된 스펙트로그램과 결과로써 제공된 대상자의 건강 상태 사이의 관계를 결정하는 추상화된 모델을 구축할 수 있다. 건강 상태 학습부(120)는 컨볼루션 신경망(Convolutional Neural Network) 기반의 기계 학습 모델을 포함할 수 있으며, 입력층과 출력층 사이에 다중의 은닉층(hidden layer)이 존재하는 심층(deep) 신경망 모델, 동물의 시각 피질의 구조와 유사하게 뉴런 사이의 연결 패턴을 형성하는 컨볼루셔널(convolutional) 신경망 모델, 시간에 따라 매순간 신경망을 쌓아올리는 재귀(recurrent) 신경망 모델, 입력 집합에 대한 확률 분포를 학습할 수 있는 제한 볼츠만 머신(restricted Boltzmann machine) 중 하나의 딥 러닝 모델을 사용할 수 있다. 다만, 상술한 방법은 일 예시일 뿐 본 발명의 일 실시예에 따른 기계 학습 방법이 이에 한정되는 것은 아니다.

건강 상태 학습부(120)는 보행 특성 신호 변환부(110)에서 생성된 스펙트로그램을 입력 값으로 사용하고, 대상자의 건강 상태를 출력 값으로 사용하여 기계 학습을 수행할 수 있다. 여기서, 대상자의 건강 상태는 대상자의 병적 요소에 대한 현재 상태 정보를 포함할 수 있다. 여기서, 대상자의 병적 요소는 외상(trauma), 신경질환(neurological diseases), 근골격계 질환(musculoskeletal diseases) 및 정신질환(psychiatric diseases)에 대한 정보를 포함할 수 있다. 예시적으로, 병적 요소는 기형(Deformity), 근육 약화(Muscle weakness), 감각 상실(Sensory loss), 통증(Pain), 운동 조절 손상 중 적어도 하나 이상에 대한 대상자의 현재 상태 정보를 포함할 수 있다. 대상자의 병적 요소는 상기 질환의 유무 및 정도에 대한 수치 값으로 구성될 수 있으나, 이에 한정되는 것은 아니다.

몇몇 실시예에서, 대상자의 건강 상태는 대상자의 전반적인 운동 능력에 대한 평가도 포함할 수 있다. 즉, 기본적인 운동 능력을 규정할 수 있는 근력, 민첩성, 지구력에 대한 평가도 포함할 수 있다.

또한, 몇몇 실시예에서, 상기 건강 상태 모델은 대상자의 신체 부위에 부착된 센서(S)에 대응하여 생성될 수 있다. 예시적으로, 대상자(H)의 골반(Pelvis), 허벅지(Right Thigh, Left Thigh), 정강이(Right Shank, Left Shank) 및 발(Right Foot, Left Foot) 각각에 해당하는 건강 상태 모델이 개별적으로 생성될 수 있다. 다만, 이에 한정되는 것은 아니며 건강 상태 모델 구축시 입력되는 입력 값은 각 신체 부위에서 생성된 신호 또는 신호가 변환된 스펙트로그램이 병합된 데이터일 수 있으며, 건강 상태 모델은 복수의 신체 부위에 부착된 복수의 센서에 기초하여 구축될 수도 있다.

또한, 몇몇 실시예에서, 건강 상태 모델은 대상자의 고유 요소(gender, age)를 고려해서, 성별에 따라 달리 구축되거나, 연령대에 따라 달리 구축될 수도 있다.

이와 같은 기계 학습 과정을 거쳐 건강 상태 학습부(120)는 보행 특성 신호에 기초한 건강 상태 모델을 구축할 수 있다. 구축된 건강 상태 모델은 데이터 베이스부(140)에 저장될 수 있다. 데이터 베이스부(140)는 건강 상태 모델 및 이에 기초가 되는 스펙트로그램 및/또는 보행 특성 신호 등과 같은 기초 데이터를 임시적으로 저장하거나 보관하도록 구성될 수 있다.

건강 상태 예측부(130)는 건강 상태 학습부(120)에서 구축된 건강 상태 모델을 활용하여 새로운 대상자의 건강 상태를 예측할 수 있다. 여기서, 새로운 대상자는 상기 모델의 구축에 사용되지 않은 다른 대상자를 의미할 수 있다. 새로운 대상자 또한 센서(S)를 본인의 신체 일부에 부착하고 일정 거리를 보행하게 된다. 보행 특성 신호 취득부(100)는 센서(S)로부터 새로운 대상자의 보행에 따른 보행 특성 신호를 수신하고, 보행 특성 신호 변환부(110)는 보행 특성 신호를 스펙트로그램으로 변환할 수 있다. 변환된 새로운 대상자의 스펙트로그램은 건강 상태 예측부(130)로 제공되어 상기 건강 상태 모델의 입력 값으로 제공될 수 있으며, 건강 상태 모델은 새로운 대상자의 건강 상태를 출력 값으로 제공할 수 있다. 즉, 건강 상태 예측부(130)는 새로운 대상자의 스펙트로그램에 기초하여 새로운 대상자의 병적 요소에 대한 예측 및 운동 능력에 대한 예측 데이터를 제공할 수 있다.

도 5는 본 발명의 일 실시예에 따른 건강 상태 예측 시스템의 건강 상태 학습부의 예시적인 기계 학습 모델 구조를 도시한 것이다.

컨볼루션 신경망 기반의 기계 학습 모델은 복수의 컨볼루션(convolution) 단계와 복수의 풀링(pooling) 단계로 구성되어, 각 단계를 반복 수행하는 과정에서 입력 이미지의 특징을 반영할 수 있는 필터의 값을 자동으로 학습할 수 있고, 학습된 필터에 따라 이미지 분석 및 판별을 수행할 수 있다. 도 5의 예시적인 모델에서의 출력 값은 대상자의 보행 능력의 정상 여부(Normal foot, Abnormal foot)와 일반인과 다른 운동 능력을 가진 운동 선수 여부(Athlete foot)를 판별하는 것이다. 출력되는 값, 판별하려는 결과에 따라 복수의 컨볼루션(convolution) 단계와 복수의 풀링(pooling) 단계는 도 5와 상이하게 구성될 수도 있다.

또한, 도 5에 따른 기계 학습 모델은 다양한 신체 부위에 장착된 센서를 기초로 구축될 수 있다. i) 발(Feet), ii) 허벅지(Thigh), iii) 정강이(Shank), iv) 골반과 발(Pelvis and Feet), v) 골반과 허벅지(Pelvis and Thigh), vi) 골반과 정강이(Pelvis and Shank) 및 vii) 골반, 발, 허벅지 및 정강이(Full sensors)에 장착된 센서를 기초로 기계 학습 모델을 구축하였다. 도 6은 도 5의 예시적인 모델에 따른 분석 결과를 도시한 그래프이다. 구체적으로, 도 6은 이러한 건강 상태 모델의 구축에 기초가 되는 센서의 부착 위치에 따른 정확성을 도시한 그래프이다. 모델의 구축 이후, 새로운 대상자들로부터 획득한 스펙트로그램을 상기 모델에 입력시켜 새로운 대상자들에 대한 모델의 출력 값과 실제 대상자의 상태(Normal foot, Abnormal foot, Athlete foot)를 비교하는 검증 과정을 수행하였으며, 도 6에 도시된 정확성(Accuracy, %)이 높을수록 모델의 출력 값과 실제 대상자의 상태가 동일한 결과인 것을 나타낸다.

도 6에 도시된 바와 같이, 단일 센서를 이용하여 모델을 구축하는 것보다 다른 위치에 부착된 복수의 센서를 이용하는 경우에 정확성이 높아지는 것을 확인할 수 있으며, 모든 센서(Full sensors)를 이용한 경우 가장 높은 정확성을 나타내는 것을 확인할 수 있다. 또한, 단일 센서를 이용하더라도 보행과 가장 직접적인 연관성을 나타내는 발(Feet)에 장착된 센서를 기초로 건강 예측 모델을 구축하였을 때, 다른 신체 부위보다 높은 정확성을 나타내는 것을 알 수 있다.

이와 같이, 본 발명의 실시예에 따른 건강 상태 예측 시스템은 대상자의 보행에 따른 특성을 관성 측정 센서와 같은 간단한 장치만으로 획득할 수 있으며, 획득된 보행 특성 신호를 스펙트로그램으로 변환하여 보행 특성 신호에 기초한 건강 상태 예측 모델의 구축에 활용한다.

또한, 본 발명의 실시예에 따른 건강 상태 예측 시스템은 구축된 건강 상태 모델을 통해 간단한 장치로 획득한 새로운 대상자의 보행 특성을 기초로 새로운 대상자의 건강 상태를 용이하게 예측할 수 있다.

이하, 본 발명의 일 실시예에 따른 건강 상태 예측 방법에 대해 설명하도록 한다.

도 7은 본 발명의 일 실시예에 따른 건강 상태 예측 방법의 순서도이다. 상기 방법은 상술한 도 1 내지 도 4b의 시스템에서 수행될 수 있고, 본 실시예에 설명을 위해 도 1 내지 도 4b가 참조될 수 있다.

도 7을 참조하면, 본 발명의 일 실시예에 따른 보행 시간-주파수 분석에 기초한 건강 상태 예측 방법은 보행 특성 신호에 기초한 건강 상태 모델을 구축하는 단계(S100), 평가 대상자로부터 스펙트로그램을 획득하는 단계(S110) 및 평가 대상자의 건강 상태를 예측하는 단계(S120)를 포함한다.

보행 특성 신호에 기초한 건강 상태 모델을 구축한다(S100).

먼저, 다수의 대상자로부터 보행에 따른 보행 특성 신호를 대상자의 신체에 부착된 적어도 하나 이상의 센서로부터 수신한다.

대상자(H)는 센서(S)를 신체 부위에 장착한 상태로 정해진 거리를 보행하게 되며, 센서(S)는 보행에 따라 변화하는 신호를 보행 특성 신호 취득부(100)에 제공할 수 있다. 즉, 센서(S)는 보행에 따른 대상자(H)의 신체 상태를 평가하는데 있어서 도구적인 역할을 수행한다. 보행 특성 신호 취득부(100)는 대상자(H)의 보행에 따라 변화하는 보행 특성 신호를 각 센서(S)로부터 수신할 수 있다. 센서(S)는 대상자(H)의 신체에 용이하게 탈, 부착 가능하며 휴대 가능하도록 소형 사이즈로 구성될 수 있다. 센서(S)는 관성 측정 센서(IMU)를 포함할 수 있다. 관성 측정 센서는 3차원 공간에서 자유로운 움직임을 측정하는 자이로스코프(gyroscope), 가속도계 및 지자계 센서를 포함하며, 대상자(H)의 속도와 방향, 가속도를 측정할 수 있다. 보행 특성 신호는 관성 측정 센서(IMU)로부터 제공되는 X축, Y축, Z축 각각에 대한 가속도 정보 및 X축, Y축, Z축 각각에 대한 각속도 정보를 포함할 수 있다.

다음으로, 상기 수신된 보행 특성 신호를 시간-주파수 분석을 이용하여 스펙트로그램으로 변환한다.

보행 특성 신호 변환부(110)는 보행 특성 신호 취득부(100)에서 수신된 보행 특성 신호를 시간-주파수 분석을 이용하여 스펙트로그램으로 변환할 수 있다. 보행 특성 신호 변환부(110)는 이러한 시간에 따른 진폭 데이터를 시간-주파수 분석을 통해 시간-주파수(TF) 영역 신호로 변환할 수 있으며, 이러한 시간-주파수(TF) 영역 신호는 하나의 이미지와 같이 생성될 수 있다. 보행 특성 신호 변환부(110)는 국소 푸리에 변환(Short-time Fourier transform, STFT)을 통해 스펙트로그램을 생성할 수 있으나, 이에 한정되는 것은 아니며, 스톡웰 변환(Stockwell transform) 또는 연속 웨이브릿 변환(Continuous wavelet transform, CWT)도 적용될 수 있다. 여기서, 연속 웨이브릿 변환(Continuous wavelet transform, CWT)을 통해 보행 특성 신호는 보다 매끄러운(Smooth) 이미지의 스펙트로그램으로 변환될 수 있다. 이러한 매끄러운(Smooth) 이미지의 스펙트로그램은 국소 푸리에 변환(Short-time Fourier transform, STFT)에서 시간 해상도 설정에 따라 발생하는 주파수 및 시간 정보 손실을 방지할 수 있기 때문에, 딥 러닝(deep learning)에 보다 더 적합한 입력 데이터일 수 있다.

보행 특성 신호 변환부(110)는 관성 측정 센서(IMU)로부터 제공되는 X축, Y축, Z축 각각에 대한 가속도 정보 및 X축, Y축, Z축 각각에 대한 각속도 정보를 각각 스펙트로그램으로 변환할 수 있다. 또한, 보행 특성 신호 변환부(110)는 변환된 스펙트로그램을 후술할 건강 상태 학습부(120)에 입력될 수 있도록 스펙트로그램을 조정할 수 있다. 여기서, 스펙트로그램의 조정은 건강 상태 학습부(120)에서 구축되는 건강 상태 모델의 입력 데이터의 크기에 맞도록 스펙트로그램의 이미지 크기를 조절하거나, 다른 스펙트로그램과 병합하는 과정일 수도 있다.

상기 스펙트로그램에 대한 상기 대상자의 건강 상태를 기계 학습하여 상기 보행 특성 신호에 기초한 건강 상태 모델을 구축한다.

상기 보행 특성 신호에 기초한 건강 상태 모델을 구축하는 단계는, 상기 스펙트로그램을 입력 값으로 사용하고, 상기 대상자의 건강 상태를 출력 값으로 사용하여 기계 학습을 수행할 수 있다. 또한, 상기 보행 특성 신호에 기초한 건강 상태 모델을 구축하는 단계는, 복수의 컨볼루션(convolution) 단계와 복수의 풀링(pooling) 단계로 구성되는 컨볼루션 신경망 기반의 기계 학습 모델을 통해 상기 건강 상태 모델을 구축할 수 있다.

복수의 대상자로부터 각각 취득한 스펙트로그램을 입력 값으로, 상기 복수의 대상자 각각의 건강 상태를 출력 값으로 설정하고, 이들 사이의 관계를 결정하는 추상화된 모델을 건강 상태 학습부(120)는 학습할 수 있다. 건강 상태 학습부(120)는 보행 특성 신호 변환부(110)에서 생성된 스펙트로그램을 입력 값으로 사용하고, 대상자의 건강 상태를 출력 값으로 사용하여 기계 학습을 수행할 수 있다. 여기서, 대상자의 건강 상태는 대상자의 병적 요소에 대한 현재 상태 정보를 포함할 수 있다. 여기서, 대상자의 병적 요소는 외상(trauma), 신경 질환(neurological diseases), 근골격계 질환(musculoskeletal diseases) 및 정신질환(psychiatric diseases)에 대한 정보를 포함할 수 있다. 예시적으로, 병적 요소는 기형(Deformity), 근육 약화(Muscle weakness), 감각 상실(Sensory loss), 통증(Pain), 운동 조절 손상 중 적어도 하나 이상에 대한 대상자의 현재 상태 정보를 포함할 수 있다. 대상자의 병적 요소는 상기 질환의 유무 및 정도에 대한 수치 값으로 구성될 수 있으나, 이에 한정되는 것은 아니다.

다음으로, 평가 대상자로부터 스펙트로그램을 획득한다(S110).

평가 대상자 또한 센서(S)를 본인의 신체 일부에 부착하고 일정 거리를 보행하게 된다. 보행 특성 신호 취득부(100)는 센서(S)로부터 평가 대상자의 보행에 따른 보행 특성 신호를 수신하고, 보행 특성 신호 변환부(110)는 보행 특성 신호를 스펙트로그램으로 변환할 수 있다.

평가 대상자의 건강 상태를 예측한다(S120).

변환된 새로운 대상자의 스펙트로그램은 건강 상태 예측부(130)로 제공되어 구축된 건강 상태 모델의 입력 값으로 제공될 수 있으며, 건강 상태 모델은 새로운 대상자의 건강 상태를 출력 값으로 제공할 수 있다. 즉, 건강 상태 예측부(130)는 새로운 대상자의 스펙트로그램에 기초하여 새로운 대상자의 병적 요소에 대한 예측 및 운동 능력에 대한 예측 데이터를 제공할 수 있다.

이와 같이, 본 발명의 실시예에 따른 건강 상태 예측 방법은 대상자의 보행에 따른 특성을 관성 측정 센서와 같은 간단한 장치만으로 획득할 수 있으며, 획득된 보행 특성 신호를 스펙트로그램으로 변환하여 보행 특성 신호에 기초한 건강 상태 모델 구축에 활용한다.

또한, 본 발명의 실시예에 따른 건강 상태 예측 방법은 구축된 건강 상태 모델을 통해 간단한 장치로 획득한 새로운 대상자의 보행 특성을 기초로 새로운 대상자의 건강 상태를 용이하게 예측할 수 있다.

이상에서 설명한 실시예들에 따른 보행 시간-주파수 분석에 기초한 건강 상태 예측 방법에 의한 동작은, 적어도 부분적으로 컴퓨터 프로그램으로 구현되고 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다. 실시예들에 따른 보행 시간-주파수 분석에 기초한 건강 상태 예측 방법에 의한 동작을 구현하기 위한 프로그램이 기록되고 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수도 있다. 또한, 본 실시예를 구현하기 위한 기능적인 프로그램, 코드 및 코드 세그먼트(segment)들은 본 실시예가 속하는 기술 분야의 통상의 기술자에 의해 용이하게 이해될 수 있을 것이다.

이상에서는 실시예들을 참조하여 설명하였지만 본 발명은 이러한 실시예들 또는 도면에 의해 한정되는 것으로 해석되어서는 안 되며, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

10: 보행 시간-주파수 분석에 기초한 건강 상태 예측 시스템
100: 보행 특성 신호 취득부
110: 보행 특성 신호 변환부
120: 건강 상태 학습부
130: 건강 상태 예측부
140: 데이터 베이스부

Claims

대상자의 보행에 따른 보행 특성 신호를 대상자의 신체에 부착된 적어도 하나 이상의 센서로부터 수신하는 보행 특성 신호 취득부;
상기 수신된 보행 특성 신호를 시간-주파수 분석을 이용하여 스펙트로그램으로 변환하는 보행 특성 신호 변환부;
상기 스펙트로그램에 대한 상기 대상자의 건강 상태를 기계 학습하여 상기 보행 특성 신호에 기초한 건강 상태 모델을 구축하는 건강 상태 학습부; 및
새로운 대상자로부터 획득한 스펙트로그램을 상기 건강 상태 모델에 입력시켜 상기 새로운 대상자의 건강 상태를 예측하는 건강 상태 예측부를 포함하는 보행 시간-주파수 분석에 기초한 건강 상태 예측 시스템.
제1 항에 있어서,
상기 대상자의 신체에 부착된 적어도 하나 이상의 센서는, 관성 측정 센서를 포함하는 것을 특징으로 하는 보행 시간-주파수 분석에 기초한 건강 상태 예측 시스템.
제2 항에 있어서,
상기 보행 특성 신호는 상기 관성 측정 센서로부터 제공되는 각 축에 대한 가속도 정보 및 각 축에 대한 각속도 정보를 포함하고,
상기 각 축에 대한 가속도 정보 및 상기 각 축에 대한 각속도 정보는 각각 스펙트로그램으로 변환되는 것을 특징으로 하는 보행 시간-주파수 분석에 기초한 건강 상태 예측 시스템.
제1 항에 있어서,
상기 건강 상태 학습부는,
상기 스펙트로그램을 입력 값으로 사용하고, 상기 대상자의 건강 상태를 출력 값으로 사용하여 기계 학습을 수행하는 보행 시간-주파수 분석에 기초한 건강 상태 예측 시스템.
제4 항에 있어서,
상기 건강 상태 학습부는, 복수의 컨볼루션(convolution) 단계와 복수의 풀링(pooling) 단계로 구성되는 컨볼루션 신경망 기반의 기계 학습 모델을 통해 상기 건강 상태 모델을 생성하는 보행 시간-주파수 분석에 기초한 건강 상태 예측 시스템.
제1 항에 있어서,
상기 대상자의 건강 상태는 상기 대상자의 병적 요소에 대한 현재 상태 정보를 포함하는 보행 시간-주파수 분석에 기초한 건강 상태 예측 시스템.
제1 항에 있어서,
상기 시간-주파수 분석은 국소 푸리에 변환(Short-time Fourier transform, STFT) 또는 연속 웨이브릿 변환(Continuous wavelet transform, CWT)인 것을 특징으로 하는 보행 시간-주파수 분석에 기초한 건강 상태 예측 시스템.
다수의 대상자로부터 보행에 따른 보행 특성 신호를 대상자의 신체에 부착된 적어도 하나 이상의 센서로부터 수신하고, 상기 수신된 보행 특성 신호를 시간-주파수 분석을 이용하여 스펙트로그램으로 변환하며, 상기 스펙트로그램에 대한 상기 대상자의 건강 상태를 기계 학습하여 상기 보행 특성 신호에 기초한 건강 상태 모델을 구축하는 단계;
평가 대상자로부터 스펙트로그램을 획득하는 단계; 및
상기 평가 대상자의 스펙트로그램을 상기 구축된 건강 상태 모델에 입력시켜 상기 평가 대상자의 건강 상태를 예측하는 단계를 포함하는 보행 시간-주파수 분석에 기초한 건강 상태 예측 방법.
제8 항에 있어서,
상기 대상자의 신체에 부착된 적어도 하나 이상의 센서는, 관성 측정 센서를 포함하는 것을 특징으로 하는 보행 시간-주파수 분석에 기초한 건강 상태 예측 방법.
제9 항에 있어서,
상기 보행 특성 신호는 상기 관성 측정 센서로부터 제공되는 각 축에 대한 가속도 정보 및 각 축에 대한 각속도 정보를 포함하고,
상기 각 축에 대한 가속도 정보 및 상기 각 축에 대한 각속도 정보는 각각 스펙트로그램으로 변환되는 것을 특징으로 하는 보행 시간-주파수 분석에 기초한 건강 상태 예측 방법.
제8 항에 있어서,
상기 보행 특성 신호에 기초한 건강 상태 모델을 구축하는 단계는,
상기 스펙트로그램을 입력 값으로 사용하고, 상기 대상자의 건강 상태를 출력 값으로 사용하여 기계 학습을 수행하는 보행 시간-주파수 분석에 기초한 건강 상태 예측 방법.
제11 항에 있어서,
상기 보행 특성 신호에 기초한 건강 상태 모델을 구축하는 단계는,
복수의 컨볼루션(convolution) 단계와 복수의 풀링(pooling) 단계로 구성되는 컨볼루션 신경망 기반의 기계 학습 모델을 통해 상기 건강 상태 모델을 구축하는 보행 시간-주파수 분석에 기초한 건강 상태 예측 방법.
제8 항에 있어서,
상기 대상자의 건강 상태는 상기 대상자의 병적 요소에 대한 현재 상태 정보를 포함하는 보행 시간-주파수 분석에 기초한 건강 상태 예측 방법.
제8 항에 있어서,
상기 시간-주파수 분석은 국소 푸리에 변환(Short-time Fourier transform, STFT) 또는 연속 웨이브릿 변환(Continuous wavelet transform, CWT)인 것을 특징으로 하는 보행 시간-주파수 분석에 기초한 건강 상태 예측 방법.
하드웨어와 결합되어 제8항 내지 제14항 중 어느 하나의 보행 시간-주파수 분석에 기초한 건강 상태 예측 방법을 실행하도록 매체에 저장된 컴퓨터 프로그램.