KR20220109947A - 동작 측정 및 분류 시스템, 장치 및 방법 - Google Patents

동작 측정 및 분류 시스템, 장치 및 방법 Download PDF

Info

Publication number
KR20220109947A
KR20220109947A KR1020210013576A KR20210013576A KR20220109947A KR 20220109947 A KR20220109947 A KR 20220109947A KR 1020210013576 A KR1020210013576 A KR 1020210013576A KR 20210013576 A KR20210013576 A KR 20210013576A KR 20220109947 A KR20220109947 A KR 20220109947A
Authority
KR
South Korea
Prior art keywords
motion
data
measurement
image
classification
Prior art date
Application number
KR1020210013576A
Other languages
English (en)
Other versions
KR102574495B1 (ko
Inventor
김수진
신유미
정연우
최솔아
임종국
오영민
Original Assignee
전주대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전주대학교 산학협력단 filed Critical 전주대학교 산학협력단
Priority to KR1020210013576A priority Critical patent/KR102574495B1/ko
Publication of KR20220109947A publication Critical patent/KR20220109947A/ko
Application granted granted Critical
Publication of KR102574495B1 publication Critical patent/KR102574495B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1116—Determining posture transitions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1124—Determining motor skills
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2505/00—Evaluating, monitoring or diagnosing in the context of a particular type of medical care
    • A61B2505/09—Rehabilitation or training
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02—Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0219—Inertial sensors, e.g. accelerometers, gyroscopes, tilt switches

Abstract

동작 측정 및 분류 시스템, 장치 및 방법에 관한 것으로, 동작 측정 및 분류 시스템은, 대상자에게 장착되는 적어도 하나의 관성 측정 장치 및 상기 적어도 하나의 관성 측정 장치가 출력한 측정 데이터로부터 적어도 하나의 라벨링 처리된 동작 데이터를 획득하고, 상기 라벨링 처리된 동작 데이터를 이용하여 학습 모델을 훈련시키고, 상기 학습 모델을 이용하여 상기 적어도 하나의 관성 측정 장치가 출력한 분석 대상 측정 데이터로부터 적어도 하나의 동작을 추출하여 소정의 범주로 분류하는 동작 측정 및 분류 장치를 포함할 수 있다.

Description

동작 측정 및 분류 시스템, 장치 및 방법{SYSTEM, APPARATUS AND METHOD FOR MEASUREMENT AND CLASSIFICATION OF MOVEMENT OF INDIVIDUAL}
동작 측정 및 분류 시스템, 장치 및 방법에 관한 것이다.
뇌졸중은, 뇌혈관이 협착 또는 폐색되거나 파손되어 발병하게 되는 뇌혈관질환의 일종으로, 문제가 발생한 뇌혈관이나 손상된 뇌의 위치나 범위에 따라 다양한 증상을 나타낸다. 대표적으로 뇌졸중 환자는 편측 마비, 감각 이상, 언어 장애, 인식 장애 또는 어지러움 등의 증상을 호소하고 있다. 뇌졸중 환자들은 수술이나 약물 치료 이후 재활 치료를 받게 된다. 예를 들어, 편측 마비가 발생한 환자는 수술 이후 마비가 발생한 사지를 지속적으로 활용하여 자극하는 재활 훈련을 행하게 된다. 그런데, 뇌졸중 편측 마비 환자들은 치료실 안에서만 주로 손상 측 훈련을 받은 다음 퇴원하게 되는데, 퇴원 이후에는 의사나 재활 치료사가 직접 환자를 대면하기가 쉽지 않아, 뇌졸중 환자가 사지를 적절하고 제대로 사용하고 있는지 여부의 파악이 어렵다는 문제점이 있다. 이와 같은 뇌졸중 환자의 생활 속에서의 동작 패턴 파악의 어려움은 뇌졸중 환자 개개인에 대한 필요한 피드백을 제공하거나 최적의 치료 전략을 구축에 큰 장애가 되고 있다.
동작 측정 대상자의 움직임에 대한 데이터를 획득하고 이를 기반으로 유질 환자가 취하는 동작을 적절하게 분류할 수 있는 동작 측정 및 분류 시스템, 장치 및 방법을 제공하는 것을 해결하고자 하는 과제로 한다.
상술한 과제를 해결하기 위하여 동작 측정 및 분류 시스템, 장치 및 방법이 제공된다.
동작 측정 및 분류 시스템은, 대상자에게 장착되는 적어도 하나의 관성 측정 장치 및 상기 적어도 하나의 관성 측정 장치가 출력한 측정 데이터로부터 적어도 하나의 라벨링 처리된 동작 데이터를 획득하고, 상기 라벨링 처리된 동작 데이터를 이용하여 학습 모델을 훈련시키고, 상기 학습 모델을 이용하여 상기 적어도 하나의 관성 측정 장치가 출력한 분석 대상 측정 데이터로부터 적어도 하나의 동작을 추출하여 소정의 범주로 분류하는 동작 측정 및 분류 장치를 포함할 수 있다.
동작 측정 및 분류 시스템은, 상기 대상자의 동작을 촬영하여 적어도 하나의 영상을 획득하는 화상 촬영 장치를 더 포함할 수 있다.
상기 동작 측정 및 분류 장치는, 상기 측정 데이터와 상기 적어도 하나의 영상 사이의 싱크를 맞추고, 상기 영상 내의 동작을 기반으로 상기 적어도 하나의 라벨링 처리된 동작 데이터를 획득할 수 있다.
상기 동작 측정 및 분류 장치는, 상기 분석 대상 측정 데이터에 대해 슬라이딩 윈도를 적용하여 상기 분석 대상 측정 데이터로부터 적어도 하나의 동작을 추출할 수 있다.
상기 적어도 하나의 관성 측정 장치는, 상기 대상자의 흉부, 양 팔의 전완 및 상완 중 적어도 하나에 설치될 수 있다.
상기 동작 측정 및 분류 장치는, 상기 적어도 하나의 관성 측정 장치 중 어느 하나를 선별하고, 상기 적어도 하나의 관성 측정 장치의 측정 데이터 중 적어도 하나의 축을 선택하고, 구간 별로 적어도 하나의 축에 해당하는 측정 데이터의 평균을 연산하여 평활화된 데이터를 획득하고, 평활화된 데이터에 평활화된 데이터의 평균을 차감하여 차감된 평활화된 데이터를 획득하고, 차감된 평활화된 데이터를 제곱한 후, 이에 대한 면적을 연산하여 적어도 하나의 동작에 대응하는 활동량을 연산할 수도 있다.
동작 측정 및 분류 장치는, 적어도 하나의 관성 측정 장치가 출력한 측정 데이터 및 적어도 하나의 화상 촬영 장치가 획득한 영상을 획득하는 통신부 및 상기 측정 데이터 및 상기 영상을 기반으로 적어도 하나의 라벨링 처리된 동작 데이터를 획득하고, 상기 라벨링 처리된 동작 데이터를 이용하여 학습 모델을 훈련시키는 프로세서를 포함하되, 상기 프로세서는, 상기 학습 모델을 이용하여 상기 적어도 하나의 관성 측정 장치가 출력한 분석 대상 측정 데이터로부터 적어도 하나의 동작을 추출하여 소정의 범주로 분류하도록 마련된 것일 수 있다.
동작 측정 및 분류 방법은, 대상자의 동작에 대한 측정 데이터가 획득되는 단계, 상기 대상자의 동작에 대한 영상이 획득되는 단계, 상기 측정 데이터 및 상기 영상을 기반으로 적어도 하나의 라벨링 처리된 동작 데이터를 획득하는 단계, 상기 라벨링 처리된 동작 데이터를 이용하여 학습 모델을 훈련시키는 단계, 상기 대상자의 동작에 대한 분석 대상 측정 데이터가 획득되는 단계 및 상기 학습 모델을 이용하여 상기 분석 대상 측정 데이터로부터 적어도 하나의 동작을 추출하여 소정의 범주로 분류하는 단계를 포함할 수 있다.
상술한 동작 측정 및 분류 시스템, 장치 및 방법에 의하면, 대상자의 움직임에 대한 적절한 데이터를 획득하고 획득한 데이터를 이용하여 유질 환자의 동작을 유의미하게 신속하면서도 정확하게 분류할 수 있게 되는 효과를 얻을 수 있다.
상술한 동작 측정 및 분류 시스템, 장치 및 방법에 의하면, 기계학습모델을 이용하여 뇌졸중에 기한 편측 마비 환자와 같은 유질 환자의 세부적인 동작을 분석하고, 세부적인 동작들을, 일상 생활의 흔히 취해지는 각각의 동작 등과 같이 유의미한 개별 동작으로 자동으로 분류할 수 있게 되므로, 환자의 동작에 대한 보다 용이한 판단이 가능해진다.
상술한 동작 측정 및 분류 시스템, 장치 및 방법에 의하면, 병원 외부에서도 일상 생활에서 뇌졸중 환자 등의 상지(上肢) 사용 패턴에 대한 정보를 지득할 수 있게 되고, 이에 따라 뇌졸중 환자 등이 병원 밖의 일상 생활에서 손상된 상지를 어느 순간에 어느 정도의 빈도로, 어떤 방식으로, 어느 정도로 자유롭게 사용하는지를 의사, 간호사, 물리치료사 또는 보호자 등의 사용자가 보다 면밀하고 상세하게 파악할 수 있게 되는 장점도 있다.
또한, 상술한 동작 측정 및 분류 시스템, 장치 및 방법에 의하면, 환자의 상지의 사용 방법이나 사용량 등에 대한 정보를 기초로 환자와의 상담, 환자의 치료 및 재활 계획 수립 등을 환자 맞춤형으로 수행할 수 있게 되어 환자의 치료를 보다 적절하고 효과적으로 진행할 수 있게 되는 장점도 얻을 수 있다.
도 1은 동작 측정 및 분류 시스템의 일 실시예에 대한 개요도이다.
도 2는 동작 측정 및 분류 장치의 일 실시예에 대한 블록도이다.
도 3은 대상자에 대한 동작 감지의 일 실시예를 설명하기 위한 도면이다.
도 4는 라벨링의 일 실시예를 설명하기 위한 도표이다.
도 5는 각 관성 측정 장치의 측정 데이터에 대한 라벨링 처리의 일 실시예를 도시한 도면이다.
도 6은 어깨 폄 동작을 수행한 경우에 있어서, 정상인 및 뇌졸중 환자의 측정 신호의 일례를 도시한 도면이다.
도 7은 패턴 분석부 및 학습 처리부의 일 실시예를 설명하기 위한 도면이다.
도 8은 슬라이딩 윈도를 이용한 패턴 분석의 일례를 설명하기 위한 도면이다.
도 9는 부가 데이터 분석부의 일 실시예에 대한 블록도이다.
도 10은 데이터 분석 과정에 이용되는 측정 신호의 일례에 대한 그래프 도면이다.
도 11은 동작 측정 및 분류 방법의 일 실시예에 대한 흐름도이다.
이하 명세서 전체에서 동일 참조 부호는 특별한 사정이 없는 한 동일 구성요소를 지칭한다. 이하에서 사용되는 '부'가 부가된 용어는, 소프트웨어 또는 하드웨어로 구현될 수 있으며, 실시예에 따라 하나의 '부'가 하나의 물리적 또는 논리적 부품으로 구현되거나, 복수의 '부'가 하나의 물리적 또는 논리적 부품으로 구현되거나, 하나의 '부'가 복수의 물리적 또는 논리적 부품들로 구현되는 것도 가능하다. 명세서 전체에서 어떤 부분이 다른 부분과 연결되어 있다고 할 때, 이는 어떤 부분과 다른 부분에 따라서 물리적 연결을 의미할 수도 있고, 또는 전기적으로 연결된 것을 의미할 수도 있다. 또한, 어떤 부분이 다른 부분을 포함한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 부분 이외의 또 다른 부분을 제외하는 것이 아니며, 설계자의 선택에 따라서 또 다른 부분을 더 포함할 수 있음을 의미한다. 제 1이나 제 2 등의 용어는 하나의 부분을 다른 부분으로부터 구별하기 위해 사용되는 것으로, 특별한 기재가 없는 이상 이들이 순차적인 표현을 의미하는 것은 아니다. 또한 단수의 표현은 문맥상 명백하게 예외가 있지 않는 한, 복수의 표현을 포함할 수 있다.
이하 도 1 내지 도 10을 참조하여 동작 측정 및 분류 장치 및 시스템의 일 실시예에 대해서 설명하도록 한다.
도 1은 동작 측정 및 분류 시스템의 일 실시예에 대한 개요도이다.
도 1에 도시된 바에 의하면, 동작 측정 및 분류 시스템(1)은, 측정 대상자(9, 동작에 불편이 존재하는 환자 및/또는 환자가 아닌 정상인 등, 이하 대상자로 칭함)에 장착되는 적어도 하나의 관성 측정 장치(80, IMU: Inertial Measurement Unit)와, 대상자의 동작을 촬영하는 화상 촬영 장치(90)와, 적어도 하나의 관성 측정 장치(80) 및 화상 촬영 장치(90) 각각과 통신 가능한 동작 측정 및 분류 장치(100)를 포함할 수 있으며, 필요에 따라 동작 측정 및 분류 장치(100)와 통신 가능한 단말 장치(70)를 포함할 수 있다.
관성 측정 장치(80) 및 화상 촬영 장치(90) 중 적어도 하나는 케이블이나 회로선을 통해 및/또는 무선 통신 네트워크를 통해 동작 측정 및 분류 장치(100)와 통신 가능하게 연결되고, 각각이 획득한 데이터를 동시에 또는 순차적으로 동작 측정 및 분류 장치(100)로 전달한다. 이 경우, 관성 측정 장치(80)가 획득한 데이터(이하 측정 데이터) 및 화상 촬영 장치(90)가 획득한 데이터(이하 영상) 각각은, 필요에 따라 데이터의 획득 시점에 대한 정보도 같이 동작 측정 및 분류 장치(100)로 전달할 수도 있으며, 동작 측정 및 분류 장치(100)는 이와 같은 각각의 데이터의 획득 시점에 대한 정보를 기반으로 양 데이터를 상호 싱크를 맞출 수도 있다. 여기서, 무선 통신 네트워크는 근거리 통신 네트워크 및 원거리 통신 네트워크 중 적어도 하나를 포함할 수 있다. 근거리 통신 네트워크는, 예를 들어, 와이파이(Wi-Fi), 와이파이 다이렉트(Wi-Fi Direct), 지그비(zigbee) 통신, 블루투스(Bluetooth), 저전력 블루투스(Bluetooth Low Energy), 캔(CAN) 통신, 알에프아이디(RFID: Radio-Frequency IDentification) 및/또는 엔에프씨(NFC: Near Field Communication) 등의 통신 기술을 기반으로 구현된 네트워크를 포함할 수 있으며, 원거리 통신 네트워크는, 예를 들어, 3GPP, 3GPP2, 와이브로 또는 와이맥스 계열 등의 이동 통신 표준을 기반으로 구현된 이동 통신 네트워크를 포함할 수 있다. 단말 장치(70) 역시 상술한 바와 동일하게 케이블을 통해 또는 무선 통신 네트워크를 통해 동작 측정 및 분류 장치(100)와 통신을 수행할 수 있으며, 필요에 따라 사용자(예를 들어, 의사나 물리치료사 등)가 입력한 지시/명령이나 데이터를 동작 측정 및 분류 장치(100)로 전송하거나 및/또는 대상자(9)에 대한 동작 측정 결과나 분류 결과 등을 동작 측정 및 분류 장치(100)로부터 수신할 수 있다.
관성 측정 장치(80)는 이동체의 속도, 가속도, 방향, 회전력 및/또는 기울어진 정도를 측정할 수 있도록 마련되며, 예를 들어, 가속도 센서와 자이로 센서와 지자기 센서 등을 조합하여 제작된 것일 수 있다. 관성 측정 장치(80)는 움직임에 따라 대응하는 적어도 하나의 데이터(즉, 측정 데이터)를 주기적으로 또는 비주기적으로 생성하여 출력하게 된다. 일 실시예에 의하면, 관성 측정 장치(80)는 직교 좌표계를 기준으로 측정을 수행할 수 있으며, 이에 따라 측정 데이터는 x축 방향의 가속도 및/또는 각속도와, y축 방향의 가속도 및/또는 각속도와, z축 방향의 가속도 및/또는 각속도를 포함할 수 있다. 실시예에 따라서, 관성 측정 장치(80)는 구형 좌표계나 원통형 좌표계를 기반으로 측정을 수행하는 것도 가능하다.
실시예에 따라서, 관성 측정 장치(80)는 대상자(9)에 안정적으로 고정 장착되기 위해 장착부(82)에 결합되어 있는 것도 가능하다. 장착부(82)는 대상자(9)의 상완, 전완 및/또는 흉부 등에 관성 측정 장치(80)를 고정시킬 수 있는 밴드, 벨트나 스트링 등을 포함할 수 있다. 관성 측정 장치는 이들 밴드, 벨트나 스트링 등의 일부에 형성될 수 있으며, 밴드, 벨트나 스트링이 대상자(9)에 장착됨에 따라 동일하게 대상자(9)에 밀착 장착되게 된다. 실시예에 따라서, 관성 측정 장치(80)는 접착제, 접착 패드나 접착 테이프 등을 이용하여 직접 대상자(9)에 부착될 수도 있다.
일 실시예에 따르면, 관성 측정 장치(80: 80-2 내지 80-5)는 대상자(9)의 적어도 일 상지(즉, 양팔 중 적어도 하나)에 설치될 수 있으며, 필요에 따라 대상자(9)의 상완 및 전완 중 적어도 하나에 설치될 수 있다. 예를 들어, 대상자(9)의 양 팔의 상완 및 전완 각각마다 관성 측정 장치(80-2 내지 80-5)가 설치되어 대상자(9)에게 총 네 개의 관성 측정 장치(80-2 내지 80-5)가 설치될 수 있다. 이들 관성 측정 장치(80-2 내지 80-5)는 대상자(9)의 상지의 움직임에 대한 측정 데이터를 출력한다. 또한, 관성 측정 장치(80-1)는 대상자(9)의 흉부에 더 설치될 수도 있다. 대상자(9) 흉부에 설치된 관성 측정 장치(80-1)는 상지의 움직임에 따른 상체의 움직임을 측정하고, 이에 대응하는 측정 신호를 출력할 수 있다. 이외에도 원하는 측정 부위나 설계자나 사용자의 고려에 따라 관성 측정 장치(80: 80-1 내지 80-5)는 대상자(9)의 다양한 위치에 설치될 수 있다. 실시예에 따라서, 관성 측정 장치(80: 80-1 내지 80-5)는, 후술하는 동작 측정 및 분류 장치(100)와 일체형으로 구현될 수도 있다.
화상 촬영 장치(90)는, 대상자(9)를 촬영하여 대상자(9)에 대한 적어도 하나의 영상(정지영상 또는 동영상을 포함할 수 있음)을 획득하고, 획득한 적어도 하나의 영상을 동작 측정 및 분류 장치(100)로 동시에 또는 순차적으로 전달할 수 있다. 이 경우, 화상 촬영 장치(90)는 영상 내에 대상자(9)의 측정 대상이 되는 부위(일례로 관성 측정 장치(80)가 설치된 상완, 전완 및/또는 흉부)의 동작이 적절하게 나타날 수 있도록 촬영을 수행할 수 있다. 화상 촬영 장치(90)는 일반적인 카메라 장치(컴팩트 카메라, 미러리스 카메라 및/또는 DSLR 카메라 등), 스마트폰, 태블릿 피씨, 웹 카메라, 캠코더, 이엔지(ENG) 카메라 및/또는 촬영용 드론 등과 같이 영상의 획득이 가능한 소정의 전자 장치를 기반으로 구현 가능하다. 실시예에 따라서, 화상 촬영 장치(900) 역시 동작 측정 및 분류 장치(100)와 일체형으로 구현되는 것도 가능하다.
동작 측정 및 분류 장치(100)는 관성 측정 장치(80) 및 화상 촬영 장치(90)로부터 측정 데이터 및 영상 데이터를 수신하고, 수신한 측정 데이터 및 영상 데이터를 이용하여 대상자(9)의 동작에 대한 데이터(이하 동작 데이터)를 획득하고, 동작 데이터를 적절하게 분류하는 작업을 수행할 수 있다. 동작 측정 및 분류 장치(100)는 대상자(9)의 동작의 측정 및 분류를 위해 특별히 고안된 전자 장치를 이용하여 구현될 수도 있고, 또는 하나 또는 둘 이상의 통상적으로 알려진 정보 처리 장치를 단독으로 또는 조합 이용하여 구현될 수 있다. 여기서, 통상적으로 알려진 정보 처리 장치는, 예를 들어, 데스크톱 컴퓨터, 랩톱 컴퓨터, 서버 전용 컴퓨터 장치, 스마트 폰, 태블릿 피씨, 스마트 시계, 두부 장착형 디스플레이(HMD: Head Mounted Display) 장치, 내비게이션 장치, 휴대용 게임기, 개인용 디지털 보조기(PDA: Personal Digital Assistant), 인공 지능 음향 재생 장치(인공 지능 스피커), 셋톱 박스, 가전 기기(디지털 텔레비전, 냉장고나 로봇 청소기 등), 차량, 유인 비행체, 무인 비행체, 로봇, 산업용 기계 또는 이외 설계자가 고려 가능한 데이터 처리를 수행할 수 있는 다양한 장치 중 적어도 하나를 포함할 수 있다. 동작 측정 및 분류 장치(100)의 자세한 동작은 후술한다.
단말 장치(70)는 사용자로부터 동작 측정 및 분류 장치(100)의 동작과 관련된 지시나 데이터 등을 수신하고 이를 동작 측정 및 분류 장치(100)로 전달할 수도 있고, 및/또는 동작 측정 및 분류 장치(100)로부터 측정 데이터, 영상, 이용된 학습 모델, 측정 결과 또는 분류 결과 등을 수신할 수도 있다. 이에 따라 사용자는 동작 측정 및 분류 장치(100)를 직접 조작하지 않고도 원격으로 동작 측정 및 분류 장치(100)를 제어하거나 또는 동작 측정 및 분류 장치(100)로부터 원하는 정보를 획득할 수 있게 된다. 단말 장치(70)는, 예를 들어, 스마트 폰, 태블릿 피씨, 데스크톱 컴퓨터, 랩톱 컴퓨터, 스마트 시계, 두부 장착형 디스플레이 장치, 내비게이션 장치, 휴대용 게임기, 개인용 디지털 보조기, 디지털 텔레비전, 셋톱 박스, 가전 기기, 인공 지능 음향 재생 장치, 차량, 유인 비행체, 무인 비행체 또는 로봇 등을 포함할 수 있다. 단말 장치(70)는 실시예에 따라 생략 가능하다.
도 2는 동작 측정 및 분류 장치의 일 실시예에 대한 블록도이다.
도 2에 도시된 일 실시예에 의하면, 동작 측정 및 분류 장치(100)는 통신부(101), 입출력부(103), 프로세서(110) 및 저장부(120)를 포함할 수 있다. 여기서, 통신부(101), 입출력부(103), 프로세서(110) 및 저장부(120) 중 적어도 둘은 필요에 따라 전기적 신호를 일방으로 또는 상호 전달할 수 있도록 전기적으로 연결되어 있을 수 있다. 입출력부(103) 등은 실시예에 따라 생략될 수도 있다.
통신부(101)는 유선 또는 무선 통신 네트워크를 통해 데이터를 수신하거나, 및/또는 명령이나 데이터를 전송할 수 있도록 마련된다. 예를 들어, 통신부(101)는 관성 측정 장치(80)로부터 측정 데이터를 수신하거나, 화상 촬영 장치(90)로부터 영상을 수신할 수 있다. 또한, 통신부(101)는 관성 측정 장치(80) 또는 화상 촬영 장치(90)로 동작 개시나 종료에 대한 명령을 전송하여 관성 측정 장치(80) 또는 화상 촬영 장치(90)가 동작하도록 할 수도 있다. 실시예에 따라서, 통신부(101)는 외부의 다른 정보 처리 장치로부터 프로세서(110)의 동작을 위한 데이터나 프로그램(앱, 애플리케이션 또는 소프트웨어 등으로 지칭 가능함) 등을 수신할 수도 있다. 여기서, 프로세서(110)의 동작을 위한 데이터는 다른 정보 처리 장치가 획득한 측정 데이터, 동작 데이터 또는 기 학습된 학습 모델 등을 포함할 수 있다. 통신부(101)는 일례로 랜 카드, 근거리 통신 모듈 또는 이동통신 모듈 등을 기반으로 구현 가능하다.
입출력부(103)는 사용자로부터 명령, 데이터 및/또는 프로그램 등을 수신하거나, 프로세서(110)의 동작 결과에 따른 데이터를 외부로 출력할 수 있다. 입출력부(103)는 동작 측정 및 분류 장치(100)와 일체형으로 마련된 것일 수도 있고, 또는 물리적으로 분리 가능하게 마련된 것일 수도 있다. 입출력부(103)는 입력부 및 출력부를 포함할 수 있으며, 입력부는 키보드, 마우스, 태블릿, 터치 스크린, 터치 패드, 트랙 볼, 트랙패드, 스캐너 장치, 영상 촬영 모듈, 동작 감지 센서, 감압 센서, 근접 센서, 마이크로 폰 및/또는 데이터 입출력 단자 등을 포함할 수 있고, 출력부는 디스플레이, 프린터 장치, 스피커 장치, 영상 출력 단자 및/또는 데이터 입출력 단자 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.
저장부(120)는 프로세서(110)를 비롯 동작 측정 및 분류 장치(100)의 동작에 필요한 각종 정보나 프로그램 등을 일시적 또는 비일시적으로 저장할 수 있다. 예를 들어, 저장부(120)는 환자로부터 획득된 측정 데이터(도 7의 121, 127, 필요에 따라 측정 데이터에 대응하는 영상도 포함할 수 있음), 정상인으로부터 획득된 측정 데이터 및 영상(도 7의 123) 및/또는 적어도 하나의 학습 모델(도 7의 125) 등을 저장할 수 있다. 여기서, 적어도 하나의 학습 모델(125)은, 예를 들어, 심층 신경망(DNN, Deep Neural Network), 콘볼루션 신경망(CNN, Convolutional Neural Network), 순환 신경망(RNN, Recurrent Neural Network), 심층 신뢰 신경망(DBN, Deep Belief Network), 심층 Q-네트워크(Deep Q-Networks), 장단기 메모리(LSTM: Long short term memory), 다층 퍼셉트론(Multi-layer Perceptron), 서포트 벡터 머신(SVM: support vector machine), 생성적 적대 신경망(GAN: Generative Adversarial Network) 및/또는 조건적 생성적 적대 신경망(cGAN: Conditional GAN) 등을 포함할 수 있으나, 이에 한정되는 것은 아니다. 학습 모델(125)은, 실시예에 따라서, 훈련을 통해 학습을 수행하고 학습 결과를 기반으로 데이터 처리를 수행할 수 있도록 설계자가 고려 가능한 적어도 하나의 알고리즘이나, 이를 이용하거나 또는 포함하여 작성된 적어도 하나의 프로그램 코드나, 또는 이(들)의 전부 또는 일부를 기반으로 또는 이들을 전체적으로 또는 부분적으로 조합하여 구현된 적어도 하나의 프로그램 패키지 등을 포함할 수 있다. 또한, 저장부(120)에 저장된 프로그램은, 설계자에 의해 직접 작성 또는 수정된 것일 수도 있고, 또는 유선 또는 무선 통신 네트워크를 이용하여 접속 가능한 전자 소프트웨어 유통망을 통하여 획득 또는 갱신된 것일 수도 있다. 일 실시예에 의하면, 저장부(120)는, 주기억장치 및 보조기억장치 중 적어도 하나를 포함할 수 있다. 주기억장치는 롬(ROM) 및/또는 램(RAM) 등을 포함할 수 있고, 보조기억장치는, 플래시 메모리 장치, SD(Secure Digital) 카드, 솔리드 스테이트 드라이브(SSD, Solid State Drive), 하드 디스크 드라이브(HDD, Hard Disc Drive), 광 기록 매체(optical media) 및/또는 플로피 디스크 등을 포함 가능하다.
프로세서(110)는 관성 측정 장치(80)의 측정 데이터를 분석하여 각각의 동작을 식별하고, 각각의 동작에 대한 패턴을 분석하여 분석 결과를 획득할 수 있으며, 분석 결과를 기반으로 대상자(9)가 새로 수행한 행동을 분류하거나 추가적인 분석을 더 수행할 수 있다. 이들 동작의 수행을 위해서 프로세서(110)는 저장부(120)에 저장된 프로그램을 실행시킬 수도 있다. 일 실시예에 의하면, 프로세서(110)는, 예를 들어, 중앙 처리 장치(CPU, Central Processing Unit), 마이크로 컨트롤러 유닛(MCU, Micro Controller Unit), 마이컴(Micom, Micro Processor), 애플리케이션 프로세서(AP, Application Processor), 전자 제어 유닛(ECU, Electronic Controlling Unit) 및/또는 각종 연산 처리 및 제어 신호의 생성이 가능한 다른 처리 장치 등을 포함할 수 있다. 이들 전자 장치는, 하나 또는 둘 이상의 반도체 칩이나 관련 부품 등을 이용하여 구현될 수 있다.
일 실시예에 의하면, 프로세서(110)는 측정 데이터의 전부 또는 일부의 데이터에 대해 라벨링 처리를 수행하는 라벨링 처리부(111)와, 라벨링 처리된 데이터에 대해 학습을 수행하는 학습 처리부(113)와, 분석 대상 측정 데이터로부터 동작 데이터를 추출 및 분류하는 패턴 분석부(115)를 포함할 수 있다. 실시예에 따라, 프로세서(110)는 데이터의 추가적인 분석을 위한 부가 데이터 분석부(117)를 더 포함할 수도 있다. 라벨링 처리부(111), 학습 처리부(113), 패턴 분석부(115) 및 부가 데이터 분석부(117) 중 적어도 둘은 논리적으로 구분되는 것일 수도 있고, 및/또는 물리적으로 구분되는 것일 수도 있다. 물리적으로 구분되는 경우, 라벨링 처리부(111), 학습 처리부(113), 패턴 분석부(115) 및 부가 데이터 분석부(117) 중 적어도 둘은 각각 서로 물리적으로 분리된 중앙 처리 장치 등을 이용하여 구현된 것일 수도 있다.
도 3은 대상자에 대한 동작 감지의 일 실시예를 설명하기 위한 도면이고, 도 4는 라벨링의 일 실시예를 설명하기 위한 도표이다. 도 5는 각 관성 측정 장치의 측정 데이터에 대한 라벨링 처리의 일 실시예를 도시한 도면이고, 도 6은 어깨 폄 동작을 수행한 경우에 있어서, 정상인 및 뇌졸중 환자의 측정 신호의 일례를 도시한 도면이다. 도 3 및 도 5에서 서로 상이한 색상의 그래프는 각각 x축, y축 및 z축에 대한 측정 데이터를 의미한다.
도 3에 도시된 바를 참조하면, 보다 구체적으로 대상자(9)는 대상자(9)의 의사에 따라 또는 사용자 등의 요청에 따라 제1 시점(t1)에는 일반적인 상태를 유지하다가, 제2 시점(t2)에는 소정의 동작(예를 들어, 좌측 어깨 폄 동작)을 행할 수 있다. 흉부, 좌측 상완 및 전완에 설치된 관성 측정 장치(80-1, 80-4, 80-5)는 이와 같은 동작에 대응하는 측정 데이터를 출력하고, 아울러 화상 촬영 장치(90)는 대상자(9)의 이와 같은 동작에 대한 영상을 촬영하여 획득할 수 있다. 프로세서(110)의 라벨링 처리부(111)는 측정 데이터 및 영상을 획득하고, 측정 데이터와 영상을 상호 비교하여 싱크를 맞춘다. 이 경우, 라벨링 처리부(111)는 측정 데이터 및 영상 각각에 부가된 획득 시간에 대한 정보를 이용하여 측정 데이터 및 영상의 싱크를 맞출 수도 있고, 측정 데이터 및 영상의 각각의 수신 시간을 이용하여 측정 데이터 및 영상의 싱크를 맞출 수도 있으며, 및/또는 필요에 따라 영상을 분석하여 동작의 개시 지점과 종료 지점을 파악하고 이를 이용하여 측정 데이터 및 영상의 싱크를 맞출 수도 있다.
측정 데이터 및 영상의 싱크가 맞게 되면, 라벨링 처리부(111)는, 도 4에 도시된 바와 같이, 수신한 측정 데이터 중에서 수행된 소정의 동작(예를 들어, 좌측 어깨 폄 동작)에 대한 데이터, 즉 동작 데이터(d1)에 대해 대응하는 명칭(예를 들어, ShExt)을 할당하여 라벨링함으로써 대상자(9)가 수행한 동작에 대응하는 데이터(d1)를 구분 및 식별시킨다. 여기서 동작 데이터(d1)는 소정의 동작의 시작 시점 및 종료 시점 사이에 해당하는 소정 패턴의 전기적 신호를 포함할 수 있다. 일 실시예에 의하면, 대상자(9)는 적어도 하나의 동작을 순차적으로 또는 임의적 순서로 수행할 수 있고, 관성 측정 장치(80) 및 화상 촬영 장치(90)는 각각 연속적으로 대상자(9)에 대한 측정 데이터 및 영상을 출력할 수 있다. 이 경우, 연속적으로 출력되는 측정 데이터 및 영상 각각은 대상자(9)가 수행하는 적어도 하나의 동작에 대응하는 적어도 하나의 측정 데이터 및 적어도 하나의 영상을 각각 포함하게 된다. 라벨링 처리부(111)는 상술한 라벨링 처리를 수행된 매 동작에 대응하는 측정 데이터 내의 동작 데이터(d1)마다 수행할 수 있다. 만약 대상자(9)가 임의의 순서로 다양한 동작(예를 들어, 어깨 굽힘 90도, 어깨 회전, 어깨 바깥 벌림 90도, 어깨 수평방향 모음, 팔굽 굽힘, 팔 굽힌 상태에서 전완 엎침/뒷침, 팔을 편 상태에서 전완 엎침/뒷침, 팔 굽힌 상태에서 손목 굽힘, 팔 굽힌 상태에서 손목 폄, 팔을 편 상태에서 손목 굽힘, 팔을 편 상태에서 손목 폄, 펜 쥐기, 컵 쥐기, 핸드폰 쥐기, 병 쥐기, 정면 30도로 팔 올리기, 정면 90도로 팔 올리기, 정면 120도로 팔 올리기, 사선방향 30도로 팔 올리기, 사선방향 90도로 팔 올리기, 사선방향 120도로 팔 올리기 등)을 수행하면, 수행된 다양한 동작에 대응하는 동작 데이터(d1)가 라벨링 되게 된다. 이 경우, 측정 데이터 및 영상 간 싱크는 라벨링이 최초로 수행된 시점에서만 수행될 수도 있고 라벨링 매 수행 시마다 반복해서 수행될 수도 있다.
도 5에 도시된 바와 같이, 대상자(9)의 적어도 하나의 동작에 대응하는 동작 데이터(d1)의 획득 및 획득한 동작 데이터(d1)에 대해 라벨링은 각각의 관성 측정 장치(80-1 내지 80-5)의 측정 데이터마다 수행될 수도 있다. 각각의 관성 측정 장치(80-1 내지 80-5)의 측정 데이터는, 영상과 싱크가 맞게 처리 때문에 각각의 관성 측정 장치(80-1 내지 80-5)의 측정 데이터도 서로 시간적으로 일치하게 된다. 따라서, 대상자(9)가 좌측 팔 및 우측 팔 중 어느 하나를 의도된 바에 따라 움직이면, 적어도 하나의 기간 동안에 수행된 좌측 팔 및 우측 팔 중 어느 하나에 대한 동작 뿐만 아니라 동일한 기간 동안에 수행된 흉부 및 다른 팔의 움직임에 대응하는 동작에 대한 동작 데이터도 상호 일치하여 라벨링되게 된다.
도 6에 도시된 바와 같이, 획득 및 라벨링된 동작 데이터(d11 내지 d13)은 대상자(9)가 정상인인지 또는 환자(일례로 뇌졸중 환자)인지에 따라 상이할 수 있으며, 동일 질병을 가지고 있다고 하더라도 서로 상이한 환자 사이에서도 상이할 수 있다. 즉, 정상인에 대한 동작 데이터(d11)와, 둘 이상의 환자 각각에 대한 동작 데이터(d12, d13)는 서로 상이할 수 있다. 물론 상황에 따라 정상인 및 복수의 환자 중 적어도 둘 사이의 동작 데이터(d11 내지 d13)는 그 신호의 형태나 패턴이 서로 동일 또는 유사할 수도 있다.
도 7은 패턴 분석부 및 학습 처리부의 일 실시예를 설명하기 위한 도면이고, 도 8은 슬라이딩 윈도를 이용한 패턴 분석의 일례를 설명하기 위한 도면이다.
도 6 및 도 7에 도시된 바와 같이, 라벨링 처리부(111)는 환자의 동작에 따라 환자로부터 획득된 측정 데이터 및 영상(121)을 기반으로 환자의 동작에 대응하는 동작 데이터(d12, d13)에 라벨링을 수행하고, 필요에 따라서 정상인의 동작에 따라 정상인으로부터 획득된 측정 데이터 및 영상(123)을 기반으로 정상인의 동작에 대응하는 동작 데이터(d11)에 대한 라벨링도 수행할 수 있다.
학습 처리부(113)는 적어도 하나의 동작 각각에 대응하는 적어도 하나의 동작 데이터를 이용하여 동작 분류를 위한 적어도 하나의 학습 모델(125)을 훈련시키거나 또는 훈련된 학습 모델(125)을 기반으로 환자로부터 새롭게 획득된 분석 대상이 되는 측정 데이터(127, 이하 분석 대상 측정 데이터)로부터 동작 분류를 수행할 수 있다. 일 실시예에 의하면, 학습 처리부(113)는 적어도 하나의 환자의 동작 및 이에 대응하여 적어도 하나의 환자로부터 획득된 동작 데이터(d12, d13)를 이용하여 학습 모델(125)을 훈련시키거나 및/또는 적어도 하나의 정상인의 동작 및 이에 대응하여 적어도 하나의 정상인으로부터 획득된 동작 데이터(d11)를 이용하여 학습 모델(125)을 훈련시킬 수 있다. 보다 상세하게 예를 들어, 학습 처리부(113)는 환자의 동작에 대응하여 라벨링된 동작 데이터(d12, d13)를 라벨링 처리부(111)로부터 수신하고, 필요에 따라 정산인의 동작에 대응하여 라벨링된 데이터(d1)를 라벨링 처리부(111)로부터 더 수신한 후, 라벨링된 동작 데이터(d1: d11 내지 d13)을 이용하여 저장부(120) 등에 저장된 적어도 하나의 학습 모델(125)을 훈련시킬 수 있다. 학습 모델(125)은 특정한 동작 데이터(d1)를 어느 하나의 범주로 분류할 수 있도록 마련된다. 여기서, 어느 하나의 범주는 설계자, 사용자 또는 대상자(9) 등에 의해 사전에 또는 사후에 정의된 것일 수 있으며, 예를 들어, 도 4에 도시된 바와 같이 어깨 굽힘 90도나 어깨 폄이나 펜 쥐기 등과 같이 적어도 하나의 개별 동작 각각들로 구현된 것일 수 있다. 필요에 따라 학습 처리부(113)는 하나의 학습 모델을 훈련시킬 수도 있고, 둘 이상의 학습 모델을 훈련시킬 수도 있다. 둘 이상의 학습 모델은 상호 조합되어 훈련될 수도 있다. 학습 처리부(113)에 의해 훈련된 적어도 하나의 학습 모델(125)은 저장부(120)에 일시적 또는 비일시적으로 저장될 수 있으며, 필요에 따라 외부의 다른 동작 측정 및 분류 장치(미도시)로 전달되어 다른 동작 측정 및 분류 장치에 의해 동작에 대한 패턴 분석 및 분류를 위해 이용될 수도 있다. 또한, 적어도 하나의 학습 모델(125)은 패턴 분석부(115)에 전달되어 패턴 분석에 이용될 수 있다.
패턴 분석부(115)는, 환자로부터 실제로 측정하고자 하는 적어도 하나의 분석 대상 측정 데이터(127)를 이산적으로 또는 연속적으로 수신하고, 수신한 분석 대상 측정 데이터(127)를 기반으로 환자의 동작에 대한 패턴 분석을 수행할 수 있다. 여기서, 분석 대상이 되는 적어도 하나의 측정 데이터(127)는, 환자가 실생활에서 취하는 하나 또는 둘 이상의 동작으로부터 취득된 데이터를 포함할 수 있다. 일 실시예에 따르면, 패턴 분석부(115)는 도 7에 도시된 바와 같이 분석 대상 측정 데이터(127)에 대해 슬라이딩 윈도(w0, w1) 기법을 적용하여 분석 대상 측정 데이터(127)로부터 환자의 동작 데이터를 추출하고 이를 소정의 범주로 분류함으로써, 환자가 행한 동작을 분류할 수도 있다. 보다 상세하게는 패턴 분석부(115)는 획득한 분석 대상 측정 데이터(127)를 따라 소정 크기의 슬라이딩 윈도(w0, w1)를 순차적으로 또는 임의적 순서로 이동시키면서 분석 대상 측정 데이터(127)로부터 적어도 하나의 동작 데이터들을 추출 및 분류할 수 있다. 여기서 분석 대상 측정 데이터(127)는 미리 정의된 고정된 또는 가변적인 기간 동안 획득된 것일 수도 있다. 실시예에 따라서, 패턴 분석부(115)는 슬라이딩 윈도(w0, w1)를 이용하여 실시간으로 분석 대상 측정 데이터(127)로부터 적어도 하나의 동작 데이터들을 추출하여 분류할 수도 있다. 분석 대상 측정 데이터(127)로부터의 동작 데이터의 추출 및 분류는 학습 모델(125)를 이용하여 수행될 수도 있다. 즉, 패턴 분석부(115)는 슬라이딩 윈도(w0, w1) 내의 데이터(신호)를 훈련된 학습 모델(125)에 적용하여, 슬라이딩 윈도(w0, w1) 내의 동작 데이터가 기 마련된 복수의 범주 중 적어도 하나의 범주에 해당하는 동작 데이터인지 여부를 판단할 수 있다. 이에 따라 패턴 분석부(115)는 분석 대상 측정 데이터(127)로부터 어느 하나의 범주에 해당하는 적어도 하나의 동작을 획득할 수 있게 되고, 적어도 하나의 동작을 조합하여 환자가 연속적으로 또는 이산적으로 취하는 적어도 하나의 동작(들)에 대한 수행 패턴을 획득할 수 있게 된다. 다시 말해서, 환자가 병원 외에서 하나 이상의 관성 측정 장치(80)를 장착하고 행동하는 경우, 하나 이상의 관성 측정 장치(80) 각각은 행동 내의 일련의 동작 각각에 대응하는 분석 대상 측정 데이터(127)를 출력하여 동작 측정 및 분류 장치(100)로 전달하고, 동작 측정 및 분류 장치(100)의 패턴 분석부(115)는 분석 대상 측정 데이터(127)로부터 동작 데이터의 획득 및 분류를 수행할 수 있다. 따라서, 환자의 일상 생활에서 흔히 취해지는 반복 동작(밥 먹기, 옷 입기 또는 글 쓰기 등)에 대해 동작 분류가 가능해지고, 환자가 어떠한 동작을 어떤 방식으로, 어느 정도의 빈도로, 주로 어느 쪽 팔을 이용하여 및/또는 언제 행하는지 여부에 대한 정보 획득이 가능해지며, 의사 등의 사용자는 일상 생활에서의 환자의 동작 패턴을 지득할 수 있게 된다.
도 9는 부가 데이터 분석부의 일 실시예에 대한 블록도이고, 도 10은 데이터 분석 과정에 이용되는 측정 신호의 일례에 대한 그래프 도면이다.
부가 데이터 분석부(117)는 관성 측정 장치(80) 등의 측정 데이터를 이용하여 적어도 하나의 데이터 분석을 수행할 수 있다. 예를 들어, 부가 데이터 분석부(117)는 손상된 상지의 활용도를 나타내는 활동량 수치를 연산할 수도 있다. 구체적으로 부가 데이터 분석부(117)는 도 9에 도시된 바와 같이 관성 측정 장치(80), 일례로 우측 손목에 장착된 관성 측정 장치(80-5) 중 적어도 하나를 먼저 선별하고(117a), 선별된 적어도 하나의 관성 측정 장치(80: 80-1 내지 80-5)로부터 출력되는 소정의 동작에 대한 3축의 데이터(일례로 3축의 가속도 데이터 및 3축의 각속도 데이터) 중에서 적어도 하나의 축(예를 들어, x축)에 해당하는 데이터를 획득할 수 있다(117b). 부가 데이터 분석부(117)는 획득된 데이터(즉, 시계열 데이터)에 대해서 순차적으로 구간 별로 평균을 연산할 수 있다. 예를 들어, 부가 데이터 분석부(117)는 일 구역에서 복수(일례로 10개)의 포인트를 결정하고 각각의 포인트 지점에서의 값들의 평균을 연산하고, 다음 구역들에서도 동일하게 평균을 연산할 수 있다. 이에 따라 도 10의 회색 선으로 표현된 바와 같이 평활화된 데이터가 획득된다. 이어서 부가 데이터 분석부(117)는 평활화된 데이터(회색 선)의 전체 평균(청색 선)을 획득하고, 평활화된 데이터에서 전체 평균(청색 선)을 차감한다(117d). 부가 데이터 분석부(117)는 전체 평균을 차감된 평활화된 데이터를 제곱하여 도 10의 적색 선으로 표현된 제곱된 데이터들을 획득하고, 제곱된 데이터(적색 선)를 시간 축에 따라 적분하여 제곱된 데이터(적색 선) 하단의 면적을 연산한 후, 면적을 시간(도 10의 x축)으로 나눈 값의 제곱근을 구하여 소정의 동작에 대한 활동량을 연산할 수 있다(117e). 부가 데이터 분석부(117)는 적어도 하나의 축에 대한 모든 동작의 활동량을 합산하여 해당 축에 대한 활동량을 결정할 수 있다. 상술한 과정은 다른 축들에 대해서도 순차적으로 또는 동시에 수행될 수 있다. 필요에 따라, 부가 데이터 분석부(117)는 다른 관성 측정 장치(80), 일례로 좌측 손목에 장착된 관성 측정 장치(80-3)에 대해서도 동일한 작업을 수행하여, 특정한 상지(예를 들어, 우측 상지)에 대한 최종적인 활동량을 결정할 수 있다. 이외에도 부가 데이터 분석부(117)는 사용자의 선택에 따라 또는 미리 정의된 설정에 따라서 필요한 하나 이상의 다양한 데이터 분석을 수행할 수도 있다.
이하 도 11을 참조하여 동작 측정 및 분류 방법의 일 실시예를 설명하도록 한다.
도 11은 동작 측정 및 분류 방법의 일 실시예에 대한 흐름도이다.
도 11에 도시된 동작 측정 및 분류 방법의 일 실시예에 따르면, 먼저 대상자(정상인 또는 환자)가 관성 측정 장치를 소정의 위치(예를 들어, 흉부, 양팔의 상완 및 전완 등)에 설치하고 미리 정의된 바에 따라 또는 임의적으로 소정의 동작을 취하면, 관성 측정 장치는 대상자의 동작에 대응하는 측정 데이터를 획득할 수 있다(400). 이와 동시에 대상자의 동작은 화상 촬영 장치에 의해 촬영되고, 화상 촬영 장치는 이에 대응하는 영상을 획득할 수 있다. 동작 측정 및 분류 장치는 측정 데이터 및 영상을 획득할 수 있다.
동작 측정 및 분류 장치는 측정 데이터에 대해 라벨링 처리를 수행할 수 있다(402). 이 경우, 동작 측정 및 분류 장치는 측정 데이터 및 영상 간의 싱크를 맞추고, 측정 데이터로부터 영상 상의 동작에 대응하는 부분(즉, 동작 데이터)에 라벨링 처리를 수행함으로써 라벨링된 동작 데이터를 획득할 수 있다.
이어서 라벨링된 동작 데이터를 이용하여 적어도 하나의 학습 모델에 대한 훈련이 수행될 수 있다. 여기서, 학습 모델은 동작 데이터에 대응하는 동작 범주를 결정할 수 있도록 훈련될 수 있다. 적어도 하나의 학습 모델은, 실시예에 따라서, 심층 신경망, 콘볼루션 신경망, 순환 신경망, 심층 신뢰 신경망, 심층 Q-네트워크, 장단기 메모리, 다층 퍼셉트론, 서포트 벡터 머신, 생성적 적대 신경망 및/또는 조건적 생성적 적대 신경망 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.
이후 실제로 동작의 측정 및 분류 대상이 되는 환자의 적어도 일 위치에 적어도 하나의 관성 측정 장치가 장착되고, 환자는 적어도 하나의 동작을 포함하는 행동을 취한다(408). 여기서, 동작은 미리 정의된 복수의 범주 중 어느 하나에 포함하는 것일 수 있다.
관성 측정 장치는 상술한 바와 동일하게 측정 데이터를 획득하고, 동작 측정 및 분류 장치는 관성 측정 장치가 획득한 측정 데이터를 유선 또는 무선으로 획득할 수 있다(410).
동작 측정 및 분류 장치는 측정 데이터를 이용하여 환자의 동작을 분석 및 분류하고, 필요에 따라서 환자의 동작 패턴을 파악할 수 있다. 구체적으로 동작 측정 및 분류 장치는 측정 데이터에 대해 슬라이딩 윈도를 적용하여 측정 데이터로부터 적어도 하나의 동작 데이터를 추출 및 분류할 수 있다. 실시예에 따라서, 동작 측정 및 분류 장치는 상술한 과정(404)에서 훈련된 적어도 하나의 학습 모델을 이용하여 측정 데이터로부터 적어도 하나의 동작 데이터를 추출 및 분류할 수도 있다. 이에 따라 환자의 행한 동작에 대한 정보가 획득될 수 있게 되고, 이를 기반으로 환자가 어느 순간에 어느 정도의 빈도로, 어떤 방식으로, 어느 정도로 자유롭게 상지를 사용하는지에 대한 파악이 가능해진다.
상술한 실시예에 따른 동작 측정 및 분류 방법은, 컴퓨터 장치에 의해 구동될 수 있는 프로그램의 형태로 구현될 수 있다. 여기서 프로그램은, 프로그램 명령, 데이터 파일 및 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 프로그램은 기계어 코드나 고급 언어 코드를 이용하여 설계 및 제작된 것일 수 있다. 프로그램은 상술한 방법을 구현하기 위하여 특별히 설계된 것일 수도 있고, 컴퓨터 소프트웨어 분야에서 통상의 기술자에게 기 공지되어 사용 가능한 각종 함수나 정의를 이용하여 구현된 것일 수도 있다. 또한, 여기서, 컴퓨터 장치는, 프로그램의 기능을 실현 가능하게 하는 프로세서나 메모리 등을 포함하여 구현된 것일 수 있으며, 필요에 따라 통신 장치를 더 포함할 수도 있다. 또한, 상술한 동작 측정 및 분류 방법을 구현하기 위한 프로그램은, 컴퓨터에 의해 판독 가능한 기록 매체에 기록될 수 있다. 컴퓨터에 의해 판독 가능한 기록 매체는, 예를 들어, 솔리드 스테이트 드라이브(SSD), 롬, 램 또는 플래시 메모리 등과 같은 반도체 저장 장치, 하드 디스크나 플로피 디스크 등과 같은 자기 디스크 저장 매체, 콤팩트 디스크나 디브이디 등과 같은 광 기록 매체, 플롭티컬 디스크 등과 같은 자기-광 기록 매체 및 자기 테이프 등 컴퓨터 등의 호출에 따라 실행되는 특정 프로그램을 저장 가능한 적어도 한 종류의 물리적 장치를 포함할 수 있다.
이상 동작 측정 및 분류 시스템, 장치 및 방법의 일 실시예에 대해 설명하였으나, 동작 측정 및 분류 시스템, 장치 및 방법은 오직 상술한 실시예에 한정되는 것은 아니다. 해당 기술 분야에서 통상의 지식을 가진 자가 상술한 실시예를 기초로 수정 및 변형하여 구현 가능한 다양한 장치나 방법 역시 상술한 동작 측정 및 분류 시스템, 장치 및 방법의 일례가 될 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성 요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나 다른 구성 요소 또는 균등물에 의하여 대치되거나 또는 치환되더라도 상술한 동작 측정 및 분류 시스템, 장치 및 방법의 일 실시예가 될 수 있다.
1: 동작 측정 및 분류 시스템 9: 대상자
70: 단말 장치 80: 관성 측정 장치
82: 장착부 90: 화상 촬영 장치
100: 동작 측정 및 분류 장치 101: 통신부
103: 입출력부 110: 프로세서
111: 라벨링 처리부 113: 학습 처리부
115: 패턴 분석부 117: 부가 데이터 분석부
120: 저장부

Claims (8)

  1. 대상자에게 장착되는 적어도 하나의 관성 측정 장치; 및
    상기 적어도 하나의 관성 측정 장치가 출력한 측정 데이터로부터 적어도 하나의 라벨링 처리된 동작 데이터를 획득하고, 상기 라벨링 처리된 동작 데이터를 이용하여 학습 모델을 훈련시키고, 상기 학습 모델을 이용하여 상기 적어도 하나의 관성 측정 장치가 출력한 분석 대상 측정 데이터로부터 적어도 하나의 동작을 추출하여 소정의 범주로 분류하는 동작 측정 및 분류 장치;를 포함하는 동작 측정 및 분류 시스템.
  2. 제1항에 있어서,
    상기 대상자의 동작을 촬영하여 적어도 하나의 영상을 획득하는 화상 촬영 장치;를 더 포함하는 동작 측정 및 분류 시스템.
  3. 제2항에 있어서,
    상기 동작 측정 및 분류 장치는, 상기 측정 데이터와 상기 적어도 하나의 영상 사이의 싱크를 맞추고, 상기 영상 내의 동작을 기반으로 상기 적어도 하나의 라벨링 처리된 동작 데이터를 획득하는 동작 측정 및 분류 시스템.
  4. 제1항에 있어서,
    상기 동작 측정 및 분류 장치는, 상기 분석 대상 측정 데이터에 대해 슬라이딩 윈도를 적용하여 상기 분석 대상 측정 데이터로부터 적어도 하나의 동작을 추출하는 동작 측정 및 분류 시스템.
  5. 제1항에 있어서,
    상기 적어도 하나의 관성 측정 장치는, 상기 대상자의 흉부, 양 팔의 전완 및 상완 중 적어도 하나에 설치되는 동작 측정 및 분류 시스템.
  6. 제1항에 있어서,
    상기 동작 측정 및 분류 장치는, 상기 적어도 하나의 관성 측정 장치 중 어느 하나를 선별하고, 상기 적어도 하나의 관성 측정 장치의 측정 데이터 중 적어도 하나의 축을 선택하고, 구간 별로 적어도 하나의 축에 해당하는 측정 데이터의 평균을 연산하여 평활화된 데이터를 획득하고, 평활화된 데이터에 평활화된 데이터의 평균을 차감하여 차감된 평활화된 데이터를 획득하고, 차감된 평활화된 데이터를 제곱한 후, 이에 대한 면적을 연산하여 적어도 하나의 동작에 대응하는 활동량을 연산하는 동작 측정 및 분류 시스템.
  7. 적어도 하나의 관성 측정 장치가 출력한 측정 데이터 및 적어도 하나의 화상 촬영 장치가 획득한 영상을 획득하는 통신부; 및
    상기 측정 데이터 및 상기 영상을 기반으로 적어도 하나의 라벨링 처리된 동작 데이터를 획득하고, 상기 라벨링 처리된 동작 데이터를 이용하여 학습 모델을 훈련시키는 프로세서;를 포함하되,
    상기 프로세서는, 상기 학습 모델을 이용하여 상기 적어도 하나의 관성 측정 장치가 출력한 분석 대상 측정 데이터로부터 적어도 하나의 동작을 추출하여 소정의 범주로 분류하는 동작 측정 및 분류 장치.
  8. 대상자의 동작에 대한 측정 데이터가 획득되는 단계;
    상기 대상자의 동작에 대한 영상이 획득되는 단계;
    상기 측정 데이터 및 상기 영상을 기반으로 적어도 하나의 라벨링 처리된 동작 데이터를 획득하는 단계;
    상기 라벨링 처리된 동작 데이터를 이용하여 학습 모델을 훈련시키는 단계;
    상기 대상자의 동작에 대한 분석 대상 측정 데이터가 획득되는 단계;
    상기 학습 모델을 이용하여 상기 분석 대상 측정 데이터로부터 적어도 하나의 동작을 추출하여 소정의 범주로 분류하는 단계;를 포함하는 동작 측정 및 분류 방법.
KR1020210013576A 2021-01-29 2021-01-29 동작 측정 및 분류 시스템, 장치 및 방법 KR102574495B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210013576A KR102574495B1 (ko) 2021-01-29 2021-01-29 동작 측정 및 분류 시스템, 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210013576A KR102574495B1 (ko) 2021-01-29 2021-01-29 동작 측정 및 분류 시스템, 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20220109947A true KR20220109947A (ko) 2022-08-05
KR102574495B1 KR102574495B1 (ko) 2023-09-04

Family

ID=82826214

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210013576A KR102574495B1 (ko) 2021-01-29 2021-01-29 동작 측정 및 분류 시스템, 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102574495B1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160015674A (ko) * 2014-07-31 2016-02-15 (주)코어센스 관성센서를 이용한 인체 동작 분석 시스템
KR20170033585A (ko) 2015-09-17 2017-03-27 재단법인대구경북과학기술원 다중센서 융합을 이용한 뇌질환 환자의 상지 운동 능력 평가 방법 및 상지 운동 능력 평가 시스템
KR20190112988A (ko) * 2018-03-27 2019-10-08 박재현 모션 인식 밴드를 이용한 재활치료환자의 신체 운동능력 측정 장치 및 방법
KR20200134502A (ko) 2019-05-22 2020-12-02 한국과학기술연구원 이미지 인식을 통한 3차원 인체 관절 각도 예측 방법 및 시스템
KR20210000336A (ko) * 2019-06-24 2021-01-05 고려대학교 산학협력단 동적 자세 균형 측정 시스템 및 이를 이용한 동적 자세 변화 측정 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160015674A (ko) * 2014-07-31 2016-02-15 (주)코어센스 관성센서를 이용한 인체 동작 분석 시스템
KR20170033585A (ko) 2015-09-17 2017-03-27 재단법인대구경북과학기술원 다중센서 융합을 이용한 뇌질환 환자의 상지 운동 능력 평가 방법 및 상지 운동 능력 평가 시스템
KR20190112988A (ko) * 2018-03-27 2019-10-08 박재현 모션 인식 밴드를 이용한 재활치료환자의 신체 운동능력 측정 장치 및 방법
KR20200134502A (ko) 2019-05-22 2020-12-02 한국과학기술연구원 이미지 인식을 통한 3차원 인체 관절 각도 예측 방법 및 시스템
KR20210000336A (ko) * 2019-06-24 2021-01-05 고려대학교 산학협력단 동적 자세 균형 측정 시스템 및 이를 이용한 동적 자세 변화 측정 방법

Also Published As

Publication number Publication date
KR102574495B1 (ko) 2023-09-04

Similar Documents

Publication Publication Date Title
US9545221B2 (en) Electronic system with dynamic localization mechanism and method of operation thereof
US20130138011A1 (en) Brain-computer interface system and method
WO2021036568A1 (zh) 辅助健身的方法和电子装置
JP2019522300A (ja) 精神障害の療法のためのモバイルおよびウェアラブルビデオ捕捉およびフィードバックプラットフォーム
US20210196174A1 (en) Apparatus, method and program for determining a cognitive state of a user of a mobile device
WO2022156654A1 (zh) 一种文本数据处理方法及装置
EP3725217A1 (en) Electronic device and method for measuring heart rate
US11049321B2 (en) Sensor-based object tracking and monitoring
WO2017140696A1 (en) Device, system and method for determining a subject's breathing rate
KR20190098099A (ko) 안마 기구
KR102574495B1 (ko) 동작 측정 및 분류 시스템, 장치 및 방법
WO2022111704A1 (zh) 心率检测方法及电子设备
Cavallo et al. A low-cost stand-alone platform for measuring motor behavior across developmental applications
KR102323576B1 (ko) IoT 기반의 공용 무선 의료장치를 이용한 치매 판단 시스템
KR20230154380A (ko) 행동 및 발화 패턴 기반 감성 인식 결과에 의해 사용자의 감성 상태에 적합한 헬스케어 서비스를 제공하는 시스템 및 방법
KR102608633B1 (ko) 전자 장치 및 그 제어 방법
WO2021036562A1 (zh) 用于健身训练的提示方法和电子设备
WO2021253296A1 (zh) 一种运动模型生成方法及相关设备
Bastico et al. Continuous Person Identification and Tracking in Healthcare by Integrating Accelerometer Data and Deep Learning Filled 3D Skeletons
CN112308880B (zh) 一种目标用户锁定方法及电子设备
Trujillo-Guerrero et al. Accuracy comparison of CNN, LSTM, and Transformer for activity recognition using IMU and visual markers
US20240098246A1 (en) Any pose motion capture calibration methods and apparatus
Qiao et al. An inertial sensor-based system to develop motor capacity in children with cerebral palsy
JP7360158B2 (ja) 制御システム及び制御プログラム
CN116186552A (zh) 为训练计算模型提供未标记的训练数据

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant