KR101967342B1 - 웨어러블 기기 기반 운동 가이드 시스템 - Google Patents

웨어러블 기기 기반 운동 가이드 시스템 Download PDF

Info

Publication number
KR101967342B1
KR101967342B1 KR1020170109610A KR20170109610A KR101967342B1 KR 101967342 B1 KR101967342 B1 KR 101967342B1 KR 1020170109610 A KR1020170109610 A KR 1020170109610A KR 20170109610 A KR20170109610 A KR 20170109610A KR 101967342 B1 KR101967342 B1 KR 101967342B1
Authority
KR
South Korea
Prior art keywords
motion
signal
classifier
exercise
living body
Prior art date
Application number
KR1020170109610A
Other languages
English (en)
Other versions
KR20190023611A (ko
Inventor
송승재
안기환
김동현
Original Assignee
주식회사 라이프시맨틱스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 라이프시맨틱스 filed Critical 주식회사 라이프시맨틱스
Priority to KR1020170109610A priority Critical patent/KR101967342B1/ko
Publication of KR20190023611A publication Critical patent/KR20190023611A/ko
Application granted granted Critical
Publication of KR101967342B1 publication Critical patent/KR101967342B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0062—Monitoring athletic performances, e.g. for determining the work of a user on an exercise apparatus, the completed jogging or cycling distance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/22—Social work or social welfare, e.g. community support activities or counselling services
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2225/00—Miscellaneous features of sport apparatus, devices or equipment
    • A63B2225/50—Wireless data transmission, e.g. by radio transmitters or telemetry
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2230/00—Measuring physiological parameters of the user
    • A63B2230/04—Measuring physiological parameters of the user heartbeat characteristics, e.g. ECG, blood pressure modulations
    • A63B2230/045—Measuring physiological parameters of the user heartbeat characteristics, e.g. ECG, blood pressure modulations used as a control parameter for the apparatus

Landscapes

  • Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Tourism & Hospitality (AREA)
  • Primary Health Care (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Child & Adolescent Psychology (AREA)
  • Strategic Management (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

본 발명은 생체센서와 모션센서로부터 각각 생체신호와 모션신호를 수신하여 운동을 감지하고 운동 종류를 분류하는, 웨어러블 기기 기반 운동 가이드 시스템에 관한 것으로서, 모션신호를 이용하여 운동의 종류를 분류하는 분류기를 생성하고 학습시키는 분류기 학습부; 상기 생체신호 및 모션신호를 수신하는 신호수신부; 상기 생체신호를 이용하여, 상기 생체신호가 사전에 정해진 기준치 이상이면 운동 수행으로 감지하는 운동감지부; 운동 수행이 감지되면, 상기 모션신호를 상기 분류기에 적용하여 운동 종류를 분류하는 운동 분류부를 포함하는 구성을 마련한다.
상기와 같은 시스템에 의하면, 생체신호와 모션신호를 모두 이용하여 운동의 시작과 종료, 그 종류를 검출함으로써, 사용자는 운동 시작과 종료를 직접 입력하지 않고도 어떤 운동을 하고 있는지 운동을 얼마나 했는지를 측정하여 기록할 수 있다.

Description

웨어러블 기기 기반 운동 가이드 시스템 { An exercise guide system by using wearable device }
본 발명은 사용자가 착용한 웨어러블 기기로부터 사용자의 생체신호와 모션신호를 수신하여, 사용자의 운동 수행의 시작 및 종료, 운동의 종류, 및, 그 운동 강도를 검출하고, 검출된 운동 내용을 기반으로 사용자에게 운동 가이드를 제공하는, 웨어러블 기기 기반 운동 가이드 시스템에 관한 것이다.
일반적으로, 정기적으로 관리를 받아야 하는 재활환자의 경우 재활을 위한 주기적인 운동을 유지하여야 하는데, 환자의 상태에 따라서 요구되는 재활운동은 달라질 수 있다.
다만, 환자의 재활운동 결과와 그에 따라 변화된 신체상태를 매번 체크하기 위해서 주기적으로 병원에 방문하여 문진 또는 검진하고, 이에 따라 새로운 운동정보를 제공받는 것은 여간 부담스러운 일이 아닐 수 없다. 따라서, 병원을 방문하지 않고서도, 환자의 운동 결과나 현재 상태를 반영하여 분석하고, 실시간으로 이를 반영하여 현재의 환자 상태에 가장 최적화된 운동 방법을 제공해주는 시스템이 필요한 실정이다.
이러한 필요성에 의하여, 웨어러블 디바이스를 통해 사용자의 근육량을 산출하고, 산출된 근육량 결과에 따른 운동 메카니즘을 제공하여, 재활치료를 제공하는 기술이 제시되고 있다[특허문헌 1]. 또한, 기초체력, 설문조사, 병력정보를 기반으로 하여 운동 능력을 결정하고 운동처방을 제시하고, 운동 시의 실시간 심박수를 검출하여 운동처방 내에 운동을 유지하는지를 모니터링하고 가이드하는 기술도 제시되고 있다[특허문헌 2].
또한, 웨어러블 디바이스를 착용하여 사용자의 반복되는 궤적 및 속도를 이용하여 사용자가 행하는 운동을 특정하여 해당 운동에 대해 피드백하여 가이드 하는 기술도 제시되고 있다[특허문헌 3]. 또한, 운동자각도를 입력받으면 사용자의 심박수 등 생체신호를 측정하여 사용자의 운동 차수에 대한 운동강도를 측정하여 평가하고 그에 대한 운동 가이드 정보를 제공하는 기술도 제시되고 있다[특허문헌 4].
그러나 상기와 같은 스마트폰 및 웨어러블 기기를 통해 운동 가이드를 제공하는 기술은 단일 종목의 운동(예를 들면 달리기, 자전거 타기 등)에 국한하여 그 한가지 운동에 대해서만 심박수, 운동 강도 등을 측정하여 가이드를 내려주는 정도에 국한되어 있다. 또한 사용자가 운동자각도 등 운동을 시작한다는 명령을 기기에 지시하기 전까지는 사용자가 운동을 수행하는지 어떤 지를 스스로 판단하여 가이드를 내리지 못하는 문제가 있었다.
한국공개특허공보 제10-2017-0067467호(2017.06.16.공개) 한국등록특허공보 제10-1586661호(2016.01.22.공고) 한국등록특허공보 제10-1724115호(2017.04.18.공고) 한국공개특허공보 제10-2016-0091694호(2016.08.03.공개)
본 발명의 목적은 상술한 바와 같은 문제점을 해결하기 위한 것으로, 사용자가 착용한 웨어러블 기기로부터 사용자의 생체신호와 모션신호를 수신하여, 사용자의 운동 수행의 시작 및 종료, 운동의 종류, 및, 그 운동 강도를 검출하고, 검출된 운동 내용을 기반으로 사용자에게 운동 가이드를 제공하는, 웨어러블 기기 기반 운동 가이드 시스템을 제공하는 것이다.
특히, 본 발명의 목적은 생체신호를 이용하여 먼저 운동의 시작 여부를 판단하고, 운동 시작이 감지되면 모션신호를 이용하여 운동의 종류를 분석하는, 웨어러블 기기 기반 운동 가이드 시스템을 제공하는 것이다.
상기 목적을 달성하기 위해 본 발명은 생체센서와 모션센서로부터 각각 생체신호와 모션신호를 수신하여 운동을 감지하고 운동 종류를 분류하는, 웨어러블 기기 기반 운동 가이드 시스템에 관한 것으로서, 모션신호를 이용하여 운동의 종류를 분류하는 분류기를 생성하고 학습시키는 분류기 학습부; 상기 생체신호 및 모션신호를 수신하는 신호수신부; 상기 생체신호를 이용하여, 상기 생체신호가 사전에 정해진 기준치 이상이면 운동 수행으로 감지하는 운동감지부; 운동 수행이 감지되면, 상기 모션신호를 상기 분류기에 적용하여 운동 종류를 분류하는 운동 분류부를 포함하는 것을 특징으로 한다.
또, 본 발명은 웨어러블 기기 기반 운동 가이드 시스템에 있어서, 상기 운동감지부는 측정된 심박수가 평상시 심박수 대비 사전에 정해진 기준치 이상되는 상태가 소정의 시간 동안 지속되면, 운동 수행 중인 것으로 판단하는 것을 특징으로 한다.
또, 본 발명은 웨어러블 기기 기반 운동 가이드 시스템에 있어서, 상기 운동분류부는 상기 모션신호를 잡음제거 필터에 적용하여 전처리 하고, 전처리된 모션신호로부터 피치의 빈도와 크기를 추출하고, 추출된 빈도와 크기를 상기 분류기에 넣어 운동의 종류를 분류하는 것을 특징으로 한다.
또, 본 발명은 웨어러블 기기 기반 운동 가이드 시스템에 있어서, 상기 운동분류부는 상기 생체신호에 의하여 운동이 감지되면, 감지된 시점부터 사전에 정해진 시간(이하 지연시간) 이전의 과거 모션신호부터 분석하여 운동 종류를 분류하는 것을 특징으로 한다.
또, 본 발명은 웨어러블 기기 기반 운동 가이드 시스템에 있어서, 상기 신호수신부는 상기 모션신호를 수신시점부터 상기 지연시간 동안 저장해두고, 운동으로 판단되지 않은 과거 모션신호들에 대하여 지연시간 경과되면 해당 과거 모션신호들을 폐기할 수 있는 것을 특징으로 한다.
또, 본 발명은 웨어러블 기기 기반 운동 가이드 시스템에 있어서, 상기 분류기는 베이지안 분류기(Bayesian Classification) 또는 컨벌루션 신경망(CNN) 분류기를 사용하되, 학습 데이터의 크기가 사전에 정해진 기준 개수 이하이면 상기 베이지안 분류기를 사용하고, 기준 개수를 초과하면 상기 CNN 분류기를 사용하는 것을 특징으로 한다.
상술한 바와 같이, 본 발명에 따른 웨어러블 기기 기반 운동 가이드 시스템에 의하면, 생체신호와 모션신호를 모두 이용하여 운동의 시작과 종료, 그 종류를 검출함으로써, 사용자는 운동 시작과 종료를 직접 입력하지 않고도 어떤 운동을 하고 있는지 운동을 얼마나 했는지를 측정하여 기록할 수 있는 효과가 얻어진다.
본 발명에 따른 웨어러블 기기 기반 운동 가이드 시스템에 의하면, 생체신호를 이용하여 간단한 크기 비교로만 운동의 시작 여부를 판단하고, 운동 시작이 감지되면 모션신호를 이용하여 보다 복잡한 운동의 종류를 분석함으로써, 운동 감지나 운동 분류를 위한 연산을 대폭 줄임으로써 전력소비를 상당히 감소할 수 있는 효과가 얻어진다.
도 1은 본 발명을 실시하기 위한 전체 시스템에 대한 구성도.
도 2는 본 발명의 일실시예에 따른 웨어러블 기기 기반 운동 가이드 시스템의 구성에 대한 블록도.
도 3은 본 발명의 일실시예에 따른 생체신호를 이용한 운동감지 방법을 설명하는 흐름도.
도 4는 본 발명의 일실시예에 따른 생체신호를 이용하여 운동감지하는 예를 나타낸 그래프.
도 5는 본 발명의 일실시예에 따른 모션신호를 이용하여 운동의 종류를 분류하는 예를 나타낸 그래프.
도 6은 본 발명의 일실시예에 따른 운동 가이드 방법을 설명하는 흐름도.
이하, 본 발명의 실시를 위한 구체적인 내용을 도면에 따라서 설명한다.
또한, 본 발명을 설명하는데 있어서 동일 부분은 동일 부호를 붙이고, 그 반복 설명은 생략한다.
먼저, 본 발명을 실시하기 위한 전체 시스템의 구성을 도 1을 참조하여 설명한다.
도 1에서 보는 바와 같이, 본 발명을 실시하기 위한 전체 시스템은 사용자가 착용하는 웨어러블 디바이스(60), 사용자의 스마트 단말(10)에 설치되어 사용자의 운동 행위를 인식하고 운동 가이드를 제공하는 사용자용 서비스 앱(20), 및, 운동 가이드 서비스를 제공하는 가이드 서버(30)로 구성된다. 이들 서비스 앱(20), 및, 가이드 서버(30) 등은 인터넷 등 네트워크(80)를 통해 연결되어 데이터 통신을 수행한다. 추가로 데이터를 저장하기 위한 데이터베이스(40)를 포함하여 구성될 수 있다.
먼저, 사용자의 스마트 단말(10)은 사용자가 이용하는 모바일 단말로서, 스마트폰, 패블릿, 태블릿PC 등 통상의 컴퓨팅 기능을 구비한 스마트 단말이다. 특히, 스마트 단말(10)은 어플리케이션 또는, 모바일용 어플리케이션(또는 앱, 어플) 등이 설치되어 실행될 수 있는 단말이다. 이하에서, 사용자가 어떤 작업을 수행하는 설명은 스마트 단말(10) 또는 스마트 단말(10)에 설치된 프로그램(또는 앱)을 통해 수행하는 작업임을 의미한다.
또한, 스마트 단말(10)은 스마트 단말 자체의 모션을 측정하는 가속센서, 자이로 센서 등 모션센서(63)를 구비한다.
다음으로, 웨어러블 디바이스(60)는 사용자가 신체에 착용하는 디바이스로서, 시계, 팔찌, 손목밴드, 스마트 밴드 등의 형태를 가질 수 있다.
웨어러블 디바이스(60)는 사용자의 생체신호를 측정하는 생체센서(61)와, 사용자의 움직임(또는 모션)을 측정하는 모션센서(62)를 포함한다.
생체센서(61)는 심박수(또는 심장 박동 수) 등 사용자의 생체신호를 측정하는 센서 모듈을 적어도 하나를 포함하여 구성된다.
모션센서(62)는 웨어러블 디바이스(60)의 자세나 움직임에 관한 물리적인 정보를 획득할 수 있는 기술 수단(즉, 센서 모듈)이 적어도 하나 포함될 수 있다. 이러한 기술 수단의 예로서, 공지의 구성요소인, 움직임 센서, 가속도 센서, 자이로스코프, 자기 센서, 위치 결정 모듈(GPS 모듈, 비콘 기반의 위치 결정(확인) 모듈 등), 기압계, 거리 센서 등을 들 수 있다.
또한, 모션센서(63)는 스마트 단말(10)에도 구비될 수 있다. 즉, 스마트 단말(10)에 구비된 가속 센서나 자이로 센서 등을 통해 스마트 단말의 모션을 센싱할 수 있다.
바람직하게는, 모션센서(62,63)는 9축 센서 모듈로 구성된다. 9축 센서 모듈은 중력을 감지하는 x, y, z축 센서, 가속도를 감지하는 x, y, z축 센서, 각속도를 감지하는 x, y, z축 센서(자이로센서)로 구성이 된다. 9축 센서 모듈은 이러한 세가지 센서를 결합하여 구성되고, 상기 9축 센서 모듈을 통해 인간의 움직임을 포착하고 인지하는데 활용할 수 있다.
한편, 웨어러블 디바이스(60)는 스마트 단말(10)과 무선 데이터 통신을 수행하고, 측정된 신호, 즉, 생체신호 및 모션신호를 스마트 단말(10)로 전송한다. 즉, 웨어러블 디바이스(60)는 생체 데이터 또는 9축 센서 모듈의 모션 데이터를 블루투스 등 무선통신을 통하여 스마트 단말(10)로 전송한다. 스마트 단말(10)로 전송된 데이터는 가이드 서버(30)로 전송된다.
다음으로, 사용자용 서비스 앱(20)은 스마트 단말(10)에 설치되어 수행되는 모바일용 어플리케이션(또는 앱, 어플)으로서, 가이드 서버(30)와 연동하여 사용자의 운동 관리를 위한 서비스를 제공하는 프로그램 시스템이다.
사용자용 서비스 앱(20)은 생체센서(61), 모션센서(62), 스마트 단말의 모션센서(63)로부터 생체신호 및 모션신호를 수신하여 사용자의 운동 행위를 인식하는 앱이다. 서비스 앱(20)은 인식된 운동 행위를 가이드 서버(30)에 전송한다.
특히, 서비스 앱(20)는 가이드 서버(30)로부터 모션신호에 의한 분류기(이하 운동 분류기)를 수신하고, 모션신호를 상기 운동 분류기에 적용하여 운동을 인식한다.
또한, 서비스 앱(20)은 가이드 서버(30)로부터 운동 가이드 서비스를 제공받을 수 있다. 서비스 앱(20)은 사용자의 운동행위를 인식하면, 제공받은 운동 가이드에 따라 운동에 대해 가이드를 제공할 수 있다.
또한, 바람직하게는, 사용자용 서비스 앱(20)은 생체센서에서 측정된 사용자의 생체신호 또는 모션센서에서 측정된 사용자의 모션신호를 수신하여, 사용자의 건강 상태나 운동 상태 등을 수집할 수 있다.
다음으로, 가이드 서버(30)는 운동 인식을 위한 분류기(또는 운동 분류기)를 학습하여 생성하고, 학습된 분류기를 스마트 단말(10) 또는 서비스 앱(20)으로 전송한다.
상기 운동 분류기는 모션신호를 입력받아 운동의 수행 여부 또는 운동의 종류를 판단하는 분류기이다. 바람직하게는, 운동 분류기는 베이지안 분류기나 컨볼루션 신경망 분류기 등 공지의 분류 수단을 이용한다.
바람직하게는, 운동 분류기는 각 사용자별로 해당 사용자가 수행하는 운동 종류들 내에서 이들을 분류하는 분류기로서 학습된다. 사용자 1인이 운동하는 종류는 수 개로 제한되어 있다. 또한, 가이드 서버(30)가 사용자에게 운동 가이드를 제공할 때, 수행해야 하는 운동의 종류도 수 개로 제한된다. 따라서 운동의 종류가 적을수록 분류의 정확도는 증가된다.
운동 분류기는 샘플 데이터를 이용하여 학습된다. 그리고 학습된 운동 분류기에 현재 측정되는 모션신호를 입력하여 분류한다.
또한, 가이드 서버(30)는 각 사용자에 대한 운동 가이드를 생성하여, 서비스 앱(20)에 제공한다. 운동 가이드는 사용자에게 과제로 주어진 운동들(운동의 종류)에 대하여, 해당 운동을 수행할 때 제공되는 가이드이다.
특히, 바람직하게는, 운동 가이드는 인식된 운동을 수행하는 동안 생체신호의 변화를 분석하여, 생체신호의 변화에 따라 운동 강도를 조절하는 가이드이다. 일례로서, 생체신호가 사전에 설정된 제1 임계치 이하이면 운동의 강도를 높이도록 안내하고, 생체신호가 상기 설정된 제2 임계치를 초과하면 운동의 강도를 낮출 것을 경고 또는 안내를 할 수 있다.
한편, 서비스 앱(20)과 가이드 서버(30)는 통상의 클라이언트와 서버의 구성 방법에 따라 구현될 수 있다. 즉, 전체 시스템의 기능들을 클라이언트의 성능이나 서버와 통신 량 등에 따라 분담될 수 있다. 예를 들어, 서비스 앱(20)이 단순히 생체신호와 모션신호만을 수신하고 서버(30)가 운동 인식이나 운동 가이드를 위한 모든 작업을 수행할 수 있다. 또는, 서비스 앱(20)이 신호 수신뿐만 아니라 운동인식 등 모든 작업을 수행하고 서버(30)는 데이터나 백업 기능만 수행할 수도 있다. 또는, 서비스 앱(20)에서 분류기를 이용하여 운동을 분류하나, 서버(30)에서 빅데이터 분석이나 딥러닝 등을 수행하여 분류기를 생성하고 학습하도록 분담할 수 있다. 이하에서는 가이드 시스템으로 설명하나, 서버-클라이언트의 구성 방법에 따라 다양한 분담 형태로 구현될 수 있다.
다음으로, 데이터베이스(40)는 각 사용자별로 모션신호로부터 운동을 분류하는 분류기를 저장하는 분류기DB(41), 각 사용자별로 인식된 운동에 대하여 그 운동을 기록하는 운동기록DB(42), 사용자의 인식된 운동 행위에 대하여 생체신호를 기반으로 운동의 가이드를 저장하는 가이드DB(43)로 구성될 수 있다. 그러나 상기 데이터베이스(40)의 구성은 바람직한 일실시예일 뿐이며, 구체적인 장치를 개발하는데 있어서, 접근 및 검색의 용이성 및 효율성 등을 감안하여 데이터베이스 구축이론에 의하여 다른 구조로 구성될 수 있다.
다음으로, 본 발명의 일실시예에 따른 웨어러블 기기 기반 운동 가이드 시스템을 도 2를 참조하여 설명한다.
가이드 시스템(30)은 앞서 설명한 서비스 앱(20)과 가이드서버(30)의 클라이언트-서버 시스템이다. 클라이언트-서버의 구체적인 구현 기술에 따라 이하에서 설명될 각 구성요소의 기능이 클라이언트 또는 서버에 의해 분담되어 구성될 수 있다.
도 2에서 바와 같이, 본 발명에 따른 웨어러블 기기 기반 운동 가이드 시스템(30)은 분류기를 생성하여 학습시키는 분류기 학습부(31), 생체신호 및 모션신호를 수신하는 신호수신부(32), 생체신호를 이용하여 운동 수행을 감지하는 운동감지부(33), 입력된 현재 모션신호를 적용하여 운동을 분류하는 운동 분류부(34), 운동의 수행결과를 기록하는 운동수행 기록부(35)로 구성된다. 또한, 각 사용자에 맞는 운동을 가이드하는 가이드부(36)를 추가로 구성할 수 있다.
분류기 학습부(31)는 모션신호를 이용하는 분류기, 즉, 수행 중인 운동을 인식하거나 운동의 종류를 분류하는 분류기를 생성하여 학습시킨다.
분류기는 베이지안 분류기(Bayesian Classification)와 컨벌루션 신경망(CNN, Convolutional Neural Network) 분류기로 구성된다. 분류기의 선택은 학습 데이터의 크기에 따라 결정한다. 즉, 학습 데이터의 크기(또는 개수)가 상대적으로 작은 크기(100 ~ 1000)의 입력 데이터이면 베이지안 분류기를 이용하고, 크기가 상대적으로 크면 컨벌루션 신경망 분류기를 이용한다.
컨벌루션 신경망(CNN) 분류기를 사용하기 위해서는 각 사용자들의 데이터가 충분히 축적되어야 한다. 충분히 축적되기 전까지 CNN 분류기를 사용하면, 제대로 된 결과가 나오지 않을 수 있다. 즉, 콜드 스타트 문제(Cold Start Problem)가 발생된다. 이에 반해, 베이지안 분류기는 상대적으로 작은 입력 데이터 만으로도 운동(또는 운동 종류)를 분별해 낼 수 있다. 따라서 초기 데이터가 부족한 시점에는 베이지안 분류기를 사용하고, 데이터가 많이 축적되면 CNN 분류기를 이용한다.
즉, 분류기 학습부(31)는 샘플 데이터를 이용하여 분류기를 학습시킨다. 그리고 사용자의 운동 결과(모션신호 및 그 때 수행된 운동 종류)를 지속적으로 축적하여, 분류기를 추가 학습하여 갱신한다.
분류기를 학습하는 방법은 다음과 같다.
먼저, 모션신호로부터 피치 특징을 추출한다. 모션신호는 일련의 파형으로 수신된다. 해당 파형에서 피치(high frequency)의 빈도와 크기를 특징으로 추출한다. 이때, 잡음을 제거하기 위하여 잡음제거 필터를 사용하여 1차적으로 모션신호를 전처리한 후에 특징을 추출할 수 있다.
다음으로, 피치 특징을 분류기에 입력하여, 분류기를 학습한다. 분류기를 학습할 때에는 해당 모션신호를 출력시키는 운동의 종류도 함께 입력해준다. 즉, 학습용 데이터는 모션신호와, 해당 모션신호를 출력하는 운동의 종류로 구성된다.
다음으로, 신호수신부(32)는 웨어러블 기기(60)의 생체센서(61)로부터 생체신호를, 웨어러블 기기 또는 스마트 단말의 모션센서(62,63)로부터 모션신호를 수신한다.
사용자의 심박수와 3축 가속도 정보를 스마트 밴드 등 웨어러블 기기(60)를 통해서 수신을 받는다.
한편, 신호수신부(32)는 모션신호를 수신시점부터 적어도 사전에 정해진 시간(이하 지연시간) 동안 저장해둔다. 그리고 신호수신부(32)는 운동으로 판단되지 않은 과거 모션신호들에 대하여 지연시간 경과되면 해당 과거 모션신호들을 폐기할 수 있다. 예를 들어 지연시간을 10분으로 설정해두면, 현재 수신되는 모션신호들을 적어도 10분 동안 저장해두고, 10분이 경과되고 해당 모션신호들이 운동 중인 신호가 아닌 것으로 판단되면 폐기될 수 있다.
지연시간 동안 모션신호를 저장해두는 이유는 생체신호를 통해 운동 여부를 판단하는 시점이 실제 운동을 시작한 시간 보다 지연되어 시점이기 때문이다. 즉, 운동을 시작하면 바로 심박수가 증가하지 않고 운동을 시작한 후 차츰 상승하여 5분, 10분 정도 지난 후부터 기준치를 넘을 수 있기 때문이다.
다음으로, 운동감지부(33)는 수신된 생체신호를 이용하여 현재 운동이 수행되는지 여부를 감지한다.
구체적으로, 생체센서(61)에서 측정된 심박수가 평상시 심박수 대비 사전에 정해진 기준치 이상되는 상태가 소정의 시간 동안 지속되면, 운동 수행 중인 것으로 판단한다. 그렇지 않으면 평상시 활동으로 판단한다.
운동감지부(33)가 생체신호를 이용하여 운동 수행 여부를 판단하는 방법이 도 3에 도시되고 있다. 도 3에서 보는 바와 같이, 심박수가 평상시 대비 20 이상 상승하면서 가속도 정보가 수신이 된다면 운동으로 판단을 하게 된다. 그러나 만약 평상시 대비 심박수가 20 이상 상승하더라도 5분 이상 지속이 되지 않는다면 운동으로 판단을 하지 않는다.
또한, 도 4에서 보는 바와 같이, (a)는 평상시에 자리에 앉아있는 경우, 심박수가 기준치를 넘지 못하여 운동으로 판단되지 않는다. (b) 팔굽혀펴기 운동을 하는 경우, 운동을 시작한 후 일정시간이 경과하면 심박수가 증가하여 운동하는 것을 감지한다. (c)와 (d)는 일상적인 다른 활동을 하였지만 심박수가 일시적으로 오르나 그 지속시간이 길지 않기 때문에 운동으로 판단하지 않는다. 즉, 일시적으로 심박수가 오르는 것인지 지속적인 것인지에 따라 운동 수행 여부를 판단한다.
다음으로, 운동 분류부(34)는 운동감지부(33)에서 운동 수행이 감지되면, 수신되는 모션신호를 이용하여 운동을 분류한다.
운동 분류부(34)는 앞서 분류기 학습부(31)에서 생성되고 학습된 분류기에 모션신호를 적용하여, 현재 수행중인 운동을 분류한다.
도 5에서 보는 바와 같이, 입력된 모션신호를 통해 자전거 운동, 팔굽혀 펴기, 달리기의 운동 종류 중에서 팔굽혀 펴기 운동임을 분류한다.
앞서 설명한 바와 같이, 분류기는 베이지안 분류기 또는 컨벌루션 신경망(CNN) 분류기를 이용한다. 분류기의 선택은 학습 데이터의 크기에 따라 결정한다. 즉, 학습 데이터의 크기(또는 개수)가 상대적으로 작은 크기(100 ~ 1000)의 입력 데이터이면 베이지안 분류기를 이용하고, 크기가 상대적으로 크면 컨벌루션 신경망 분류기를 이용한다.
구체적인 운동 분류부(34)는 다음과 같이 수행된다.
먼저, 수신되는 모션신호를 잡음제거 필터를 이용하여 필터링하여 전처리한다. 그리고 전처리된 모션신호로부터 피치(high frequency)의 빈도와 크기를 특징으로 추출한다. 그리고 추출된 특징값을 분류기에 넣어 분류기의 결과를 획득한다. 분류기의 결과에 따라 운동의 종류를 판단한다.
한편, 운동분류부(34)는 생체신호에 의하여 운동이 감지되면, 감지된 시점부터 지연시간 이전의 과거 모션신호부터 분석하여 운동을 분류한다.
앞서 설명한 바와 같이, 생체신호를 통해 운동 여부를 판단하는 시점이 실제 운동을 시작한 시간 보다 지연된다. 도 4(b)에서 보는 바와 같이, 팔굽혀펴기를 시작하는 시점에는 심박수가 낮은 상태로 유지된다. 그러다가 지속적으로 운동을 하여 일정시간이 경과하면 심박수가 오르기 시작한다. 즉, 운동을 시작하면 바로 심박수가 증가하지 않고 운동을 시작한 후 차츰 상승하여 5분, 10분 정도 지난 후부터 기준치를 넘을 수 있기 때문이다. 따라서, 심박수가 오른 뒤에 운동을 인식하게 된다. 따라서 운동을 인식한 시점에서 과거 지연시간 이전의 시점부터 모션신호를 분석하여야 한다.
상기와 같이, 먼저 생체신호를 이용하여 간단한 크기 비교로만 운동의 시작 여부를 판단하고, 운동 시작이 감지되면 모션신호를 이용하여 보다 복잡한 운동의 종류를 분석한다. 따라서 운동 감지나 운동 분류를 위한 연산을 대폭 줄임으로써 전력소비를 상당히 감소할 수 있다.
다음으로, 운동수행 기록부(35)는 운동으로 분류된 경우, 해당 운동의 종류 및 운동시간 등을 기록한다. 기록된 운동 정보는 사용자의 운동 가이드를 하는데 이용된다.
다음으로, 가이드부(36)는 각 사용자에 대한 운동 가이드를 생성한다.
그리고 가이드부(36)는 운동이 감지되고 운동의 종류가 분류되면, 해당 운동의 운동 가이드에 따라 가이드 내용을 출력한다. 즉, 스마트 단말(10)의 스피커나 디스플레이 등 출력장치를 통해 가이드 내용을 출력한다.
가이드부(36)에 의한 운동가이드 방법의 일례가 도 6에 도시되고 있다.
이상, 본 발명자에 의해서 이루어진 발명을 상기 실시 예에 따라 구체적으로 설명하였지만, 본 발명은 상기 실시 예에 한정되는 것은 아니고, 그 요지를 이탈하지 않는 범위에서 여러 가지로 변경 가능한 것은 물론이다.
10 : 사용자 스마트 단말 20 : 사용자용 서비스 앱
30 : 가이드 서버 31 : 분류기 학습부
32 : 신호수신부 33 : 운동감지부
34 : 운동분류부 35 : 운동수행 기록부
36 : 가이드부
40 : 데이터베이스

Claims (6)

  1. 생체센서와 모션센서로부터 각각 생체신호와 모션신호를 수신하여 운동을 감지하고 운동 종류를 분류하는, 웨어러블 기기 기반 운동 가이드 시스템에 있어서,
    모션신호를 이용하여 운동의 종류를 분류하는 분류기를 생성하고 학습시키는 분류기 학습부;
    상기 생체신호 및 모션신호를 수신하는 신호수신부;
    상기 생체신호를 이용하여, 상기 생체신호가 사전에 정해진 기준치 이상이면 운동 수행으로 감지하는 운동감지부;
    운동 수행이 감지되면, 상기 모션신호를 상기 분류기에 적용하여 운동 종류를 분류하는 운동 분류부를 포함하고,
    상기 운동분류부는 상기 생체신호에 의하여 운동이 감지되면, 감지된 시점부터 사전에 정해진 시간(이하 지연시간) 이전의 과거 모션신호부터 분석하여 운동 종류를 분류하는 것을 특징으로 하는 웨어러블 기기 기반 운동 가이드 시스템.
  2. 제1항에 있어서,
    상기 운동감지부는 측정된 심박수가 평상시 심박수 대비 사전에 정해진 기준치 이상되는 상태가 소정의 시간 동안 지속되면, 운동 수행 중인 것으로 판단하는 것을 특징으로 하는 웨어러블 기기 기반 운동 가이드 시스템.
  3. 제1항에 있어서,
    상기 운동분류부는 상기 모션신호를 잡음제거 필터에 적용하여 전처리 하고, 전처리된 모션신호로부터 피치의 빈도와 크기를 추출하고, 추출된 빈도와 크기를 상기 분류기에 넣어 운동의 종류를 분류하는 것을 특징으로 하는 웨어러블 기기 기반 운동 가이드 시스템.
  4. 삭제
  5. 제1항에 있어서,
    상기 신호수신부는 상기 모션신호를 수신시점부터 상기 지연시간 동안 저장해두고, 운동으로 판단되지 않은 과거 모션신호들에 대하여 지연시간 경과되면 해당 과거 모션신호들을 폐기할 수 있는 것을 특징으로 하는 웨어러블 기기 기반 운동 가이드 시스템.
  6. 제1항에 있어서,
    상기 분류기는 베이지안 분류기(Bayesian Classification) 또는 컨벌루션 신경망(CNN) 분류기를 사용하되, 학습 데이터의 크기가 사전에 정해진 기준 개수 이하이면 상기 베이지안 분류기를 사용하고, 기준 개수를 초과하면 상기 CNN 분류기를 사용하는 것을 특징으로 하는 웨어러블 기기 기반 운동 가이드 시스템.
KR1020170109610A 2017-08-29 2017-08-29 웨어러블 기기 기반 운동 가이드 시스템 KR101967342B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170109610A KR101967342B1 (ko) 2017-08-29 2017-08-29 웨어러블 기기 기반 운동 가이드 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170109610A KR101967342B1 (ko) 2017-08-29 2017-08-29 웨어러블 기기 기반 운동 가이드 시스템

Publications (2)

Publication Number Publication Date
KR20190023611A KR20190023611A (ko) 2019-03-08
KR101967342B1 true KR101967342B1 (ko) 2019-04-10

Family

ID=65800618

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170109610A KR101967342B1 (ko) 2017-08-29 2017-08-29 웨어러블 기기 기반 운동 가이드 시스템

Country Status (1)

Country Link
KR (1) KR101967342B1 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102387912B1 (ko) * 2020-03-25 2022-04-21 주식회사 가이스트코리아 멀티 유저 트레이닝 모니터링 시스템
KR102604559B1 (ko) * 2020-07-20 2023-11-20 연세대학교 산학협력단 약물 부작용에 대한 정보 제공 방법 및 이를 이용한 디바이스
KR102642593B1 (ko) * 2021-03-19 2024-02-29 심현식 비대면 트레이닝 시스템 및 방법
KR20220141952A (ko) * 2021-04-13 2022-10-21 삼성전자주식회사 운동에 관한 정보를 출력하는 웨어러블 전자 장치 및 웨어러블 전자 장치의 제어 방법
KR102461484B1 (ko) * 2022-05-24 2022-10-31 주식회사 야나두 메타버스 트레이닝 서비스 제공 방법, 서버 및 컴퓨터 프로그램
WO2024112140A1 (ko) * 2022-11-24 2024-05-30 (주)엘앤에이치랩스 사용자 맞춤형 심장재활 운동 서비스 제공 장치 및 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100702140B1 (ko) * 2006-05-26 2007-03-30 윤병주 휴대 단말기에서 사용자의 활동 상태에 반응하는 제어인터페이스 기능을 수행하는 장치 및 방법
KR101209076B1 (ko) * 2010-08-09 2012-12-06 엘지전자 주식회사 운동가이드장치 및 운동가이드방법

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101586661B1 (ko) 2010-09-30 2016-01-22 주식회사 누가의료기 스마트폰과 연동되는 운동처방 및 운동관리 시스템
KR102324735B1 (ko) * 2015-01-19 2021-11-10 삼성전자주식회사 생체 정보를 이용하여 적응적 제어가 가능한 웨어러블 장치, 이를 포함하는 시스템, 및 이의 동작 방법
KR20160091694A (ko) 2015-01-26 2016-08-03 삼성전자주식회사 운동 가이드 정보를 제공하는 방법, 장치 및 시스템
KR20170106289A (ko) 2015-02-11 2017-09-20 주식회사 퓨처플레이 피드백을 제공하기 위한 방법, 디바이스, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체
KR20170067467A (ko) 2015-12-08 2017-06-16 가톨릭대학교 산학협력단 웨어러블 디바이스를 이용한 재활 치료 장치 및 그 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100702140B1 (ko) * 2006-05-26 2007-03-30 윤병주 휴대 단말기에서 사용자의 활동 상태에 반응하는 제어인터페이스 기능을 수행하는 장치 및 방법
KR101209076B1 (ko) * 2010-08-09 2012-12-06 엘지전자 주식회사 운동가이드장치 및 운동가이드방법

Also Published As

Publication number Publication date
KR20190023611A (ko) 2019-03-08

Similar Documents

Publication Publication Date Title
KR101967342B1 (ko) 웨어러블 기기 기반 운동 가이드 시스템
de la Concepción et al. Mobile activity recognition and fall detection system for elderly people using Ameva algorithm
Mannini et al. Activity recognition in youth using single accelerometer placed at wrist or ankle
Mannini et al. Activity recognition using a single accelerometer placed at the wrist or ankle
KR101690649B1 (ko) 다축 활동 모니터 디바이스로의 활동 분류
EP3346402A1 (en) Apparatus and method for triggering a fall risk alert to a person
US7987070B2 (en) Eyewear having human activity monitoring device
CN107209807B (zh) 疼痛管理可穿戴设备
EP2264988A1 (en) Method of detecting a current user activity and environment context of a user of a mobile phone using an accelerator sensor and a microphone, computer program product, and mobile phone
US20140170609A1 (en) Personalized compliance feedback via model-driven sensor data assessment
KR102089002B1 (ko) 행동에 대한 피드백을 제공하는 웨어러블 디바이스 및 방법
KR101749706B1 (ko) 사용자 장치를 사용하여 획득된 상황 정보 및 생체 정보를 기반으로 사용자의 감정을 예측하는 방법 및 시스템
Sarker et al. From markers to interventions: The case of just-in-time stress intervention
US11253747B2 (en) Automated activity detection and tracking
US11730424B2 (en) Methods and systems to detect eating
CN112057066A (zh) 心率的检测方法、可穿戴设备及计算机存储介质
CN108992047A (zh) 一种静息心率的检测方法和终端
US20220248980A1 (en) Systems and methods for monitoring movements
CN115120236B (zh) 情绪识别方法、装置、可穿戴设备及存储介质
CN110638419A (zh) 用于识别咀嚼的食物和/或饮用的饮料的方法和设备
CN115702782A (zh) 基于深度学习的心率检测方法及可穿戴设备
Stuntebeck et al. HealthSense: classification of health-related sensor data through user-assisted machine learning
Fei et al. A wearable health monitoring system
KR20200009595A (ko) 온바디 센서 기반 감정-섭식 패턴 자동 생성 서버 및 그 방법
KR20190088622A (ko) 지속적인 생활습관 관리를 위한 설득 기반 건강증진 시스템

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20170829

A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20180222

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20170829

Comment text: Patent Application

A302 Request for accelerated examination
PA0302 Request for accelerated examination

Patent event date: 20180727

Patent event code: PA03022R01D

Comment text: Request for Accelerated Examination

Patent event date: 20170829

Patent event code: PA03021R01I

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20180914

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20190103

PG1501 Laying open of application
GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20190403

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20190404

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20220225

Start annual number: 4

End annual number: 4