KR101715369B1 - 멀티센서를 이용한 운동 가이드피드백 시스템 및 방법 - Google Patents
멀티센서를 이용한 운동 가이드피드백 시스템 및 방법 Download PDFInfo
- Publication number
- KR101715369B1 KR101715369B1 KR1020160160204A KR20160160204A KR101715369B1 KR 101715369 B1 KR101715369 B1 KR 101715369B1 KR 1020160160204 A KR1020160160204 A KR 1020160160204A KR 20160160204 A KR20160160204 A KR 20160160204A KR 101715369 B1 KR101715369 B1 KR 101715369B1
- Authority
- KR
- South Korea
- Prior art keywords
- motion
- guide
- guide feedback
- feedback
- information
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 62
- 230000008859 change Effects 0.000 claims abstract description 27
- 230000000694 effects Effects 0.000 claims abstract description 15
- 235000019577 caloric intake Nutrition 0.000 claims abstract description 11
- 238000009281 ultraviolet germicidal irradiation Methods 0.000 claims abstract description 5
- 230000033001 locomotion Effects 0.000 claims description 246
- 238000004458 analytical method Methods 0.000 claims description 41
- 239000008186 active pharmaceutical agent Substances 0.000 claims description 39
- 230000008569 process Effects 0.000 claims description 36
- 238000010276 construction Methods 0.000 claims description 24
- 238000012937 correction Methods 0.000 claims description 14
- 230000001133 acceleration Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 12
- 238000004891 communication Methods 0.000 description 7
- 238000012545 processing Methods 0.000 description 7
- 230000005856 abnormality Effects 0.000 description 6
- 230000036760 body temperature Effects 0.000 description 6
- 238000005259 measurement Methods 0.000 description 4
- 210000003205 muscle Anatomy 0.000 description 4
- 230000014509 gene expression Effects 0.000 description 3
- 206010049565 Muscle fatigue Diseases 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000004118 muscle contraction Effects 0.000 description 2
- 230000004622 sleep time Effects 0.000 description 2
- 230000009182 swimming Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 208000002330 Congenital Heart Defects Diseases 0.000 description 1
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 206010028331 Muscle rupture Diseases 0.000 description 1
- 229930003316 Vitamin D Natural products 0.000 description 1
- QYSXJUFSXHHAJI-XFEUOLMDSA-N Vitamin D3 Natural products C1(/[C@@H]2CC[C@@H]([C@]2(CCC1)C)[C@H](C)CCCC(C)C)=C/C=C1\C[C@@H](O)CCC1=C QYSXJUFSXHHAJI-XFEUOLMDSA-N 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 210000001715 carotid artery Anatomy 0.000 description 1
- 230000001351 cycling effect Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000005831 heart abnormality Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000037081 physical activity Effects 0.000 description 1
- 210000002321 radial artery Anatomy 0.000 description 1
- 230000000284 resting effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 235000019166 vitamin D Nutrition 0.000 description 1
- 239000011710 vitamin D Substances 0.000 description 1
- 150000003710 vitamin D derivatives Chemical class 0.000 description 1
- 229940046008 vitamin d Drugs 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
- A63B24/0087—Electric or electronic controls for exercising apparatus of groups A63B21/00 - A63B23/00, e.g. controlling load
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
- A63B24/0003—Analysing the course of a movement or motion sequences during an exercise or trainings sequence, e.g. swing for golf or tennis
- A63B24/0006—Computerised comparison for qualitative assessment of motion sequences or the course of a movement
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
- A63B24/0062—Monitoring athletic performances, e.g. for determining the work of a user on an exercise apparatus, the completed jogging or cycling distance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/22—Social work or social welfare, e.g. community support activities or counselling services
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B2220/00—Measuring of physical parameters relating to sporting activity
- A63B2220/80—Special sensors, transducers or devices therefor
- A63B2220/803—Motion sensors
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B2220/00—Measuring of physical parameters relating to sporting activity
- A63B2220/80—Special sensors, transducers or devices therefor
- A63B2220/83—Special sensors, transducers or devices therefor characterised by the position of the sensor
- A63B2220/836—Sensors arranged on the body of the user
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B2225/00—Miscellaneous features of sport apparatus, devices or equipment
- A63B2225/50—Wireless data transmission, e.g. by radio transmitters or telemetry
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B2230/00—Measuring physiological parameters of the user
- A63B2230/62—Measuring physiological parameters of the user posture
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B2230/00—Measuring physiological parameters of the user
- A63B2230/75—Measuring physiological parameters of the user calorie expenditure
Landscapes
- Business, Economics & Management (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Tourism & Hospitality (AREA)
- Physical Education & Sports Medicine (AREA)
- Strategic Management (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Human Resources & Organizations (AREA)
- Physics & Mathematics (AREA)
- General Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Economics (AREA)
- Child & Adolescent Psychology (AREA)
- Medical Treatment And Welfare Office Work (AREA)
Abstract
본 발명은 멀티 센서로부터 인체의 각 부분의 활동 데이터와 신체 상태 데이터를 입력 받아 운동 및 신체 상태에 대한 가이드피드백을 수행하고, 가이드피드백 서비스를 원하는 제3자가 가이드피드백 서비스를 용이하게 제공할 수 있도록 하는 시스템 구축 서비스를 제공하는 멀티 센서를 이용한 운동 가이드피드백 시스템 및 방법에 관한 것이다.
상기 멀티 센서를 이용한 운동 가이드피드백 시스템은, 사용자의 신체 부위별로 착용되는 센서들을 포함하여, 사용자의 착용 부위별 운동 상태와 신체 상태 정보를 검출하여 전송하는 멀티센서디바이스(100); 멀티센서디바이스 정보를 수신하여 운동 상태와 신체 상태 정보를 생성하여 가이드 피드백을 제공하는 가이드피드백앱(300); 및 상기 가이드피드백앱(300)으로부터 운동 상태와 신체 상태 정보를 검출한 후 인터넷을 통해 기 설정된 기간 동안 누적된 운동패턴, 칼로리소모를 포함하는 운동효율, 심전도 변화, 근전도 변화, UV 조사량 중 하나 이상의 통계 정보를 가이드피드백서비스로 제공하는 가이드피드백서버(400);를 포함하여 구성된다.
상기 멀티 센서를 이용한 운동 가이드피드백 시스템은, 사용자의 신체 부위별로 착용되는 센서들을 포함하여, 사용자의 착용 부위별 운동 상태와 신체 상태 정보를 검출하여 전송하는 멀티센서디바이스(100); 멀티센서디바이스 정보를 수신하여 운동 상태와 신체 상태 정보를 생성하여 가이드 피드백을 제공하는 가이드피드백앱(300); 및 상기 가이드피드백앱(300)으로부터 운동 상태와 신체 상태 정보를 검출한 후 인터넷을 통해 기 설정된 기간 동안 누적된 운동패턴, 칼로리소모를 포함하는 운동효율, 심전도 변화, 근전도 변화, UV 조사량 중 하나 이상의 통계 정보를 가이드피드백서비스로 제공하는 가이드피드백서버(400);를 포함하여 구성된다.
Description
본 발명은 운동 가이드피드백 서비스에 관한 것으로서, 더욱 상세하게는, 멀티 센서로부터 인체의 각 부분의 활동 데이터와 신체 상태 데이터를 입력 받은 후, 운동자세, 심장 또는 근육 등의 신체상태, 운동패턴, 운동효율, 자외선 노출의 적절성 여부에 대하여 운동자에게 피드백해 주는 운동 가이드피드백 서비스를 제공할 알 수 있도록 하고, 제3 가이드피드백 서비스 제공자(3rd party)가 본원 발명의 가이드피드백 서버에 접속하여 가이드피드백 서비스 제공을 위한 모션API를 생성하고, 가이드피드백서버구축툴을 다운로드 받아서 가이드피드백 서비스를 위한 제3 가이드피드백서버를 용이하게 구축하는 것에 의해 제3 가이드피드백 서비스 제공자가 자신만의 운동 트레이닝 및 운동 가이드피드백 서비스 제공을 위한 시스템을 용이하게 구축할 수 있도록 하는 멀티 센서를 이용한 운동 가이드피드백 시스템 및 방법에 관한 것이다.
현재 건강에 대한 관심이 높아지면서 요가, 헬스, 크로스피트, 조깅, 사이클링, 수영 등의 다양한 건강을 위한 운동 활동이 널리 퍼지고 있다.
이러한 운동 활동은 대부분 스포츠센터에 등록을 하고 강사에게 동작을 지도 받으면서 수행되므로, 평상시 시간에 쫓기는 사람들은 센터에서의 수강이 어렵게 된다. 또한, 센터를 방문하여 개인 PT를 제공받기 위해서는 과도한 비용이 소요되는 문제점이 있다.
이에 따라 수영, 요가, 크로스피트, 개인 PT 등의 개인 운동을 센터를 방문하지 않고도 수행할 수 있도록 하는 다양한 멀티미디어 콘텐츠들이 제공되고 있다.
그러나 상술한 멀티미디어 콘텐츠들의 경우 단방향 서비스를 제공하게 되므로, 사용자가 정확한 동작을 수행하는지의 여부, 적절한 운동을 수행하는지의 여부에 대하여는 피드백해 주지 못하는 문제점을 가진다.
이에 따라, 대한민국 공개특허공보 제10-2016-0046082호는 운동자를 카메라로 촬영하여 운동정보를 획득한 후, 체력측정/운동 처방 서비스를 제공하는 '체력측정/운동처방 서비스 제공 시스템의 체력측정/운동처방 서비스 제공방법'을 개시한다.
그리고 대한민국 공개특허공보 제10-2014-0051832호는 신발에 장착되는 자이로스코프 센서의 출력에 기초한 한 가지 동작 특성에 따라 운동 동작을 모니터링 하는 '운동 동작 모니터링 시스템 및 그 방법'을 개시한다.
그러나 상술한 종래기술들의 경우에도, 외부에서 운동자를 촬영하여 운동정보를 획득하는 방식은 이동하면서 이루어지는 운동의 경우 운동동작의 촬영이 불가능하거나 정확한 촬영이나 분석이 어려운 문제점이 있으며, 신발에 장착되는 자이로스코프 센서의 출력에 기초한 한 가지 동작 특성에 따라 운동 동작을 모니터링 하는 것이므로 단순한 동작만 모니터링이 가능한 문제점이 있으며, 여러 부위에 많은 센서를 사용할 경우 각 센서들로부터 출력되는 수많은 데이터의 처리 문제, 각 센서의 출력 데이터 간의 관계 및 의미 있는 데이터 구분의 문제가 발생될 수 있다.
또한, 상술한 종래기술의 경우 실시간으로 운동자의 운동 상태에 대한 자세 교정의 피드백을 제공하지 못하며, 신체 상태 정보의 측정도 운동 중의 신체 상태 정보만으로 한정되는 문제점을 가진다.
또한, 종래기술의 경우 운동에 대한 가이드피드백을 제공하고자 하는 제3자가 용이하게 모션이미지와 메타데이터로 구성되는 기준모션을 포함하는 운동기준데이터를 생성하지 못하는 것에 의해 운동 가이드피드백 서비스의 제공을 용이하게 수행하지 못하는 문제점을 가진다.
따라서 본 발명은 상술한 종래기술의 문제점을 해결하기 위한 것으로서, 신체의 여러 부위에 착용할 수 있는 멀티 센서들을 이용하여 운동자의 운동 상태 또는 활동 상태 및 운동 또는 활동 중의 신체 상태 정보를 수신한 후 실시간으로 피드백해 줄 수 있도록 하는 멀티 센서를 이용한 운동 가이드피드백 시스템 및 방법을 제공하는 것을 목적으로 한다.
또한, 본 발명은 운동 가이드피드백 서비스를 제공하고자 하는 제3자(3rd party)에게 기준모션과 메타데이터를 포함하는 모션API들로 구성되는 운동기준데이터를 용이하게 생성하고, 가이드피드백 서비스 제공을 위한 가이드피드백서버의 구축을 용이하게 수행할 수 있도록 하는 것에 의해 제3 가이드피드백 서비스 제공을 원하는 자가 자신 만의 운동 가이드피드백 서비스를 제공할 수 있도록 하는 운동 가이드피드백 시스템 및 방법을 제공하는 것을 다른 목적으로 한다.
상술한 목적을 달성하기 위한 본 발명의 멀티 센서를 이용한 운동 가이드피드백 시스템는,
사용자의 신체 부위별로 착용되는 센서들을 포함하여, 사용자의 착용 부위별 운동 상태와 신체 상태 정보를 검출하여 전송하는 멀티센서디바이스(100);
가이드피드백 단말기(200)에 탑재되어 상기 멀티센서디바이스(100)의 운동 상태와 신체 상태 정보를 검출한 후, 기 설정된 운동기준데이터와 비교하여 운동에 대한 가이드피드백과 신체상태 정보를 제공하는 가이드피드백앱(300); 및
상기 가이드피드백앱(300)으로부터 운동 상태와 신체 상태 정보를 검출한 후 인터넷을 통해 기 설정된 기간 동안 누적된 운동패턴, 칼로리소모를 포함하는 운동효율, 심전도 변화, 근전도 변화, UV 조사량 중 하나 이상의 통계 정보를 가이드피드백서비스로 제공하는 가이드피드백서버(400);를 포함하여 구성되는 것을 특징으로 한다.
상기 운동기준데이터는,
클라우드 단말기(5)를 통해 운동 전문가들로 구성된 클라우드 집단에 의해 검증되어 제공되는 기준모션과 기준모션에 대한 메타데이터를 포함하는 모션API를 포함한다.
상기 가이드피드백서버(400)는,
인터넷을 통해 가이드피드백 서비스를 제공하는 인터넷서비스부(420);
제3 가이드피드백서버(500)를 통한 제3가이드피드백서비스 제공자 로부터 상기 기준모션과 기준모션들의 특성정보인 메타 정보를 입력받아서 제3 가이드피드백서비스를 위한 운동기준데이터를 구성하는 모션API를 생성할 수 있도록 하는 모션API생성인터페이스부(430);
가이드피드백앱(300)을 배포하는 가이드피드백앱배포부(440);
사용자들의 운동 또는 활동에 따라 수집된 센서정보들로부터 운동 자세 교정, 운동패턴, 칼로리소모를 포함하는 운동효율, 심전도 변화, 근전도 변화, UV 조사량의 적정여부, 신체상태 중 하나 이상의 통계 정보를 가이드피드백서비스로 인터넷을 통해 제공하는 가이드피드백정보 제공부(450);
제3 가이드피드백서버(500) 구축을 위한 가이드피드백서버구축툴을 배포하는 가이드피드백서버구축툴배포부(460); 및
가이드피드백앱 별로 호출되어 사용되는 기준모션과 메타데이터를 포함하여 운동기준데이터를 구성하는 모션API를 저장하는 모션API-DB(411)와 운동 종류별 가이드피드백앱들을 저장하는 가이드피드백앱-DB(413)와 가이드피드백앱(300)들로부터 전송된 센서정보들을 저장하고, 센서정보를 분석한 센서정보분석정보를 서버가이드피드백정보로 저장하는 서버가이드피드백정보DB(417) 및 제2 가이드서버 제공자가 가이드피드백서버를 구축할 수 있도록 하는 인터페이스와 프로그램을 포함하는 가이드피드백서버구축툴(419)을 저장하는 데이터베이스부(410);를 포함하여 구성될 수 있다.
상술한 목적을 달성하기 위한 본 발명의 멀티 센서를 이용한 운동 가이드피드백 방법은,
사용자의 신체 위치별로 착용되는 주센서디바이스(110)와 하나 이상의 모션센서(120)를 포함하는 멀티센서디바이스(100)와, 가이드피드백단말기(200)에 탑재되는 가이드피드백앱(300)의 연동에 의해 사용자의 운동 또는 활동에 따른 모션센서신호, 근전도 신호, 심전도 신호, UV 조사량 정보 중 하나 이상을 포함하는 센서정보를 분석한 후 운동 자세 교정, 운동패턴, 칼로리소모를 포함하는 운동효율, 심전도 변화, 근전도 변화, UV 조사량의 적정여부, 신체상태 중 하나 이상의 가이드피드백 정보를 가이드피드백서비스로 제공하는 사용자 가이드피드백 과정(S100);
상기 가이드피드백앱(300)으로부터 상기 센서정보를 수신한 후, 일정 기간 동안의 사용자의 운동패턴, 운동효율, 심전도 변화, 근전도 변화, UV 조사량에 대한 통계 정보를 생성하여 사용자에게 제공하는 서버가이드피드백과정(S200); 및
제3 가이드서버제공자에게 제3가이드피드백서비스를 위한 모션API를 생성하도록 하고, 가이드피드백서버를 구축할 수 있도록 가이드피드백서버구축툴을 배포하는 제3 가이드피드백서버구축서비스제공과정(S130);을 포함하여 이루어질 수 있다.
상기 사용자 가이드피드백 과정(S100)은,
사용자의 신체 위치별로 착용되는 주센서디바이스(110)와 하나 이상의 모션센서(120)를 포함하는 멀티센서디바이스(100)와, 가이드피드백단말기(200)에 탑재되는 가이드피드백앱(300)을 포함하여,
상기 가이드피드백앱(300)이 상기 멀티센서디바이스(100)에서 상기 주센서디바이스(110)와 모션센서(120)들로부터 모션 신호를 수신하는 센서정보수신과정(S120);
상기 모션 신호들을 취합하여 모션 패턴을 생성한 후 운동기준데이터와 비교하여 자세 교정 데이터를 생성하는 센서정보분석과정(S130); 및
상기 자세 교정 데이터를 표시부(240)를 통해 출력하여 운동 자세 교정을 위한 피드백을 제공하는 모션피드백을 포함하는 피드백과정(S140);을 포함하여 이루어질 수 있다.
상기 서버 가이드피드백 과정(S200)은,
상기 가이드피드백앱(300)으로부터 센서정보를 수신하는 가이드피드백앱 센서정보 수신과정(S210);
상기 가이드피드백앱 센서정보를 이용하여 기 설정된 기간 동안의 상기 사용자의 운동패턴, 운동효율, 심전도 변화, 근전도 변화, UV 조사량 중 하나 이상에 대한 통계 정보를 생성하는 통계정보생성과정(S220); 및
접속된 사용자들의 단말기로 생성된 통계정보를 제공하는 서버가이드피드백제공과정(S230);을 포함하여 이루어질 수 있다.
상기 제3 가이드피드백서버구축서비스 제공과정(S300)은,
제3가이드피드백 서비스 제공자의 입력에 따라 제3가이드서비스를 위한 모션API를 생성하고 생성된 모션API를 제3 가이드피드백서버(500)로 배포하는 모션API생성과정(S310); 및
제3가이드서버구축을 위한 가이드피드백서버구축툴을 배포하는 가이드피드백서버구축툴배포과정(S320);을 포함하여 이루어 질 수 있다.
상술한 구성의 본 발명은, 사용자들이 별도의 서버의 접속 등의 절차를 수행함이 없이 본 발명의 멀티센서디바이스(100)와 가이드패드백APP(300)이 탑재된 가이드피드백단말기(200)를 이용하여 다양한 운동 또는 활동에 대한 모션센서신호, 근전도 신호, 심전도 신호, UV 조사량 정보 중 하나 이상을 포함하는 센서정보를 분석한 후 운동 자세 교정, 운동패턴, 칼로리소모를 포함하는 운동효율, 심전도 변화, 근전도 변화, UV 조사량의 적정여부, 신체상태 중 하나 이상의 가이드피드백 정보를 제공하고, 이에 따라, 운동을 가장 효율적으로 수행할 수 있도록 하는 효과를 제공한다.
또한, 본 발명은, 심전도 피드백, 근전도 피드백, UV노출 피드백, 신체상태 피드백 등에 의해, 사용자가 한계를 초과하는 운동의 수행을 방지하는 것에 의해, 운동 중의 심장이상, 근육파열 등의 사고를 사전에 방지할 수 있도록 함으로써, 혼자 운동하는 사용자들이 안전하게 운동할 수 있도록 하는 것을 보장하는 효과를 제공한다.
또한, 본 발명은, 새로운 운동에 대한 운동 가이드피드백을 제공하고자 하는 제3자가 용이하게 운동 가이드피드백 서비스를 제공하는 운동 가이드피드백 서버를 구축할 수 있도록 함으로써, 운동 가이드피드백 서비스 산업을 활성화 시키는 효과를 제공한다.
도1은 본 발명의 실시예에 따르는 멀티 센서를 이용한 운동 가이드피드백 장치(1)와, 운동 가이드피드백 서버(400), 클라우드 단말기(5) 및제3 가이드피드백서버(500)를 포함하는 운동 가이드피드백 시스템(1)의 구성도.
도2는 도 1의 주센서디바이스(110)의 기능블록 구성도.
도 3은 도 1의 모션센서(120)의 기능 블록 구성도.
도 4는 도 1의 가이드피드백앱(300)의 기능블록 구성도.
도 5는 도 1의 가이드피드백서버(400)의 기능 블록 구성도.
도 6은 도 1의 제3 가이드피드백서버(500)의 기능 블록 구성도.
도 7은 본 발명의 멀티 센서를 이용한 운동 가이드피드백 방법의 처리과정을 나타내는 순서도.
도 8은 도 7의 사용자 가이드피드백 과정(S100)의 상세 처리과정을 나타내는 순서도.
도 9는 도 7의 서버가이드피드백과정(S200)의 상세 처리과정을 나타내는 순서도.
도 10은 제3 가이드피드백서버구축서비스 제공과정(S300)의 상세 처리과정을 나타내는 순서도.
도2는 도 1의 주센서디바이스(110)의 기능블록 구성도.
도 3은 도 1의 모션센서(120)의 기능 블록 구성도.
도 4는 도 1의 가이드피드백앱(300)의 기능블록 구성도.
도 5는 도 1의 가이드피드백서버(400)의 기능 블록 구성도.
도 6은 도 1의 제3 가이드피드백서버(500)의 기능 블록 구성도.
도 7은 본 발명의 멀티 센서를 이용한 운동 가이드피드백 방법의 처리과정을 나타내는 순서도.
도 8은 도 7의 사용자 가이드피드백 과정(S100)의 상세 처리과정을 나타내는 순서도.
도 9는 도 7의 서버가이드피드백과정(S200)의 상세 처리과정을 나타내는 순서도.
도 10은 제3 가이드피드백서버구축서비스 제공과정(S300)의 상세 처리과정을 나타내는 순서도.
하기에서 본 발명을 설명함에 있어서, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다.
본 발명의 개념에 따른 실시 예는 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있으므로 특정 실시 예들을 도면에 예시하고 본 명세서 또는 출원서에 상세하게 설명하고자 한다. 그러나 이는 본 발명의 개념에 따른 실시 예를 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명은 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 또한, 본 명세서에서 단어 "예시적인" 은 "예로서, 일례로서, 또는 예증으로서 역할을 한다."라는 것을 의미하기 위해 이용된다. "예시적"으로서 본 명세서에서 설명된 임의의 양태들은 다른 양태들에 비해 반드시 선호되거나 또는 유리하다는 것으로서 해석되어야 하는 것만은 아니다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
본 명세서에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
이하, 본 발명의 실시예를 나타내는 첨부 도면을 참조하여 본 발명을 더욱 상세히 설명한다.
도1은 본 발명의 실시예에 따르는 멀티 센서를 이용한 운동 가이드피드백 장치(1)와, 운동 가이드피드백 서버(400), 클라우드 단말기(5) 및제3 가이드피드백서버(500)를 포함하는 운동 가이드피드백 시스템의 구성도이다.
도 1과 같이, 본 발명의 운동 가이드피드백 시스템(1)은 멀티센서디바이스(100), 가이드피드백앱(300), 가이드피드백서버(400), 하나 이상의 클라우드 단말기(5) 및 하나 이상의 제3 가이드피드백서버(500)를 포함하여 구성된다.
상기 멀티센서디바이스(100)는 사용자의 신체 부위별로 착용되는 센서들을 포함하여, 사용자의 착용 부위별 운동 상태와 신체 상태 정보를 검출하여 전송하도록 구성된다.
구체적으로 상기 멀티센서디바이스(100)는사용자의 신체 부위에 착용되는 주센서디바이스(110)와 다수의 모션센서(120)들을 포함하여 구성된다.
상기 주센서디바이스(110)는 손목에 착용하는 밴드형으로 제작되어 착용 위치의 운동 방향과 가속도를 검출하여 생성된 모션신호, 심전도 신호, 근전도 신호, 체온 중 하나 이상을 검출하여 상기 가이드피드백 단말기(200)를 통해 상기 가이드피드백앱(300)으로 전송하는 기능을 수행한다.
상기 모션센서(120)들은 주센서디바이스(110)와 블루투스 통신을 수행하도록 접속되어 감지된 모션 센서 신호들을 멀티센서디바이스(100) 단말기로 전송한다. 이때 각각의 모션센서(120)들은 착용 위치 정보가 할당되어 모션 센서 신호에 착용 위치 신호를 포함하여 전송하도록 구성된다. 이에 의해 표준 3D 운동 모델에 각 부위별 운동을 용이하게 적용할 수 있게 된다.
상기 가이드피드백앱(300)은 가이드피드백 단말기(200)에 탑재되어 상기 멀티센서디바이스(100)의 운동 상태와 신체 상태 정보를 검출한 후, 기 설정된 운동기준데이터와 비교하여 운동에 대한 가이드피드백과 신체상태 정보를 제공하도록 구성된다. 여기서 상기 가이드피드백단말기(200)는 스마트폰, 아이패드 등의 모바일 통신이 가능한 단말기로서 운동 가이드피드백 서비스를 제공하는 상기 가이드피드백앱(300)을 탑재한다.
상기 가이드피드백서버(400)는 상기 가이드피드백앱(300)으로부터 운동 상태와 신체 상태 정보를 검출한 후 인터넷을 통해 장기 누적된 운동패턴, 장기간의 칼로리 소모 현황, 심전도 또는 근전도 변화 중 하나 이상에 대한 통계 정보를 가이드피드백서비스로 제공하도록 구성된다.
구체적으로, 상기 운동 가이드피드백서버(400)는 가이드피드백 단말기(200)들로 가이드피드백앱(300)을 배포하고, 사용자별로 멀티센서디바이스(100)의 측정값들을 누적하여, 운동효율, 신체상태, 수면 상태 분석 결과 등에 대한 통계정보를 생성하여 제공하는 운동 가이드피드백 서비스를 제공하도록 구성된다.
상기 클라우드 단말기(5)들은 기준모션과 메타데이터를 포함하는 모션API를 포함하는 운동기준데이터를 전문가들이 클라우드를 형성하여 검증하고 업데이트할 수 있도록 하는 단말기이다. 이때, 운동기준데이터의 모션 API의 생성을 위한 저작툴과 운동별 동작 이미지(3D 모델의 이미지)와 동작의 한정 사항을 나타내는 메타정보를 가지는 모션API의 생성서비스는 운동 가이드피드백서버(400)에 의해 제공된다.
상기 제3 가이드피드백서버(500)는 제3 가이드피드백 서비스 제공을 원하는 제3 자(3rd party)가 상기 가이드피드백서버(400)에 접속하여 자신들이 제공할 운동 트레이닝 또는 가이드피드백 서비스를 위한 모션 API들을 생성하고 가이드피드백서버구축툴을 다운로드 받아 제3 가이드피드백 서비스 제공을 위해 구축된 가이드피드백서버이다.
도 2는 도 1의 주센서디바이스(110)의 기능블록 구성도이다.
도 2와 같이, 상기 주센서디바이스(110)는 상술한 기능의 수행을 위해, 사용자의 심전도 신호를 검출하는 심전도센서부(113), 사용자의 근전도 신호를 검출하는 근전도센서부(115), 자외선 조사량을 검출하는 UV센서부(117), 사용자의 체온을 측정하는 체온센서부(118) 또는 상기 모션신호와 심전도 신호와 근전도 신호 및 체온을 상기 가이드피드백앱(300)이 탑재된 가이드피드백 단말기(200)로 전송하는 센서디바이스통신부(119) 중 하나 이상과, 착용 위치의 운동 방향과 가속도를 검출하여 모션신호를 생성하는 센서디바이스모션센서부(111)를 포함하여 구성될 수 있다.
다시 도 1을 참조하면, 상기 모션센서(120)는, 사용자의 운동 검출을 위한 부위별로 장착되어 사용자의 각 부위별 모션신호를 상기 가이드피드백 단말기(200)를 통해 상기 가이드피드백앱(300)으로 전송하는 기능을 수행한다.
도 3은 도 1의 모션센서(120)의 기능 블록 구성도이다.
도 3과 같이, 상기 모션센서(120)는 상술한 기능의 수행을 위해, 착용 위치의 운동 방향과 가속도를 검출하는 방향가속도센서부(121)와, 상기 방향가속도센서부(121)에서 검출된 방향과 가속도 정보를 이용하여 매 순간의 위치에 대한 상대 적인 이동 방향과 가속도 정보를 누적 연산하여 상기 모션센서(120)의 모션 신호를 생성하는 위치누적연산부(123) 및 상기 모션센서(120)의 모션신호에 착용위치 정보를 부가하여 상기 가이드피드백 단말기(200)를 통해 상기 가이드피드백앱(300)으로 전송하는 모션센서통신부(129)를 포함하여 구성될 수 있다.
이때, 주센서디바이스(110)의 센서디바이스모션센서부(111) 또한, 모션센서(120)의 방향가속도센서부(121)와 위치누적연산부(123)를 포함하여 구성된다.
여기서 상기 방향가속도센서부(121)는 3축가속도 센서로 구성되거나, 방향의 감지를 위한 자이로센서와 가속도의 감지를 위한 가속도센서를 포함하여 구성되는 등 다양하게 변형 실시될 수 있다.
또한, 상기 센서디바이스통신부(119)와 상기 모션센서통신부(129)는 블루투스통신을 수행하는 것에 의해 착용위치 정보를 포함하는 모션센서(120)들의 정보를 센서디바이스(119)가 수집한 후 센서디바이스통신부(119)에서 감지된 모션신호, 심전도 신호, 근전도 신호, 체온 신호, UV조사량 정보와 함께 가이드피드백단말기(200)의 가이드피드백앱(300)으로 전송하도록 구성될 수 있다. 이와 달리, 주센서디바이스(110)와 모션센서(120)들이 각각 가이드피드백단말기(200)와 페이링 되어 감지 신호를 직접 전송하도록 구성될 수도 있다.
도 4는 도 1의 가이드피드백앱(300)의 기능블록 구성도이다.
도 4에 도시된 바와 같이, 상기 가이드피드백앱(300)은 심전도피드백부(320), 근전도피드백부(330), UV노출피드백부(340), 수면상태피드백부(350) 또는 신체상태피드백부(360) 중 하나 이상과 모션피드백부(310)를 포함하여 구성될 수 있다.
상기 심전도피드백부(320) 수신된 심전도신호를 심전도테이블의 기준 심전도 신호와 비교하여 심전도 이상 여부를 피드백하도록 구성된다.
상기 근전도피드백부(330)는 수신된 근전도신호를 기준 근전도테이블의 기준 근전도 신호와 비교하여 근전도 이상 여부를 피드백하도록 구성된다.
상기 UV노출피드백부(340)는 상기 UV센서부(117)의 자외선 조사량을 수신한 후, 자외선 노출의 적정성 여부를 판단하여 출력하도록 구성된다.
상기 수면상태피드백부(350)는 수면 시간 중의 상기 센서디바이스모션센서부(111)에서 전송되는 모션 신호를 분석하여 수면 상태에 대한 피드백을 제공하도록 구성된다.
상기 신체상태피드백부(360)는 상기 심전도 및 근전도 이상 여부를 취합하여 신체상태의 이상 여부를 피드백하도록 구성된다.
상기 모션피드백부(310)는 주센서디바이스(110)와 모션센서(120)들로부터 전송된 모션신호들을 3D 모델에 적용하여 모션을 생성한 후 저장된 운동기준데이터의 기준모션과 비교하여 자세 교정을 포함하는 운동 동작 상태에 대한 피드백을 제공하도록 구성된다.
이를 위해, 상기 모션피드백부(310)는 모션센서 정보들을 이용하여 모션 패턴을 생성하는 트래커와, 운동기준데이터로서의 기준모션과 메타정보를 포함하는 모션API와, 개인PT정보와 시뮬레이터인터페이스를 포함하여 구성될 수 있다.
이 때, 상기 운동기준데이터들을 구성하는 기준모션과 메타데이터를 포함하는 모션API들은 클라우드 단말기(5)를 통해 운동 전문가들로 구성된 클라우드 집단에 의해 검증되어 제공되거나 업데이트될 수 있다. 또한, 제3 가이드피드백 서비스를 위한 가이드피드백앱을 클라우드 단말기(5)를 통해 클라우드들이 제작하거나, 검증하거나, 업데이트 등이 수행될 수 있다. 이 경우 적절한 보상을 제공함으로써, 클라우드를 구성하는 다수의 운동 및 프로그램 전문가들이 운동 가이드피드백 서비스에 참여할 수 있도록 한다.
도 4에서 제어부(210), 입력부(220), 출력부(230), 표시부(240), 타이머부(250), 통신부(260)는 가이드피드백단말기(200)의 구성이며, 가이드피드백앱(300)과 연동한다.
도 5는 도 1의 가이드피드백서버(400)의 기능 블록 구성도이다.
도 5와 같이, 상기 가이드피드백서버(400)는 인터넷서비스부(420), 모션API생성인터페이스부(430), 가이드피드백앱배포부(440), 가이드피드백정보 제공부(450), 가이드피드백서버구축툴배포부(460) 및 모션API-DB(411)와 가이드피드백앱-DB(413)와 서버가이드피드백정보DB(417) 및 가이드피드백서버구축툴(419)을 저장하는 데이터베이스부(410)를 포함하여 구성될 수 있다.
상기 인터넷서비스부(420)는 인터넷을 통해 가이드피드백 서비스를 제공하도록 구성된다. 즉, 상기 인터넷서비스부(420)는 인터넷 접속을 위한 인터페이스를 제공하며, 모션API생성인터페이스부(430), 가이드피드백앱배포부(440), 가이드피드백정보 제공부(450), 가이드피드백서버구축툴배포부(460) 및 모션API-DB(411)와 가이드피드백앱-DB(413)와 서버가이드피드백정보DB(417) 및 가이드피드백서버구축툴(419)을 저장하는 데이터베이스부(410)에 인터넷을 통해 접속할 수 있도록 하는 링크들을 포함하는 인터페이스를 제공한다.
상기 모션API생성인터페이스부(430)는 제3 가이드피드백서버(500)를 통한 제3 가이드피드백 서비스 제공자로부터 상기 기준모션과 기준모션들의 특성정보인 메타 정보를 입력받아서 제3 가이드피드백서비스를 위한 운동기준데이터를 위한 모션API를 생성할 수 있도록 구성된다. 즉, 모션API생성인터페이스부(430)는 3D 모델을 제공하여 제3 가이드피드백 서비스 대상 운동의 각 동작을 모델링하여 기준모션을 생성할 수 있도록 하고, 자세의 방향 및 각도, 회전 속도 등의 메타정보를 입력할 수 있도록 하여 제3 가이드피드백 서비스 제공자가 자신이 제공하고자 하는 가이드피드백 서비스 대상 운동의 모션들에 대한 모션API를 생성할 수 있도록 하는 인터페이스를 제공하도록 구성된다.
상기 가이드피드백앱배포부(440)는 가이드피드백앱(300)을 배포하도록 구성된다.
상기 가이드피드백정보 제공부(450)는 사용자들의 운동에 따라 수집된 센서정보들로부터 운동패턴, 칼로리소모, 운동효율, 심전도 변화, 근전도 변화, UV 조사량 통계 정보를 중 하나 이상을 인터넷을 통해 제공하도록 구성된다.
상기 가이드피드백서버구축툴배포부(460)는 제3 가이드피드백서버(500) 구축을 위한 가이드피드백서버구축툴을 배포할 수 있도록 구성된다.
상기 데이터베이스부(410)는 가이드피드백앱별로 호출되어 사용되는 기준모션과 메타데이터를 포함하여 운동기준데이터를 구성하는 모션API를 저장하는 모션API-DB(411)와 운동 종류별 가이드피드백앱들을 저장하는 가이드피드백앱-DB(413)와 가이드피드백앱(300)들로부터 전송된 센서정보들을 저장하고, 센서정보를 분석한 센서정보분석정보를 서버가이드피드백정보로 저장하는 서버가이드피드백정보DB(417) 및 제2 가이드서버 제공자가 가이드피드백서버를 구축할 수 있도록 하는 인터페이스와 프로그램을 포함하는 가이드피드백서버구축툴(419)을 저장하며, 저장된 정보들에 대한 변경, 갱신, 삭제, 추가 등의 관리를 수행할 수 있도록 구성된다.
도 6은 도 1의 제3 가이드피드백서버(500)의 기능 블록 구성도이다.
상기 제3 가이드피드백서버(500)는 모션API생성인터페이스부(430)와 가이드피드백서버구축툴배포부(460)를 제외하고는 가이드피드백서버(400)와 동일하게 구성되어 제3 가이드피드백서비스 제공에 포함하는 개인 PT, 자세교정, 가이드피드백앱 배포, 서버가이드피드백 서비스를 제공하도록 구성된다.
즉, 제3 가이드피드백 서비스를 제공하고자 하는 자는 본 발명의 가이드피드백서버구축툴(370)을 다운로드하여 제3 가이드피드백서버(500)를 용이하게 구축할 수 있으며, 가이드피드백서버(400)의 모션API생성인터페이스(430)를 이용하여 자신이 서비스하고자하는 운동에 대한 모션 API를 생성하여 용이하게 가이드피드백앱을 제작할 수 있게 되어 운동 가이드피드백서비스 제공을 위한 시스템의 구축을 현저히 용이하게 수행할 수 있게 된다. 이때 상기 모션 API는 가이드피드백 서비스 제공을 위한 운동의 각각의 기준모션과 기준모션들의 신체부위들의 각도, 이동 속도, 이동 방향 등의 정보를 가지는 메타데이터를 포함한다.
상술한 바와 같이 생성된 모션API는 제3 가이드피드백서버로 제공됨과 동시에, 제3 가이드피드백서비스의 제공을 위한 가이드피드백앱의 공개 제작을 위해 운동 및 프로그램 개발 전문가 집단으로 구성되는 클라우드들에게 배포될 수 있다.
도 7은 본 발명의 멀티 센서를 이용한 운동 가이드피드백 방법의 처리과정을 나타내는 순서도이다.
도 7과 같이, 상기 가이드피드백 방법은, 먼저, 사용자의 신체 위치별로 착용되는 주센서디바이스(110)와 하나 이상의 모션센서(120)를 포함하는 멀티센서디바이스(100)와, 가이드피드백단말기(200)에 탑재되는 가이드피드백앱(300)의 연동에 의해 사용자의 운동 또는 활동에 따른 모션센서신호, 근전도 신호, 심전도 신호, UV 조사량 정보를 포함하는 센서정보를 분석한 후 운동 자세 교정, 심전도, 근전도, UV 조사량의 적정여부, 신체상태, 운동효율에 대한 피드백을 제공하는 사용자 가이드피드백 과정(S100)을 포함한다.
그리고 상기 가이드피드백앱(300)으로부터 상기 센서정보를 수신한 후, 일정 기간 동안의 사용자의 운동패턴, 운동효율, 심전도 변화, 근전도 변화, UV 조사량에 대한 통계 정보를 생성하여 사용자에게 제공하는 서버가이드피드백과정(S200)을 포함한다.
또한, 제3가이드서버제공자에게 제3가이드서비스를 위한 모션API를 생성하도록 하고, 가이드피드백서버를 구축할 수 있도록 가이드피드백서버구축툴을 배포하는 제3 가이드피드백서버구축서비스제공과정(S300)을 포함하여 이루어진다.
도 8은 본 발명의 도 7의 사용자가이드피드백과정(S100)의 상세 처리과정을 나타내는 순서도이다.
도 8에 도시된 바와 같이, 사용자가이드피드백과정(S100)은, 사용자의 신체 위치별로 착용되는 주센서디바이스(110)와 하나 이상의 모션센서(120)를 포함하는 멀티센서디바이스(100)와, 가이드피드백단말기(200)에 탑재되는 가이드피드백앱(300)을 포함하는 운동 가이드피드백 장치(1)를 이용한 멀티 센서를 이용한 운동 가이드피드백 방법에 있어서, 운동기준데이터생성과정(S110), 센서정보수신과정(S120), 센서정보분석과정(S130) 및 피드백과정(S140)을 포함하여 이루어질 수 있다.
구체적으로, 가이드피드백앱(300)을 통해 제공될 운동기준데이터로서의 운동을 위한 개인PT 콘텐츠의 각 정보들은 클라우드 단말기(5)를 통해 운동 전문가 집단을 이루는 클라우드들이 제작하여 업로드하거나, 제작된 콘텐츠에 대한 검증 또는 업데이트를 수행하여 업로드하여 제공될 수 있고, 이와 달리, 가이드피드백서버(400)에서 3D 모델을 구체화여 형성한 더미 시스템을 이용하여 검증을 수행한 후 제공될 수 있다. 이와 같이, 운동기준 데이터가 생성되는 과정이 운동기준데이터생성과정(S110)이 된다.
이와 같이, 클라우드 또는 가이드피드백서버(400)를 운영하는 서비스 제공자 소속 개발자들이 개인PT에서의 자세교정 등의 기준이 되는 기준모션 등을 포함하는 운동기준데이터를 생성하여 가이드피드백서버(400)로 등록하는 운동기준데이터생성과정(S110)이 수행된다. 이렇게 생성된 운동기준데이터들은 가이드피드백앱(300)에 포함되어 가이드피드백단말기(200)들로 배포되어 설치된다.
이후, 가이드피드백앱(300)의 각 피드백부들은 멀티센서디바이스(100)에서 상기 주센서디바이스(111)와 모션센서(120)들로부터 모션 신호, 심전도 신호, 근전도 신호, 체온, UV 조사량 등의 센서정보를 수신하는 센서정보수신과정(S120)을 수행한다.
이후, 모션피드백부(310), 심전도피드백부(320), 근전도 피드백부(330), UV노출피드백부(340), 수면상태피드백부(350), 신체상태피드백부(360) 또는 운동효율피드백부(370)가 수신된 센서 신호들을 분석하여 피드백 대상 정보를 생성하는 센서정보분석과정(S130)을 수행한다.
상기 센서정보분석과정(S130)에서 상기 가이드피드백앱(300)의 각 피드백부들은 모션신호들을 취합하여 모션 패턴을 생성한 후 운동기준데이터의 기준모션과 비교하여 자세 교정 데이터를 생성하거나, 심전도 신호와 근전도 신호 및 UV조사량 정보 등을 이용하여 분석을 수행하는 센서정보분석과정(S130)을 수행하게 된다.
구체적으로, 상기 센서정보분석과정(S130)은, 심전도 신호 분석, 근전도 신호 분석, UV노출분석, 수면상태 분석, 신체상태 분석 또는 운동효율분석 중 하나 이상의 분석을 포함한다.
상기 심전도 신호 분석은 심전도피드백부(320)에 의해 전도 신호를 심전도테이블의 기준 심전도 신호와 비교하여 심전도 이상 여부 결과를 생성하는 분석이다. 심전도 신호 분석은 활동상태에 따른 심박수를 측정하여 분석하는 심박동수분석, 심박동수 분석을 통해 스트레스 지수를 확인하는 스트레스분석을 포함한다.
상기 근전도 신호 분석은 근전도피드백부(330)가 근전도 신호를 근전도 테이블의 기준 근전도 신호와 비교하여 근전도 이상 여부 결과를 생성하는 분석이다. 근전도 신호 분석은 근육이 언제 수축되었는지 그 시점을 찾는 근육 수축 분석, 각 근육의 최대 근육수축력 값을 기준으로 근육 활동을 % 값으로 구하는 근육활동비율분석, 근육의 피로도 상태를 확인하는 근육 피로도 분석을 포함한다.
상기 UV노출 분석은, UV노출피드백부(340)가 수신된 UV조사량 정보를 UV조사량에 따른 비타민 D 생성 설정 값과 비교하여 자외선 노출의 적정성 여부 결과를 생성하는 분석이다.
상기 수면상태분석은 수면상태피드백부(350)가 모션신호를 수신한 후 수면 시간 중의 움직임을 검출하여 수면상태 정보를 생성하는 분석이다.
상기 신체상태 분석은 신체상태피드백부(360)가 상기 심전도 신호와 근전도 신호 및 체온을 누적한 후 기준 값을 벗어나는 비율에 따라 정상, 피곤, 이상 중 하나 이상의 신체 상태 정보를 생성하는 분석이다.
상기 운동효율분석은 운동효율피드백부(370)가 상기 모션신호와 심전도 신호와 근전도 신호를 운동 기간 중 누적하여 칼로리 소모율을 산출한 운동시간 중 기 설정된 칼로리 소모율과 비교하여 운동효율 정보를 생성하는 분석이다.
이후, 상기 피드백부들에 의해 상기 분석 결과들은 표시부(240)에 표시하는 것에 의해 사용자의 운동이나 신체활동 등에 대한 피드백을 수행하는 피드백과정(S140)이 수행된다.
상기 피드백과정(S140)에서 수행되는 피드백들은, 가이드피드백 단말기(200)의 표시부(240)에, 심전도피드백부(320)가 상기 심전도 신호 분석 결과를 출력하는 심전도 피드백, 근전도 피드백부(330)가 상기 근전도 신호 분석 결과를 출력하는 근전도 피드백, UV노출피드백부(340)가 상기 UV 노출 분석 결과를 출력하는 UV노출 피드백, 수면상태피드백부350)가 상기 수면 상태 분석 결과를 출력하는 수면상태 피드백, 신체상태피드백부(360)가 상기 신체상태 분석 결과를 출력하는 신체상태 피드백 또는 운동효율피드백부(370)가 상기 운동효율 분석 결과를 출력하는 운동효율피드백 중 하나 이상의 피드백을 포함할 수 있다.
피드백의 일 예로 심박수를 이용한 운동 강도 조절을 위한 피드백이 또한 수행될 수 있다.
운동 강도 조절을 위한 피드백은 Karvinen 공식을 이용하여 수행된다. 다음은 운동 강도 조절의 피드백을 나타낸다.
목표 심박수 = {(최대 심박수 - 안정 시 심박수) X 운동 강도(%)}+안정 시 심박수
ㅇ 최대 심박수 = 220-나이
ㅇ 안정 시 심박수 측정 : 요골동맥이나 경동맥에서 촉진하여 10초 동안의 심박수를 측정하여 6을 곱한다.
ㅇ 적정 운동 강도의 범위 : 운동 강도는 건강한 성인남자의 경우 최대 운동능력의 60~80%로 결정하는 것이 좋으나, 체력수준이 낮거나 운동을 처음 시작하는 경우에는 최대 운동능력의 40~60%가 적당하다.
예를 들어, 운동경험이 없는 나이 20살의 여자의 목표 심박수의 범위는 다음과 같이 계산한다.
ㅇ 최대 심박수 = 220 - 20(세) = 200(회)/분
ㅇ 안정 시 심박수 = 50(회)/분
ㅇ 목표 심박수 = (40∼60%) = {(200-50) X 0.4} + 50 ∼{(200-50) x 0.6)} + 50 = 110 회∼140 회/분
즉, 분당 최소 110회 이상 140회 이하의 심박수를 유지하도록 운동하는 것이 적정 운동 강도이다.
도 9는 도 7의 서버가이드피드백과정(S200)의 상세 처리과정을 나타내는 순서도이다.
도 9와 같이, 상기 서버가이드피드백과정(S200)은 상기 가이드피드백앱(300)으로부터 센서정보를 수신하는 가이드피드백앱 센서정보 수신과정(S210)을 포함한다.
그리고 상기 가이드피드백앱 센서정보를 이용하여 기 설정된 기간 동안의 상기 사용자의 운동패턴, 운동효율, 심전도 변화, 근전도 변화, UV 조사량에 대한 통계 정보를 생성하는 통계정보생성과정(S220)을 포함한다.
또한, 접속된 사용자들의 단말기로 생성된 통계정보를 제공하는 서버가이드피드백제공과정(S230)을 포함한다.
도 10은 제3 가이드피드백서버구축서비스 제공과정(S300)의 상세 처리과정을 나타내는 순서도이다.
도 10과 같이, 상기 3 가이드피드백서버구축서비스 제공과정(S300)은, 제3가이드서버제공자의 입력에 따라 제3 가이드서비스를 위한 모션API를 생성하도록 하는 모션API생성과정(S310)을 포함한다.
그리고 제3가이드서버구축을 위한 가이드피드백서버구축툴을 배포하는 가이드피드백서버구축툴배포과정(S320)을 포함한다.
상기에서 설명한 본 발명의 기술적 사상은 바람직한 실시예에서 구체적으로 기술되었으나, 상기한 실시예는 그 설명을 위한 것이며 그 제한을 위한 것이 아님을 주의하여야 한다. 또한, 본 발명의 기술적 분야의 통상의 지식을 가진자라면 본 발명의 기술적 사상의 범위 내에서 다양한 실시예가 가능함을 이해할 수 있을 것이다. 따라서 본 발명의 진정한 기술적 보호 범위는 첨부된 청구범위의 기술적 사상에 의해 정해져야 할 것이다.
5: 클라우드 단말기
1: 운동 가이드피드백 시스템
100: 멀티센서디바이스 110: 주센서디바이스
120: 모션센서 200: 가이드피드백단말기
300: 가이드피드백앱
400: 가이드피드백서버
500: 제3 가이드피드백서버
1: 운동 가이드피드백 시스템
100: 멀티센서디바이스 110: 주센서디바이스
120: 모션센서 200: 가이드피드백단말기
300: 가이드피드백앱
400: 가이드피드백서버
500: 제3 가이드피드백서버
Claims (7)
- 사용자의 신체 부위별로 착용되는 센서들을 포함하여, 사용자의 착용 부위별 운동 상태와 신체 상태 정보를 검출하여 전송하는 멀티센서디바이스(100);
가이드피드백 단말기(200)에 탑재되어 상기 멀티센서디바이스(100)의 운동 상태와 신체 상태 정보를 검출한 후, 기 설정된 운동기준데이터와 비교하여 운동에 대한 가이드피드백과 신체상태 정보를 제공하는 가이드피드백앱(300); 및
상기 가이드피드백앱(300)으로부터 운동 상태와 신체 상태 정보를 검출한 후 인터넷을 통해 기 설정된 기간 동안 누적된 운동패턴, 칼로리소모를 포함하는 운동효율, 심전도 변화, 근전도 변화, UV 조사량 중 하나 이상의 통계 정보를 가이드피드백서비스로 제공하는 가이드피드백서버(400);를 포함하고,
상기 가이드피드백서버(400)는,
인터넷을 통해 가이드피드백 서비스를 제공하는 인터넷서비스부(420);
제3 가이드피드백서버(500)를 통한 제3가이드피드백서비스 제공자로부터 기준모션과 기준모션들의 특성정보인 메타 정보를 입력받아서 제3 가이드피드백서비스를 위한 운동기준데이터를 구성하는 모션API를 생성할 수 있도록 하는 모션API생성인터페이스부(430);
가이드피드백앱(300)을 배포하는 가이드피드백앱배포부(440);
사용자들의 운동 또는 활동에 따라 수집된 센서정보들로부터 운동 자세 교정, 운동패턴, 칼로리소모를 포함하는 운동효율, 심전도 변화, 근전도 변화, UV 조사량의 적정여부, 신체상태 중 하나 이상의 통계 정보를 가이드피드백서비스로 인터넷을 통해 제공하는 가이드피드백정보 제공부(450);
제3 가이드피드백서버(500) 구축을 위한 가이드피드백서버구축툴을 배포하는 가이드피드백서버구축툴배포부(460); 및
가이드피드백앱 별로 호출되어 사용되는 기준모션과 메타데이터를 포함하여 운동기준데이터를 구성하는 모션API를 저장하는 모션API-DB(411)와 운동 종류별 가이드피드백앱들을 저장하는 가이드피드백앱-DB(413)와 가이드피드백앱(300)들로부터 전송된 센서정보들을 저장하고, 센서정보를 분석한 센서정보분석정보를 서버가이드피드백정보로 저장하는 서버가이드피드백정보DB(417) 및 제2 가이드서버 제공자가 가이드피드백서버를 구축할 수 있도록 하는 인터페이스와 프로그램을 포함하는 가이드피드백서버구축툴(419)을 저장하는 데이터베이스부(410);를 포함하여 구성되는 멀티 센서를 이용한 운동 가이드피드백 시스템.
- 청구항 1에 있어서, 상기 운동기준데이터는,
클라우드 단말기(5)를 통해 운동 전문가들로 구성된 클라우드 집단에 의해 검증되어 제공되는 기준모션과 기준모션에 대한 메타데이터를 포함하는 모션API를 포함하여 구성되는 멀티 센서를 이용한 운동 가이드피드백 시스템.
- 삭제
- 사용자의 신체 위치별로 착용되는 주센서디바이스(110)와 하나 이상의 모션센서(120)를 포함하는 멀티센서디바이스(100)와, 가이드피드백단말기(200)에 탑재되는 가이드피드백앱(300)의 연동에 의해 사용자의 운동 또는 활동에 따른 모션센서신호, 근전도 신호, 심전도 신호, UV 조사량 정보 중 하나 이상을 포함하는 센서정보를 분석한 후 운동 자세 교정, 운동패턴, 칼로리소모를 포함하는 운동효율, 심전도 변화, 근전도 변화, UV 조사량의 적정여부, 신체상태 중 하나 이상의 가이드피드백 정보를 가이드피드백서비스로 제공하는 사용자 가이드피드백 과정(S100);
상기 가이드피드백앱(300)으로부터 상기 센서정보를 수신한 후, 일정 기간 동안의 사용자의 운동패턴, 운동효율, 심전도 변화, 근전도 변화, UV 조사량에 대한 통계 정보를 생성하여 사용자에게 제공하는 서버가이드피드백과정(S200); 및
제3 가이드서버제공자에게 제3가이드피드백서비스를 위한 모션API를 생성하도록 하고, 가이드피드백서버를 구축할 수 있도록 가이드피드백서버구축툴을 배포하는 제3 가이드피드백서버구축서비스제공과정(S300);을 포함하여 이루어지는 멀티 센서를 이용한 운동 가이드피드백 방법.
- 청구항 4에 있어서, 상기 사용자 가이드피드백 과정(S100)은,
사용자의 신체 위치별로 착용되는 주센서디바이스(110)와 하나 이상의 모션센서(120)를 포함하는 멀티센서디바이스(100)와, 가이드피드백단말기(200)에 탑재되는 가이드피드백앱(300)을 포함하여,
상기 가이드피드백앱(300)이 상기 멀티센서디바이스(100)에서 상기 주센서디바이스(110)와 모션센서(120)들로부터 모션 신호를 수신하는 센서정보수신과정(S120);
상기 모션 신호들을 취합하여 모션 패턴을 생성한 후 운동기준데이터와 비교하여 자세 교정 데이터를 생성하는 센서정보분석과정(S130); 및
상기 자세 교정 데이터를 표시부(240)를 통해 출력하여 운동 자세 교정을 위한 피드백을 제공하는 모션피드백을 포함하는 피드백과정(S140);을 포함하여 이루어지는 멀티 센서를 이용한 운동 가이드피드백 방법.
- 청구항 4에 있어서, 상기 서버 가이드피드백 과정(S200)은,
상기 가이드피드백앱(300)으로부터 센서정보를 수신하는 가이드피드백앱 센서정보 수신과정(S210);
상기 가이드피드백앱 센서정보를 이용하여 기 설정된 기간 동안의 상기 사용자의 운동패턴, 운동효율, 심전도 변화, 근전도 변화, UV 조사량 중 하나 이상에 대한 통계 정보를 생성하는 통계정보생성과정(S220); 및
접속된 사용자들의 단말기로 생성된 통계정보를 제공하는 서버가이드피드백제공과정(S230);을 포함하여 이루어지는 멀티 센서를 이용한 운동 가이드피드백 방법.
- 청구항 4에 있어서, 상기 제3 가이드피드백서버구축서비스 제공과정(S300)은,
제3가이드피드백 서비스 제공자의 입력에 따라 제3가이드서비스를 위한 모션API를 생성하고 생성된 모션API를 제3 가이드피드백서버(500)로 배포하는 모션API생성과정(S310); 및
제3가이드서버구축을 위한 가이드피드백서버구축툴을 배포하는 가이드피드백서버구축툴배포과정(S320);을 포함하여 이루어지는 멀티 센서를 이용한 운동 가이드피드백 방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020160160204A KR101715369B1 (ko) | 2016-11-29 | 2016-11-29 | 멀티센서를 이용한 운동 가이드피드백 시스템 및 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020160160204A KR101715369B1 (ko) | 2016-11-29 | 2016-11-29 | 멀티센서를 이용한 운동 가이드피드백 시스템 및 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR101715369B1 true KR101715369B1 (ko) | 2017-03-22 |
Family
ID=58497327
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020160160204A KR101715369B1 (ko) | 2016-11-29 | 2016-11-29 | 멀티센서를 이용한 운동 가이드피드백 시스템 및 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101715369B1 (ko) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101950598B1 (ko) * | 2017-08-29 | 2019-02-20 | 순천향대학교 산학협력단 | 센서를 이용한 운동 보조 시스템 및 방법, 이를 수행하기 위한 기록 매체 |
| KR20190089285A (ko) * | 2018-01-22 | 2019-07-31 | 수원대학교산학협력단 | 복합문화시스템 |
| KR20190133540A (ko) | 2018-05-23 | 2019-12-03 | 한선우 | 리얼 타임 올라운드 어플리케이션 |
| KR102116640B1 (ko) * | 2019-10-24 | 2020-05-28 | (주)레드골프글로벌 | 사용자의 헬스정보에 기반하여 운동을 가이드하는 헬스케어용 골프 연습 시스템 |
| KR20200071236A (ko) | 2018-12-11 | 2020-06-19 | 주식회사 바이오브레인 | 개인 맞춤형 운동강도조절 기능을 갖는 멀티센서 기반 타이밍 피드백 시스템 |
| WO2021033847A1 (ko) * | 2019-08-20 | 2021-02-25 | 주식회사 푸마시 | 웨어러블 디바이스를 활용한 영농 시스템 및 방법 |
| KR102402797B1 (ko) * | 2021-06-23 | 2022-05-27 | 구본호 | 인공지능형 원격 동작평가 장치 및 방법 |
| WO2022114292A1 (ko) * | 2020-11-26 | 2022-06-02 | (주)로임시스템 | 클라우드 기반 인공지능 근력운동 가이드 시스템 |
| WO2023003232A1 (ko) * | 2021-07-19 | 2023-01-26 | 삼성전자주식회사 | 센서를 포함하는 전자 장치 및 그의 동작 방법 |
| US11610506B2 (en) | 2017-08-22 | 2023-03-21 | Samsung Electronics Co., Ltd. | Method and apparatus for providing guide information associated with exercise intensity on basis of user activity information |
| KR20240061388A (ko) | 2022-10-31 | 2024-05-08 | 대한민국(국립재활원장) | Imu 기반의 운동가이드 장치 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20140051832A (ko) | 2011-02-07 | 2014-05-02 | 뉴우바란스아스레틱슈우인코포레이팃드 | 운동 동작 모니터링 시스템 및 그 방법 |
| KR20160046082A (ko) | 2014-10-20 | 2016-04-28 | (주)한국인터넷소프트웨어 | 체력측정/운동처방 서비스 제공 시스템의 체력측정/운동처방 서비스 제공방법 |
| KR20160054325A (ko) * | 2014-11-06 | 2016-05-16 | 장재윤 | 맞춤형 개인 트레이닝 관리 시스템 및 방법 |
-
2016
- 2016-11-29 KR KR1020160160204A patent/KR101715369B1/ko active IP Right Grant
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20140051832A (ko) | 2011-02-07 | 2014-05-02 | 뉴우바란스아스레틱슈우인코포레이팃드 | 운동 동작 모니터링 시스템 및 그 방법 |
| KR20160046082A (ko) | 2014-10-20 | 2016-04-28 | (주)한국인터넷소프트웨어 | 체력측정/운동처방 서비스 제공 시스템의 체력측정/운동처방 서비스 제공방법 |
| KR20160054325A (ko) * | 2014-11-06 | 2016-05-16 | 장재윤 | 맞춤형 개인 트레이닝 관리 시스템 및 방법 |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11610506B2 (en) | 2017-08-22 | 2023-03-21 | Samsung Electronics Co., Ltd. | Method and apparatus for providing guide information associated with exercise intensity on basis of user activity information |
| KR101950598B1 (ko) * | 2017-08-29 | 2019-02-20 | 순천향대학교 산학협력단 | 센서를 이용한 운동 보조 시스템 및 방법, 이를 수행하기 위한 기록 매체 |
| KR20190089285A (ko) * | 2018-01-22 | 2019-07-31 | 수원대학교산학협력단 | 복합문화시스템 |
| KR102385286B1 (ko) * | 2018-01-22 | 2022-04-08 | 수원대학교 산학협력단 | 복합문화시스템 |
| KR20190133540A (ko) | 2018-05-23 | 2019-12-03 | 한선우 | 리얼 타임 올라운드 어플리케이션 |
| KR20200071236A (ko) | 2018-12-11 | 2020-06-19 | 주식회사 바이오브레인 | 개인 맞춤형 운동강도조절 기능을 갖는 멀티센서 기반 타이밍 피드백 시스템 |
| WO2021033847A1 (ko) * | 2019-08-20 | 2021-02-25 | 주식회사 푸마시 | 웨어러블 디바이스를 활용한 영농 시스템 및 방법 |
| KR102116640B1 (ko) * | 2019-10-24 | 2020-05-28 | (주)레드골프글로벌 | 사용자의 헬스정보에 기반하여 운동을 가이드하는 헬스케어용 골프 연습 시스템 |
| WO2022114292A1 (ko) * | 2020-11-26 | 2022-06-02 | (주)로임시스템 | 클라우드 기반 인공지능 근력운동 가이드 시스템 |
| KR20220073881A (ko) | 2020-11-26 | 2022-06-03 | (주) 로임시스템 | 클라우드 기반 인공지능 근력운동 가이드 시스템 |
| KR102518324B1 (ko) * | 2020-11-26 | 2023-04-06 | (주)로임시스템 | 클라우드 기반 인공지능 근력운동 가이드 시스템 |
| KR102402797B1 (ko) * | 2021-06-23 | 2022-05-27 | 구본호 | 인공지능형 원격 동작평가 장치 및 방법 |
| WO2023003232A1 (ko) * | 2021-07-19 | 2023-01-26 | 삼성전자주식회사 | 센서를 포함하는 전자 장치 및 그의 동작 방법 |
| KR20240061388A (ko) | 2022-10-31 | 2024-05-08 | 대한민국(국립재활원장) | Imu 기반의 운동가이드 장치 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101715369B1 (ko) | 멀티센서를 이용한 운동 가이드피드백 시스템 및 방법 | |
| Tedesco et al. | Accuracy of consumer-level and research-grade activity trackers in ambulatory settings in older adults | |
| US11590402B2 (en) | Automated physical training system | |
| JP2022088612A (ja) | バランス試験及び訓練システム並びに方法 | |
| CN104169923B (zh) | 活动点数 | |
| JP6464113B2 (ja) | エネルギー消費 | |
| CN111387960B (zh) | 运动监控方法和体力监控方法 | |
| Hollis et al. | Running biomechanics as measured by wearable sensors: effects of speed and surface | |
| US11541278B2 (en) | Methods and apparatus for managing sequential tasks via task specific user interface elements | |
| EP3340248B1 (en) | A method and an apparatus for determining training status | |
| US20110165998A1 (en) | Method For Monitoring Exercise, And Apparatus And System Thereof | |
| Grigg et al. | The validity and intra-tester reliability of markerless motion capture to analyse kinematics of the BMX Supercross gate start | |
| EP3496600A1 (en) | System and method for assisting exercising of a subject | |
| EP3252633B1 (en) | System for monitoring physiological activity | |
| CN104126185A (zh) | 疲劳指数及其用途 | |
| CN107072543A (zh) | 姿态矫正装置、系统和方法 | |
| Peterson et al. | Tensiomyographical responses to accelerometer loads in female collegiate basketball players | |
| US20230181058A1 (en) | System and method for estimating cardiorespiratory fitness | |
| US20210265055A1 (en) | Smart Meditation and Physiological System for the Cloud | |
| TWI704528B (zh) | 騎乘姿勢分析系統與方法 | |
| Millour et al. | A literature overview of modern biomechanical-based technologies for bike-fitting professionals and coaches | |
| TWI679557B (zh) | 適應性運動姿態感測系統與方法 | |
| US20140371886A1 (en) | Method and system for managing performance of an athlete | |
| TW201413630A (zh) | 以步態感測為主之穿戴式居家照護系統 | |
| Jenkins et al. | Sport-related back injury prevention with a wearable device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20200302 Year of fee payment: 4 |