KR20190047648A - 행동에 대한 피드백을 제공하는 웨어러블 디바이스 및 방법 - Google Patents
행동에 대한 피드백을 제공하는 웨어러블 디바이스 및 방법 Download PDFInfo
- Publication number
- KR20190047648A KR20190047648A KR1020180130283A KR20180130283A KR20190047648A KR 20190047648 A KR20190047648 A KR 20190047648A KR 1020180130283 A KR1020180130283 A KR 1020180130283A KR 20180130283 A KR20180130283 A KR 20180130283A KR 20190047648 A KR20190047648 A KR 20190047648A
- Authority
- KR
- South Korea
- Prior art keywords
- behavior
- data
- user
- wearable device
- feedback
- Prior art date
Links
- 230000009471 action Effects 0.000 title claims abstract description 102
- 238000000034 method Methods 0.000 title claims description 58
- 230000005540 biological transmission Effects 0.000 claims abstract description 8
- 238000001514 detection method Methods 0.000 claims abstract description 5
- 230000006399 behavior Effects 0.000 claims description 231
- 230000001133 acceleration Effects 0.000 claims description 15
- 238000010801 machine learning Methods 0.000 claims description 11
- 238000013450 outlier detection Methods 0.000 claims description 7
- 230000033001 locomotion Effects 0.000 abstract description 50
- 230000004927 fusion Effects 0.000 description 25
- 238000010586 diagram Methods 0.000 description 15
- 230000008569 process Effects 0.000 description 12
- 230000009182 swimming Effects 0.000 description 12
- 238000006073 displacement reaction Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000000391 smoking effect Effects 0.000 description 4
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 3
- 230000000295 complement effect Effects 0.000 description 3
- 230000036541 health Effects 0.000 description 3
- 230000000284 resting effect Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 235000019577 caloric intake Nutrition 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000013480 data collection Methods 0.000 description 2
- 230000035622 drinking Effects 0.000 description 2
- 239000003651 drinking water Substances 0.000 description 2
- 235000020188 drinking water Nutrition 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000012731 temporal analysis Methods 0.000 description 2
- 238000000700 time series analysis Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 230000003442 weekly effect Effects 0.000 description 2
- 210000000707 wrist Anatomy 0.000 description 2
- 210000000577 adipose tissue Anatomy 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 230000017531 blood circulation Effects 0.000 description 1
- 230000037396 body weight Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 230000003137 locomotive effect Effects 0.000 description 1
- 235000012054 meals Nutrition 0.000 description 1
- 230000002503 metabolic effect Effects 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
- A63B24/0062—Monitoring athletic performances, e.g. for determining the work of a user on an exercise apparatus, the completed jogging or cycling distance
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B21/00—Exercising apparatus for developing or strengthening the muscles or joints of the body by working against a counterforce, with or without measuring devices
- A63B21/40—Interfaces with the user related to strength training; Details thereof
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
- A63B24/0003—Analysing the course of a movement or motion sequences during an exercise or trainings sequence, e.g. swing for golf or tennis
- A63B24/0006—Computerised comparison for qualitative assessment of motion sequences or the course of a movement
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
- A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
- A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
- A63B71/0622—Visual, audio or audio-visual systems for entertaining, instructing or motivating the user
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
- A61B2562/02—Details of sensors specially adapted for in-vivo measurements
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B2220/00—Measuring of physical parameters relating to sporting activity
- A63B2220/40—Acceleration
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B2220/00—Measuring of physical parameters relating to sporting activity
- A63B2220/70—Measuring or simulating ambient conditions, e.g. weather, terrain or surface conditions
- A63B2220/74—Atmospheric pressure
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B2220/00—Measuring of physical parameters relating to sporting activity
- A63B2220/80—Special sensors, transducers or devices therefor
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B2230/00—Measuring physiological parameters of the user
- A63B2230/04—Measuring physiological parameters of the user heartbeat characteristics, e.g. ECG, blood pressure modulations
- A63B2230/045—Measuring physiological parameters of the user heartbeat characteristics, e.g. ECG, blood pressure modulations used as a control parameter for the apparatus
Landscapes
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physical Education & Sports Medicine (AREA)
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- Biophysics (AREA)
- Tourism & Hospitality (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Public Health (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physiology (AREA)
- Psychiatry (AREA)
- Signal Processing (AREA)
- Pathology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Mathematical Physics (AREA)
- Veterinary Medicine (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Fuzzy Systems (AREA)
- Orthopedic Medicine & Surgery (AREA)
- Economics (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
행동에 대한 피드백을 제공하는 서버는 웨어러블 디바이스에 내장된 복수의 센서에 의해 소정 시간 동안 측정된 복수의 센서 데이터(Sensor Data)를 상기 웨어러블 디바이스로부터 수신하는 센서 데이터 수신부, 상기 센서 데이터로부터 적어도 둘 이상의 특이점을 검출하는 특이점 검출부, 상기 적어도 둘 이상의 특이점을 포함하는 제 1 특징 구간에 대한 데이터와 기저장된 복수의 동작 패턴 데이터 간의 유사도에 기초하여 사용자의 행동을 인식하는 행동 인식부 및 상기 인식된 행동에 대한 피드백을 웨어러블 디바이스 또는 사용자 단말 중 적어도 하나로 전송하는 피드백 전송부를 포함한다.
Description
본 발명은 행동에 대한 피드백을 제공하는 웨어러블 디바이스 및 방법에 관한 것이다.
웨어러블 디바이스(wearable device)란 입을 수 있는 기기를 의미하며, 과학 기술이 발전하여 티셔츠, 안경, 팔찌, 시계, 신발 등의 착용할 수 있는 스마트 장치들이 개발되고 있다. 대표적인 웨어러블 디바이스로는 스마트 워치가 있으며, 스마트 워치에는 시간을 알려주는 기존의 시계 기능에 스마트폰을 확인하지 않아도 알림, 메일, 메시지를 실시간으로 확인할 수 있도록 하는 기능이 더해졌다.
이러한 스마트 기능을 제공하는 웨어러블 디바이스와 관련하여, 선행기술인 한국등록특허 제 10-1689368호는 웨어러블 디바이스를 개시하고 있다.
최근의 웨어러블 디바이스는 내장된 다양한 센서를 통해 측정된 데이터를 이용한 건강 관련 서비스를 제공하고 있다. 그러나 이는 사용자의 걸음 수, 이동 거리, 운동 시간 등에 대한 해석 정보에 한정됨으로써, 사용자가 행하고 있는 동작 및 행동과 관련된 직관적인 피드백을 제공하기 어렵다는 단점을 가지고 있다.
본 발명은 상술한 문제점을 해결하기 위한 것으로서, 웨어러블 디바이스에 내장된 다양한 센서를 이용하여 측정된 복수의 센서 데이터에 기초하여 사용자가 언제, 어떤 행동을 하였는지를 모니터링하는 행동에 대한 피드백을 제공하는 웨어러블 디바이스 및 방법을 제공하고자 한다.
모니터링된 사용자의 행동에 대해 자가수치화(Quantified self)된 정보를 사용자에게 피드백하여, 사용자에게 올바른 행동 및 습관을 유도하는 피드백을 제공하는 웨어러블 디바이스 및 방법을 제공하고자 한다.
다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
상술한 기술적 과제를 달성하기 위한 수단으로서, 본 발명의 일 실시예는, 웨어러블 디바이스에 내장된 복수의 센서에 의해 소정 시간 동안 측정된 복수의 센서 데이터(Sensor Data)를 상기 웨어러블 디바이스로부터 수신하는 센서 데이터 수신부, 상기 센서 데이터로부터 적어도 둘 이상의 특이점을 검출하는 특이점 검출부, 상기 적어도 둘 이상의 특이점을 포함하는 제 1 특징 구간에 대한 데이터와 기저장된 복수의 동작 패턴 데이터 간의 유사도에 기초하여 사용자의 행동을 인식하는 행동 인식부 및 상기 인식된 행동에 대한 피드백을 웨어러블 디바이스 또는 사용자 단말 중 적어도 하나로 전송하는 피드백 전송부를 포함하는 행동 인식 서버를 제공할 수 있다.
본 발명의 다른 실시예는, 웨어러블 디바이스에 내장된 복수의 센서에 의해 소정 시간 동안 측정된 복수의 센서 데이터(Sensor Data)를 상기 웨어러블 디바이스로부터 수신하는 단계, 상기 센서 데이터로부터 적어도 둘 이상의 특이점을 검출하는 단계, 상기 적어도 둘 이상의 특이점을 포함하는 제 1 특징 구간에 대한 데이터와 기저장된 복수의 동작 패턴 데이터 간의 유사도에 기초하여 사용자의 행동을 인식하는 단계 및 상기 인식된 행동에 대한 피드백을 웨어러블 디바이스 또는 사용자 단말 중 적어도 하나로 전송하는 단계를 포함하는 행동 인식 방법을 제공할 수 있다.
본 발명의 또 다른 실시예는, 웨어러블 디바이스에 내장된 복수의 센서에 의해 측정된 복수의 센서 데이터(Sensor Data)를 수집하는 단계, 상기 수집된 복수의 센서 데이터(Sensor Data)를 행동 인식 서버로 전송하는 단계, 상기 행동 인식 서버로부터 상기 복수의 센서 데이터에 기초하여 인식된 사용자의 행동에 대한 피드백을 수신하는 단계 및 상기 수신한 피드백을 출력하는 단계를 포함하되, 상기 사용자의 행동은 상기 복수의 센서데이터로부터 적어도 둘 이상의 특이점이 검출되고, 상기 적어도 둘 이상의 특이점을 포함하는 제 1 특징 구간에 대한 데이터와 기저장된 복수의 동작 패턴 데이터 간의 유사도에 기초하여 사용자의 행동이 인식되는 것인 행동 인식 방법을 제공할 수 있다.
상술한 과제 해결 수단은 단지 예시적인 것으로서, 본 발명을 제한하려는 의도로 해석되지 않아야 한다. 상술한 예시적인 실시예 외에도, 도면 및 발명의 상세한 설명에 기재된 추가적인 실시예가 존재할 수 있다.
전술한 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 본 발명은 상술한 문제점을 해결하기 위한 것으로서, 웨어러블 디바이스에 내장된 다양한 센서를 이용하여 측정된 복수의 센서 데이터에 기초하여 사용자가 언제, 어떤 행동을 하였는지 모니터링하는 행동에 대한 피드백을 제공하는 웨어러블 디바이스 및 방법을 제공할 수 있다.
모니터링된 사용자의 행동에 대해 자가수치화(Quantified self)된 정보를 사용자에게 피드백하여, 사용자에게 올바른 행동 및 습관을 유도하는 피드백을 제공하는 웨어러블 디바이스 및 방법을 제공할 수 있다.
도 1은 본 발명의 일 실시예에 따른 행동 피드백 제공 시스템의 구성도이다.
도 2는 본 발명의 일 실시예에 따른 웨어러블 디바이스의 구성도이다.
도 3은 본 발명의 일 실시예에 따른 웨어러블 디바이스에서 행동에 대한 피드백을 제공하는 방법의 순서도이다.
도 4는 본 발명의 일 실시예에 따른 행동 인식 서버의 구성도이다.
도 5a 내지 도 5d는 본 발명의 일 실시예에 따른 복수의 센서 데이터로부터 데이터 퓨전을 통해 사용자의 동작을 인식하는 과정을 설명하기 위한 예시적인 도면이다.
도 6a 및 도 6b는 본 발명의 일 실시예에 따른 행동 인식 서버에서 인식된 사용자의 동작에 대해 클러스터링을 수행하는 과정을 설명하기 위한 예시적인 도면이다.
도 7은 본 발명의 일 실시예에 따른 행동 인식 서버에서 행동에 대한 피드백을 제공하는 방법의 순서도이다.
도 2는 본 발명의 일 실시예에 따른 웨어러블 디바이스의 구성도이다.
도 3은 본 발명의 일 실시예에 따른 웨어러블 디바이스에서 행동에 대한 피드백을 제공하는 방법의 순서도이다.
도 4는 본 발명의 일 실시예에 따른 행동 인식 서버의 구성도이다.
도 5a 내지 도 5d는 본 발명의 일 실시예에 따른 복수의 센서 데이터로부터 데이터 퓨전을 통해 사용자의 동작을 인식하는 과정을 설명하기 위한 예시적인 도면이다.
도 6a 및 도 6b는 본 발명의 일 실시예에 따른 행동 인식 서버에서 인식된 사용자의 동작에 대해 클러스터링을 수행하는 과정을 설명하기 위한 예시적인 도면이다.
도 7은 본 발명의 일 실시예에 따른 행동 인식 서버에서 행동에 대한 피드백을 제공하는 방법의 순서도이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미하며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 명세서에 있어서 '부(部)'란, 하드웨어에 의해 실현되는 유닛(unit), 소프트웨어에 의해 실현되는 유닛, 양방을 이용하여 실현되는 유닛을 포함한다. 또한, 1 개의 유닛이 2 개 이상의 하드웨어를 이용하여 실현되어도 되고, 2 개 이상의 유닛이 1 개의 하드웨어에 의해 실현되어도 된다.
본 명세서에 있어서 단말 또는 디바이스가 수행하는 것으로 기술된 동작이나 기능 중 일부는 해당 단말 또는 디바이스와 연결된 서버에서 대신 수행될 수도 있다. 이와 마찬가지로, 서버가 수행하는 것으로 기술된 동작이나 기능 중 일부도 해당 서버와 연결된 단말 또는 디바이스에서 수행될 수도 있다.
이하 첨부된 도면을 참고하여 본 발명의 일 실시예를 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 행동 피드백 제공 시스템의 구성도이다. 도 1을 참조하면, 행동 피드백 제공 시스템(1)은 웨어러블 디바이스(110), 행동 인식 서버(120) 및 사용자 단말(130)을 포함할 수 있다. 웨어러블 디바이스(110), 행동 인식 서버(120) 및 사용자 단말(130)은 행동 피드백 제공 시스템(1)에 의하여 제어될 수 있는 구성요소들을 예시적으로 도시한 것이다.
도 1의 행동 피드백 제공 시스템(1)의 각 구성요소들은 일반적으로 네트워크(network)를 통해 연결된다. 예를 들어, 도 1에 도시된 바와 같이, 웨어러블 디바이스(110) 또는 사용자 단말(130)은 행동 인식 서버(120)와 동시에 또는 시간 간격을 두고 연결될 수 있다.
네트워크는 단말들 및 서버들과 같은 각각의 노드 상호 간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 근거리 통신망(LAN: Local Area Network), 광역 통신망(WAN: Wide Area Network), 인터넷 (WWW: World Wide Web), 유무선 데이터 통신망, 전화망, 유무선 텔레비전 통신망 등을 포함한다. 무선 데이터 통신망의 일례에는 3G, 4G, 5G, 3GPP(3rd Generation Partnership Project), LTE(Long Term Evolution), WIMAX(World Interoperability for Microwave Access), 와이파이(Wi-Fi), 블루투스 통신, 적외선 통신, 초음파 통신, 가시광 통신(VLC: Visible Light Communication), 라이파이(LiFi) 등이 포함되나 이에 한정되지는 않는다.
웨어러블 디바이스(110)는 행동 피드백을 제공하는 앱이 설치되어, 사용자로부터의 별도의 입력 없이 앱이 자동으로 실행될 수 있다.
웨어러블 디바이스(110)는 사용자의 손목에 착용되고, 웨어러블 디바이스(110)에 내장된 복수의 센서에 의해 측정된 복수의 센서 데이터(Sensor Data)를 수집할 수 있다.
웨어러블 디바이스(110)는 수집된 복수의 센서 데이터(Sensor Data)를 행동 인식 서버(120)로 전송할 수 있다.
웨어러블 디바이스(110)는 행동 인식 서버(120)로부터 복수의 센서 데이터에 기초하여 인식된 사용자의 행동에 대한 피드백을 수신할 수 있다. 여기서, 피드백은 시간대별 사용자의 행동 이력 및 사용자의 행동 이력에 포함된 적어도 하나의 행동에 대한 행동 정보, 적어도 하나의 행동에 포함된 유의미한 동작 정보 중 적어도 하나 이상을 포함할 수 있다.
웨어러블 디바이스(110)는 사용자의 행동에 대한 피드백을 출력할 수 있다. 예를 들어, 피드백은 그림과 텍스트로 구성되어 디스플레이를 통해 출력될 수 있으며, 음성 또는 알람으로 구성되어 스피커를 통해 출력될 수 있으며, 진동을 통해 출력될 수 도 있다. 이를 통해, 사용자에게 시각적, 청각적, 촉각적 피드백을 제공할 수 있다.
이러한 피드백을 통해 사용자는 자신의 행동을 모니터링할 수 있다. 예를 들어, 사용자가 운동을 수행한 경우, 사용자는 운동 횟수 및 세트 칼로리, 운동 시간, 휴식 시간, 심박수에 기초하여 측정된 운동량을 확인할 수 있다. 또한, 사용자의 운동 자세에 기초하여 운동 정확도를 측정하고, 측정된 운동 정확도에 기초하여 올바른 운동 자세를 가이드받을 수 있다. 또 다른 예를 들어, 사용자가 수행한 운동 종류에 기초하여 사용자에게 부족한 운동 부위에 대한 피드백을 통해 사용자가 다양한 운동을 고르게 할 수 있도록 할 수 있다. 또 다른 예를 들어, 실시간 정보 및 랭킹 정보를 포함하는 피드백을 통해 사용자의 도전 의식을 강화시켜 사용자에게 운동에 대한 동기가 부여되도록 할 수 있다. 또 다른 예를 들어, 사용자는 운동 데이터를 모니터링하여 하루, 주간, 월간 단위의 자가수치화를 확인할 수 있다. 또 다른 예를 들어, 사용자는 자신의 잘못된 행동 및 습관에 대한 피드백을 통해 올바른 자세를 가이드받을 수 있다.
웨어러블 디바이스(110)는 사용자 단말(130)과 블루투스(Bluetooth) 통신을 통해 연결될 수 있다. 이 때, 웨어러블 디바이스(110)는 웨어러블 디바이스(110) 및 사용자 단말(130) 각각에 설치된 행동 피드백을 제공하는 앱을 통해 각각의 사용자의 행동 정보가 동기화될 수 있다.
이러한 웨어러블 디바이스(110)는 사용자 행동에 대한 피드백을 행동 인식 서버(120)로부터 수신하도록 구성될 수 있으며, 웨어러블 디바이스(110)의 메모리에 복수의 동작 패턴에 대한 동작 데이터가 기저장되어 있어 웨어러블 디바이스(110) 자체에서도 사용자의 동작 또는 행동을 인식하도록 구성될 수도 있다.
행동 인식 서버(120)는 복수의 동작 패턴 각각에 대응하는 동작 데이터를 데이터베이스에 저장할 수 있다.
행동 인식 서버(120)는 웨어러블 디바이스(110)에 내장된 복수의 센서에 의해 소정 시간 동안 측정된 복수의 센서 데이터(Sensor Data)를 웨어러블 디바이스(110)로부터 수신할 수 있다. 이 때, 행동 인식 서버(120)는 칼만 필터, 저역 통과 필터, 고역 통과 필터, 상보 필터, 이동 평균 필터 및 스무싱 필터 중 적어도 하나를 이용하여 복수의 센서 데이터로부터 노이즈를 제거할 수 있다.
행동 인식 서버(120)는 센서 데이터로부터 적어도 둘 이상의 특이점을 검출할 수 있다. 예를 들어, 행동 인식 서버(120)는 머신 러닝을 이용하여 적어도 둘 이상의 특이점을 검출할 수 있다. 다른 예를 들어, 행동 인식 서버(120)는 센서 데이터로부터 데이터 퓨전(Data fusion)을 통해 적어도 둘 이상의 특이점을 검출할 수도 있다. 구체적으로, 행동 인식 서버(120)는 수집된 복수의 센서 데이터를 데이터 퓨전을 통해 센서 퓨전 데이터로 생성하여 적어도 둘 이상의 특이점을 검출할 수 있다. 여기서, 적어도 둘 이상의 특이점은 제 1 특이점 및 제 2 특이점을 포함하고, 특징 구간은 제 1 특이점에 해당하는 시각과 제 2 특이점에 해당하는 시각 사이의 구간을 의미하며, 적어도 둘 이상의 특이점은 예를 들어, 센서 데이터로부터 피크값, 밸리, 제로 크로싱, 그래프의 넓이, 곡률, 시간, 각도, 가속도, 거리 및 궤도 중 적어도 하나에 기초하여 검출될 수 있다.
행동 인식 서버(120)는 적어도 둘 이상의 특이점을 포함하는 제 1 특징 구간에 대한 데이터와 기저장된 복수의 동작 패턴 데이터 간의 유사도에 기초하여 사용자의 행동을 인식할 수 있다.
행동 인식 서버(120)는 사용자의 행동을 인식하기 위해 머신러닝을 이용하여 제 1 특징 구간에 대한 데이터와 기저장된 복수의 동작 패턴 데이터 간의 유사도를 분석하고, 분석된 유사도에 기초하여 제 1 특징 구간에 대한 데이터에 해당하는 동작을 인식할 수 있다. 이 때, 행동 인식 서버(120)는 가속도 센서, 자이로 센서, 쿼터니언의 값을 이용하여 사용자가 행하는 동작의 자세가 바른 자세인지를 판단할 수 있다. 이를 위해, 행동 인식 서버(120)는 HMM(Hidden Markov model), CNN(Convolution Neural Nerwork), DNN(Deep Neural Network) 등의 머신러닝을 통해 사용자의 운동 자세가 바른 자세인지를 판단할 수 있다.
행동 인식 서버(120)는 제 1 특징 구간에 대한 데이터를 포함하는 복수의 특징 구간에 대한 데이터에 대해 제 1 클러스터링을 수행하여 복수의 특징 구간에 대한 데이터를 복수의 유사 동작군으로 군집화하고, 제 1 특징 구간에 대한 데이터가 포함된 어느 하나의 유사 동작군에 해당하는 행동을 사용자의 행동으로 인식할 수 있다.
행동 인식 서버(120)는 웨어러블 디바이스(110)로부터 웨어러블 디바이스(110)의 위치 정보를 수신할 수 있다. 이 때, 행동 인식 서버(120)는 웨어러블 디바이스(110)의 위치 정보를 기반으로 분류된 복수의 유사 동작군에 대해 제 2 클러스터링을 수행하여 복수의 유사 동작군을 복수의 위치 기반 행동군으로 분류할 수 있다.
행동 인식 서버(120)는 인식된 사용자의 행동을 시간 순서에 따라 저장하고, 시간 순서에 따른 연관성에 기초하여 사용자의 저장된 행동을 삭제할 수 있다. 여기서, 저장된 행동은 소정의 시간 내에 행해진 제 1 행동, 제 2 행동, 제 3 행동을 포함할 수 있다. 예를 들어, 행동 인식 서버(120)는 제 1 행동, 제 2 행동, 제 3 행동 각각의 연관성을 판단하고, 각각의 연관성에 기초하여 제 1 행동, 제 2 행동, 제 3 행동 중 어느 하나의 행동을 삭제할 수 있다.
행동 인식 서버(120)는 인식된 행동에 대한 피드백을 웨어러블 디바이스(110) 또는 사용자 단말(130) 중 적어도 하나로 전송할 수 있다. 피드백은 시간대별 사용자의 행동 이력 및 사용자의 행동 이력에 포함된 적어도 하나의 행동에 대한 행동 정보, 적어도 하나의 행동에 포함된 유의미한 동작 정보 중 적어도 하나 이상을 포함할 수 있다.
사용자 단말(130)은 웨어러블 디바이스(110)와 블루투스(bluetooth) 통신을 통해 연결되고, 사용자 단말(130) 및 웨어러블 디바이스(110) 각각에 설치된 행동 피드백을 제공하는 앱을 통해 각각의 사용자의 행동 정보가 동기화될 수 있다.
사용자 단말(130)은 행동 인식 서버(120)로부터 인식된 사용자의 행동에 대한 피드백을 수신할 수 있다. 이 때, 피드백은 그림과 텍스트로 구성되어 디스플레이를 통해 출력될 수 있으며, 음성 또는 알람으로 구성되어 스피커를 통해 출력될 수 있으며, 진동을 통해 출력될 수 도 있다. 이를 통해, 사용자에게 시각적, 청각적, 촉각적 피드백을 제공할 수 있다.
도 2는 본 발명의 일 실시예에 따른 웨어러블 디바이스의 구성도이다. 도 2를 참조하면, 웨어러블 디바이스(110)는 센서 데이터 수집부(210), 전송부(220), 피드백 수신부(230) 및 피드백 출력부(240)를 포함할 수 있다.
센서 데이터 수집부(210)는 웨어러블 디바이스(110)에 내장된 복수의 센서에 의해 측정된 복수의 센서 데이터(Sensor Data)를 수집할 수 있다. 센서 데이터 수집부(210)는 웨어러블 디바이스(110)에 내장된 복수의 센서로부터 측정된 복수의 센서 데이터(Sensor Data)를 수집할 수 있다. 예를 들어, 센서 데이터 수집부(210)는 웨어러블 디바이스(110)를 착용한 사용자가 어떤 행동을 행하는 경우, 웨어러블 디바이스(110)에 내장된 복수의 센서에 의해 측정된 복수의 센서 데이터를 수집할 수 있다. 여기서, 복수의 센서는 가속도 센서, 자이로 센서, 심박 센서, 중력 센서, 마그네틱 센서, 근접 센서, RGB 센서, 밝기 센서, 기압 센서 등을 포함할 수 있다. 예를 들어, 심박 센서(PPG) 는 조직의 미세혈관에서 혈류의 변화를 감지할 수 있는 센서로서, 심박 센서에 내장된 LED가 피부로 빛을 송출하면, 포토다이오드(photodiode)가 피부로부터 반사된 빛을 검출하여 심박수를 측정할 수 있게 된다.
전송부(220)는 수집된 복수의 센서 데이터(Sensor Data)를 행동 인식 서버(120)로 전송할 수 있다.
피드백 수신부(230)는 행동 인식 서버(120)로부터 복수의 센서 데이터에 기초하여 인식된 사용자의 행동에 대한 피드백을 수신할 수 있다.
피드백 출력부(240)는 수신한 피드백을 출력할 수 있다. 피드백은 예를 들어, 시간대별 사용자의 행동 이력 및 사용자의 행동 이력에 포함된 적어도 하나의 행동에 대한 행동 정보, 적어도 하나의 행동에 포함된 유의미한 동작 정보 중 적어도 하나 이상을 포함할 수 있다.
시간대별 사용자의 행동 이력은 예를 들어, 12:00~12:30/점심식사, 12:30~13:00/운전, 13:00~14:00/운동, 14:00~16:00/공부 등과 같이 하룻동안 사용자가 행한 행동에 대한 이력을 포함할 수 있다.
사용자의 행동 이력에 포함된 적어도 하나의 행동에 대한 행동 정보는 예를 들어, 사용자가 행한 행동이 운동에 해당하는 경우, 운동과 관련된 상세 피드백으로 운동명, 운동 횟수, 운동 시간 및 실시간 소모 칼로리량, 운동 정확도 중 적어도 하나를 포함하는 동적 피드백 및 운동 방법, 운동 부위, 운동 강도 및 랭킹 중 적어도 하나를 포함하는 정적 피드백을 포함할 수 있다. 구체적으로, 사용자가 '축구'를 한 경우, 행동 정보는 뛴 거리, 킥 횟수, 걷기 시간, 쉬는 시간 등을 포함하며, 사용자가 '테니스'를 한 경우, 뛴 거리, 스윙횟수 등을 포함할 수 있다.
적어도 하나의 행동에 포함된 유의미한 동작 정보는 예를 들어, 스윙 자세, 축구 뛴 거리, 운전시간, 사무실에서 앉아있던 시간, 화장실 이용 여부, 헬스 운동 횟수, 운동인지, 이동 거리 등을 포함할 수 있다.
피드백 출력부(240)는 인식된 사용자의 행동에 부정적 행동을 포함하는 경우, 별도의 주의 피드백을 출력할 수도 있다. 예를 들어, 사용자가 하룻동안 흡연을 10회한 경우, "오늘 하루 흡연을 10회 하셨어요. 건강을 위해 조금 줄이는 편이 좋겠어요."와 같은 주의 피드백을 출력할 수도 있다.
도 3은 본 발명의 일 실시예에 따른 웨어러블 디바이스에서 행동에 대한 피드백을 제공하는 방법의 순서도이다. 도 3에 도시된 웨어러블 디바이스(110)에서 행동에 대한 피드백을 제공하는 방법은 도 1 및 도 3에 도시된 실시예에 따른 행동 피드백 제공 시스템(1)에 의해 시계열적으로 처리되는 단계들을 포함한다. 따라서, 이하 생략된 내용이라고 하더라도 도 1 및 도 2에 도시된 실시예에 따른 웨어러블 디바이스(110)에서 행동에 대한 피드백을 제공하는 방법에도 적용된다.
단계 S310에서 웨어러블 디바이스(110)는 웨어러블 디바이스(110)에 내장된 복수의 센서에 의해 측정된 복수의 센서 데이터(Sensor Data)를 수집할 수 있다.
단계 S320에서 웨어러블 디바이스(110)는 수집된 복수의 센서 데이터(Sensor Data)를 행동 인식 서버(120)로 전송할 수 있다.
단계 S330에서 웨어러블 디바이스(110)는 행동 인식 서버(120)로부터 복수의 센서 데이터에 기초하여 인식된 사용자의 행동에 대한 피드백을 수신할 수 있다.
단계 S340에서 웨어러블 디바이스(110)는 수신한 피드백을 출력할 수 있다.
상술한 설명에서, 단계 S310 내지 S340은 본 발명의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 전환될 수도 있다.
도 4는 본 발명의 일 실시예에 따른 행동 인식 서버의 구성도이다. 도 4를 참조하면, 행동 인식 서버(120)는 저장부(410), 센서 데이터 수신부(420), 특이점 검출부(430), 위치 정보 수신부(440), 행동 인식부(450) 및 피드백 전송부(460)를 포함할 수 있다.
저장부(410)는 복수의 동작 패턴 각각에 대응하는 동작 데이터를 데이터베이스에 저장할 수 있다.
예를 들어, 저장부(410)는 운동 동작 패턴에 대응하는 운동 동작 데이터를 데이터베이스에 저장할 수 있다. 구체적으로, 저장부(410)는 스윙, 드라이브, 퍼팅, 걷기, 달리기 등과 같이 골프 동작 패턴에 대응하는 골프 동작 데이터를 저장하고, 걷기, 달리기, 자전거, 물먹기, 컬, 숄더프레스, 프론트 프레이즈, 스쿼트, 런지, 휴대폰 보기, 시계보기 등과 같이 피트니스 동작 패턴에 대응하는 피트니스 동작 데이터를 저장하고, 슛, 드리블, 걷기, 달리기, 손들기 등과 같이 축구 동작 패턴에 해당하는 동작 데이터를 저장하고, 배영, 평영, 자유형, 잠영, 접영, 걷기, 물마시기, 점프, 팔 스트레칭, 전신 스트레칭, 다리 스트레칭, 휴대폰 보기, 시계보기 등과 같이 수영 동작 패턴에 해당하는 동작 데이터를 저장할 수 있다.
다른 예를 들어, 저장부(410)는 업무 동작 패턴에 대응하는 업무 동작 데이터를 데이터베이스에 저장할 수 있다. 구체적으로, 저장부(410)는 자리에 앉아있기, 회의하기, 식사하기, 타이핑하기, 물마시기, 걷기, 책보기, 마우스 움직이기, 팔짱끼기, 서랍열기, 휴대폰 보기, 시계보기 등과 같이 업무 동작 패턴에 해당하는 업무 동작 데이터를 저장할 수 있다.
또 다른 예를 들어, 저장부(410)는 휴식 동작 패턴에 대응하는 휴식 동작 데이터를 데이터베이스에 저장할 수 있다. 구체적으로, 저장부(410)는 티비보기, 누워있기, 잠, 밥먹기, 걷기, 물마시기 등과 같이 휴식 동작 패턴에 해당하는 휴식 동작 데이터를 저장할 수 있다.
저장부(410)는 사용자의 행동이 인식되면, 인식된 사용자의 동작 및 행동을 시간 순서에 따라 저장할 수 있다. 예를 들어, 저장된 행동은 소정의 시간 내에 행해진 제 1 행동(예를 들어, 축구/슛-달리기 등), 제 2 행동(예를 들어, 축구/드리블-손들기 등), 제 3 행동(예를 들어, 축구/물마시기, 걷기 등)을 포함할 수 있다. 이 때, 저장부(410)는 사용자의 행동이 범용 행동인지 또는 개인 행동인지에 기초하여 사용자의 동작 및 행동을 저장할 수 있다.
센서 데이터 수신부(420)는 웨어러블 디바이스(110)에 내장된 복수의 센서에 의해 소정 시간 동안 측정된 복수의 센서 데이터(Sensor Data)를 웨어러블 디바이스(110)로부터 수신할 수 있다.
특이점 검출부(430)는 노이즈 제거부(미도시)를 포함하며, 노이즈 제거부(미도시)는 칼만 필터, 저역 통과 필터, 고역 통과 필터, 상보 필터, 이동 평균 필터 및 스무싱 필터 등을 이용하여 복수의 센서 데이터로부터 노이즈를 제거할 수 있다. 예를 들어, 센서 데이터는 노이즈를 포함할 수 있으며, 노이즈 제거부(미도시)가 각 센서의 센서 데이터에 적합한 필터를 적용하여 센서 데이터로부터 노이즈를 제거할 수 있다.
칼만 필터(Kalman filter)는 노이즈가 포함된 입력 데이터로부터 노이즈를 제거하여 현재 상태에 대한 최적의 통계적 예측을 진행할 수 있도록 하는 필터이고, 저역 통과 필터(LPF)는 차단 주파수를 설정하여 고주파 노이즈 신호를 제거하여 저주파 신호만을 이용하는 필터이다. 고역 통과 필터(HPF)는 차단 주파수를 설정하여 저주파 노이즈 신호를 제거하여 고주파 신호만을 이용하는 필터이고, 상보 필터는 고주파 영역에서 응답 특성이 좋은 자이로 센서를 통해 측정된 값과 저주파영역에서 응답 특성이 좋은 가속도 센서를 통해 측정된 값을 더하여 각도를 측정하는 필터이다. 이동 평균 필터(Moving Average Filter)는 주변의 평균값을 계산하는데 기반한 저주파 통과 또는 평탄화 필터를 의미한다.
특이점 검출부(430)는 센서 데이터로부터 적어도 둘 이상의 특이점을 검출할 수 있다. 예를 들어, 특이점 검출부(430)는 센서 데이터로부터 피크값, 밸리, 제로 크로싱, 그래프의 넓이, 곡률, 시간, 각도, 가속도, 거리 및 궤도 중 적어도 하나에 기초하여 적어도 둘 이상의 특이점을 검출할 수 있다.
일 실시예에 따르면, 특이점 검출부(430)는 머신 러닝을 이용하여 센서 데이터로부터 적어도 둘 이상의 특이점을 검출할 수 있다. 이 때, 머신 러닝을 통해 추출 또는 가공된 특이점은 사용자에 의해 변화될 수 있는 데이터이다.
행동 인식부(450)는 적어도 둘 이상의 특이점을 포함하는 제 1 특징 구간에 대한 데이터와 기저장된 복수의 동작 패턴 데이터 간의 유사도에 기초하여 사용자의 행동을 인식할 수 있다. 여기서, 제 1 특징 구간은 제 1 특이점에 해당하는 시각과 제 2 특이점에 해당하는 시각 사이의 구간일 수 있다. 이 때, 행동 인식부(450)는 예를 들어, KNN(K-Nearest Neighbors algorithm), RNN(Recurrent Neural Network), DTW(Dynamic Time Warping), Perceptrons, Correlation clustering, HMM, MEMMs 등을 이용하여 유사도를 분석할 수 있다.
행동 인식부(450)는 분석된 유사도에 기초하여 제 1 특징 구간에 대한 데이터에 해당하는 동작을 인식할 수 있다. 예를 들어, 행동 인식부(450)는 분석된 유사도에 기초하여 제 1 특징 구간에 대한 데이터에 해당하는 동작을 '배영'으로 인식할 수 있다.
다른 실시예에 따르면, 특이점 검출부(430)는 센서 데이터로부터 데이터 퓨전을 통해 적어도 둘 이상의 특이점을 검출할 수도 있다. 센서 데이터로부터 데이터 퓨전을 통해 적어도 둘 이상의 특이점을 검출하는 과정에 대해서는 도 5를 통해 상세히 설명하도록 한다.
도 5a 내지 도 5d는 본 발명의 일 실시예에 따른 복수의 센서 데이터로부터 데이터 퓨전을 통해 사용자의 동작을 인식하는 과정을 설명하기 위한 예시적인 도면이다.
도 5a는 본 발명의 일 실시예에 따른 제 1 특징 구간에 따른 센서 데이터로부터 데이터 퓨전을 수행하는 과정을 설명하기 위한 예시적인 도면이다. 도 5a를 참조하면, 복수의 센서 데이터(500)는 복수의 센서에 의해 측정된 센서 데이터로, 각각의 센서 데이터는 다른 파형을 지닌 것을 알 수 있다.
특이점 검출부(430)는 수신한 복수의 센서 데이터(500)를 데이터 퓨전을 통해 하나의 센서 퓨전 데이터(510)로 생성할 수 있다. 이 때, 센서 퓨전 데이터(510)는 적어도 둘 이상의 특이점(520)을 포함할 수 있다. 여기서, 특이점은 동작의 시작점이자 끝점으로 나타내어질 수 있다.
데이터 퓨전을 이용한 방식은 각 센서 데이터의 합 또는 제곱, 미분 및 적분 등의 조합으로 구성될 수 있다. 예를 들어, 가속도(3축: x, y, z)의 힘으로 표현하는 경우, 'sqrt(x2 + y2 + z2)가 될 수 있으며, 자이로의 방향(roll, pitch, yaw)으로 표현하는 경우, 각도의 방향으로 표현될 수 있다. 이 때, 하드웨어 상에서 각 센서의 값과 공식에 따라 적당한 공식을 이용하여 데이터 퓨전이 수행될 수 있다.
센서 퓨전 데이터(510)는 복수의 센서 데이터가 데이터 퓨전(Data fusion)을 통해 하나의 센서 퓨전 데이터(510)로 생성된 것으로, 특이점 검출부(430)는 예를 들어, 6축의 센서 데이터를 데이터 퓨전을 통해 1개의 축의 센서 퓨전 데이터(510)로 생성할 수 있다. 이는, 사용자가 수행 중인 운동을 인지하기 위해서는 6축 이상의 축이 이용되며, 6축 이상의 축의 센서 데이터로부터 센서 퓨전 데이터를 생성함으로써, 특이점을 용이하게 검출할 수 있게 된다. 여기서, 센서 퓨전 데이터(500)를 통해 검출된 적어도 둘 이상의 특이점은 6축 센서 데이터의 플래그(flag)를 찾기 위한 값일 수 있다.
도 5b는 본 발명의 일 실시예에 따른 데이터 퓨전을 통해 생성된 센서 퓨전 데이터로부터 제 1 특징 구간에 해당하는 센서 데이터를 추출하는 과정을 설명하기 위한 예시적인 도면이고, 도 5c는 본 발명의 일 실시예에 따른 특징 구간에 대한 복수의 센서 데이터와 기저장된 복수의 동작 패턴 데이터 간의 유사도를 분석하는 과정을 설명하기 위한 예시적인 도면이다. 도 5b 및 도 5c를 참조하면, 특이점 검출부(430)는 피크값, 밸리, 제로 크로싱, 그래프의 넓이, 곡률, 시간, 속도, 가속도, 거리 궤도 등에 기초하여 적어도 둘 이상의 특이점을 검출할 수 있다. 여기서, 적어도 둘 이상의 특이점은 제 1 특이점(511) 및 제 2 특이점(512)을 포함하고, 특징 구간(513)은 제 1 특이점(511)에 해당하는 시각과 제 2 특이점(512)에 해당하는 시각 사이의 구간일 수 있다.
특이점 추출부(430)는 특징 구간(513)에 대한 센서 퓨전 데이터(530)로부터 복수의 센서 데이터(540)를 추출할 수 있다. 예를 들어, 특이점 추출부(430)는 센서 퓨전 데이터(510)로부터 제 1 특이점(511) 및 제 2 특이점(512)에 기초하여 특징 구간(513)이 검출되면, 특징 구간(513)의 센서 퓨전 데이터(530)에 포함된 복수의 센서 데이터(540)로부터 각 센서의 축별 복수의 센서 데이터(540)를 추출할 수 있다.
예를 들어, 행동 인식부(450)는 추출된 가속도 센서의 x축 센서 데이터와 기저장된 가속도 센서의 x축 레퍼런스 데이터를 비교(551)하고, 추출된 가속도 센서의 y축 센서 데이터와 기저장된 가속도 센서의 y축 레퍼런스 데이터를 비교(552)하고, 추출된 가속도 센서의 z축 센서 데이터와 기저장된 가속도 센서의 z축 레퍼런스 데이터를 비교(553)할 수 있다. 또한, 행동 인식부(450)는 추출된 자이로 센서의 롤(roll)축 센서 데이터와 기저장된 자이로 센서의 롤축 레퍼런스 데이터를 비교(561)하고, 추출된 자이로 센서의 피치(pitch)축 센서 데이터와 기저장된 자이로 센서의 피치축 레퍼런스 데이터를 비교(562)하고, 추출된 자이로 센서의 요(yaw)축 센서 데이터와 기저장된 자이로 센서의 요축 레퍼런스 데이터를 비교(563)할 수 있다.
이러한 과정을 거쳐 행동 인식부(450)는 각 축별 데이터 간의 정확도 평균을 산출할 수 있다.
도 5d는 본 발명의 일 실시예에 따른 특징 구간에 대한 복수의 센서 데이터와 기저장된 복수의 동작 패턴 데이터 간의 유사도를 분석하는 과정을 설명하기 위한 예시적인 도면이다. 도 5d를 참조하면, 행동 인식부(450)는 도 5c를 통해 특징 구간(513)에 대한 복수의 센서 데이터(540)의 각 축별 데이터의 평균 정확도가 산출되면, 복수의 센서 데이터(540)의 각 축별 데이터와 기저장된 운동 패턴 데이터의 각 축을 비교하여 일치도를 산출할 수 있다.
예를 들어, 사용자가 현재 배영 중인 경우, 행동 인식부(450)는 배영과 기저장된 접영 동작 패턴 데이터를 비교하여 일치도 70%로 산출하고, 배영과 기저장된 자유형 동작 패턴 데이터를 비교하여 일치도를 50%로 산출하고, 배영과 기저장된 배영의 동작 패턴 데이터를 비교하여 일치도를 95%로 산출하고, 배영과 기저장된 평영의 동작 패턴 데이터를 비교하여 일치도를 80%로 산출하고, 배영과 기저장된 걷기의 동작 패턴 데이터를 비교하여 일치도를 20%로 산출할 수 있다.
이러한 과정을 거쳐, 행동 인식부(450)는 현재 사용자가 행하는 동작이 '배영'임을 인지할 수 있게 된다.
다시 도 4로 돌아와서, 행동 인식부(450)는 제 1 특징 구간에 대한 데이터를 포함하는 복수의 특징 구간에 대한 데이터에 대해 클러스터링을 수행하여 사용자의 행동을 인식할 수 있다. 사용자의 행동을 인식하는 과정에 대해서는 도 6a 및 도 6b를 통해 상세히 설명하도록 한다.
도 6a는 본 발명의 일 실시예에 따른 복수의 특징 구간에 대한 복수의 동작을 도시한 예시적인 도면이다.
도 6a의 (a)를 참조하면, 행동 인식부(450)는 제 1 특징 구간에 대한 데이터에 해당하는 동작(600)을 인식할 수 있다. 제 1 특징 구간에 대한 데이터에 해당하는 동작(600)은 예를 들어, '배영'일 수 있다.
도 6a의 (b)를 참조하면, 행동 인식부(450)는 제 1 클러스터링을 통해 제 1 특징 구간에 대한 데이터를 복수의 유사 동작군 중 어느 하나의 동작군(610)에 포함되도록 할 수 있다. 예를 들어, 행동 인식부(450)는 제 1 클러스터링을 통해 '배영' 동작을 복수의 유사 동작군 중 수영 동작군(610)에 포함되도록 할 수 있다. 여기서, 수영 동작군(610)은 배영, 평영, 자유형, 잠영, 접영, 걷기, 스트레칭과 같은 수영 동작이 군집화된 것일 수 있다.
행동 인식부(450)는 제 1 특징 구간에 대한 데이터가 포함된 어느 하나의 유사 동작군(610)에 해당하는 행동을 사용자의 행동으로 인식할 수 있다. 예를 들어, 행동 인식부(450)는 제 1 특징 구간에 대한 데이터가 수영 동작군(610)에 포함되었으므로, 사용자의 행동을 '수영'으로 인식할 수 있다.
도 6a의 (c)를 참조하면, 위치 정보 수신부(440)는 웨어러블 디바이스(110)로부터 웨어러블 디바이스(110)의 위치 정보를 수신할 수 있다. 예를 들어, 위치 정보 수신부(410)는 웨어러블 디바이스(110)의 GPS를 통해 측정된 웨어러블 디바이스(110)의 위치 정보(예를 들어, 학교, 집, 회사, 피트니스 센터 등)을 수신할 수 있다.
행동 인식부(450)는 웨어러블 디바이스(110)의 위치 정보를 기반으로 제 1 특징 구간에 데이터를 분류된 복수의 유사 동작군에 대해 제 2 클러스터링을 수행하여 복수의 위치 기반 행동군(620)으로 분류할 수 있다. 예를 들어, 웨어러블 디바이스(110)의 위치 정보가 '수영장'을 나타내는 경우, 제 2 클러스터링을 수행하여 '수영장-수영-배영'과 같이 수영 동작군(610)을 위치 정보를 반영하여 위치 기반 행동군(620)으로 분류할 수 있다.
도 6b는 본 발명의 일 실시예에 따른 트리 구조의 위치 기반 행동군을 도시한 예시적인 도면이다. 도 6b를 참조하면, 행동 인식부(450)는 사용자의 동작을 인식하여 소분류로 분류할 수 있다.
소분류(630)는 제 1 특징 데이터에 대해 인식된 사용자의 모든 동작을 나타내며, 소분류(630)는 예를 들어, {a1, a2, a3, ..., b1, b2, b3, ..., c1, c2, c3, ..., d1, d2, d3, ..., e1, e2, e3, ..., f1, f2, f3, ..., g1, g2, g3, ..., h1, h2, h3, ..., i1, i2, i3, ..., j1, j2, j3, ..., k1, k2, k3, ..., l1, l2, l3, ...}과 같이 구성될 수 있다. 소분류(630)는 예를 들어, 걷기, 운전하기, 책보기, 시계보기, 식사하기, 뛰기, 접영 등의 사용자의 모든 동작을 포함할 수 있다.
중분류(640)는 제 1 특징 구간에 대한 데이터가 포함된 어느 하나의 유사 동작군(610)에 해당하는 행동에 기초하여 인식된 사용자의 행동을 나타내며, 중분류(640)는 예를 들어, {A, B, C, D, E, F, G, H, I, J, K, L, ...}과 같이 구성될 수 있다. 여기서, '{a1, a2, a3, ...}'의 집합이 'A'가 되고, '{b1, b2, b3, ...}'의 집합이 'B'가 되고, '{c1, c2, c3, ...}'의 집합이 'C'가 될 수 있다. 예를 들어, 사용자의 동작 중 {접영, 배영, 잠영, 자유형, 걷기, ...}를 포함하는 경우, 이들의 집합으로 사용자의 행동은 '수영'(집합 A)이 인식될 수 있다. 이 때, 일부 행동의 경우 중분류까지만 사용자의 행동이 분류될 수 있다.
대분류(650)는 웨어러블 디바이스(110)의 위치 정보를 기반으로 분류된 복수의 유사 동작군에 대해 제 2 클러스터링을 수행하여 복수의 유사 동작군이 복수의 위치 기반 행동군으로 분류된 것을 나타내며, 대분류(650)는 예를 들어, {Exercise, Office, House, ...}와 같이 구성될 수 있다. 예를 들어, 웨어러블 디바이스(110)의 위치 정보가 '수영장'을 나타내는 경우, 대분류(650)는 'Exercise(수영장)'-수영(A)-접영/배영/잠영/자유형/걷기(a1, a2, a3, a4)로 분류될 수 있다.
다시 도 4로 돌아와서, 행동 인식부(450)는 시계열 분석(Time Series Analysis)을 통해 사용자의 동작 및/또는 행동을 실시간으로 분석하여, 시계열 분석 중 DTW(Dynamic Time Warping)을 이용한 행동인지를 분석할 수도 있다. 여기서, DTW란, 시계열 분석 중 보편적으로 이용하는 음성 인식 기술(16,000Hz or 8,000Hz)로서, 속도 및 시간이 다른 두 시퀀스 사이의 유사성을 측정할 수 있다. 일반적으로 끝점 검출을 통해 분석되며, Warping Path를 통해 데이터 간의 유사도가 측정될 수 있다.
행동 인식부(450)는 각 동작 또는 행동에 대한 임계값(Threshold)를 설정하여 사용자의 동작 및/또는 행동을 인식할 수 있다. 이 때, 임계값 미만의 데이터에 대해서는 사용자의 동작 또는 행동에 대한 인식을 수행하지 않을 수 있다.
이와 같이, 행동 인식부(450)는 동작을 인식하여 집합적 행동 양식에 의해 사용자의 행동을 판단할 수 있다. 이 때, 행동 인식부(450)는 동작별로 데이터를 최적화하기 위해 머신러닝을 이용할 수 있다. 머신러닝은 데이터의 양이 방대해지므로 머신러닝을 통해 데이터 최적화를 수행하여, 각 사용자의 동작 및 행동 데이터를 저장하고, 이를 분석 및 비교하여 데이터를 최적화할 수 있다. 예를 들어, 사용자가 피트니스 운동 중 바이셉스 컬을 수행 중인 경우, 사용자1, 사용자2, 사용자3, ? 등의 데이터가 존재하면, 복수의 사용자들의 데이터를 분석하여 가장 최적의 데이터를 추출할 수 있다.
행동 인식부(450)는 하나의 웨어러블 디바이스(110)로부터 수집한 센서 데이터만을 이용하지 않고, 복수의 웨어러블 디바이스(110)를 통해 센서 데이터를 수집하여 사용자의 행동을 인식할 수 있다. 복수의 웨어러블 디바이스(110)를 이용함으로써, 하나의 웨어러블 디바이스(110)로부터 측정된 센서 데이터를 이용할 때보다, 복수의 웨어러블 디바이스(110)로부터 측정된 센서 데이터를 조합하여 이용함으로써, 높은 정확도로 사용자의 행동을 인식할 수 있다.
행동 인식부(450)는 사용자의 행동이 인식되지 않은 경우, 다양한 방법을 이용하여 사용자의 행동을 분석 및 예측함으로써, 사용자의 행동을 인식할 수 있다.
예를 들어, 사용자의 동작 인식 중 기저장되지 않은 동작 패턴에 해당하는 동작이 인식된 경우, 피드백 전송부(460)에서 해당 동작에 대해 사용자에게 피드백을 전송하여 사용자로부터 직접 해당 피드백에 대한 입력으로 '수영'을 입력받으면, 행동 인식부(450)는 '수영'과 유사한 동작 데이터가 있는지를 비교하여 사용자의 동작 및 행동을 인식할 수 있다.
다른 예를 들어, 행동 인식부(450)는 사용자의 동작이 '배영-걷기-잠영-자유형-걷기-걷기-?-자유형-걷기'의 순으로 인식된 경우, 사용자의 머신러닝을 통해 사용자의 행동을 인식할 수 있다. 이 때, ''에 해당하는 가까운 행동 또는 유사 동작이 존재하지 않으면, 행동 인식부(450)는 해당 데이터를 포함하여 사용자의 행동을 '수영'으로 인식할 수 있다.
행동 인식부(450)는 저장부(410)에서 사용자의 행동이 소정의 시간 내에 행해진 제 1 행동, 제 2 행동, 제 3 행동을 포함하는 행동이 시간 순서에 따라 저장된 경우, 제 1 행동, 제 2 행동, 제 3 행동 각각의 연관성을 판단하고, 각각의 연관성에 기초하여 제 1 행동, 제 2 행동, 제 3 행동 중 어느 하나의 행동을 삭제할 수 있다. 예를 들어, 사용자가 소정의 시간 동안 축구를 하였다고 가정하자. 행동 인식부(450)는 복수의 특징 데이터에 기초하여 사용자의 제 1 행동-축구, 제 2 행동-테니스, 제 3 행동-축구로 인식한 경우, 제 1 행동, 제 2 행동, 제 3 행동 각각의 연관성을 판단할 수 있다. 이 때, 행동 인식부(450)는 사용자가 제 1 행동-축구를 종료한 이후에, 제 2 행동-테니스를 한 것으로 판단할 수 있다. 그러나 제 3 행동-축구가 다시 인식되었으므로, 사용자는 계속 축구를 수행한 것으로 판단하여 연관성이 떨어지는 테니스를 삭제할 수 있다.
피드백 전송부(460)는 인식된 행동에 대한 피드백을 웨어러블 디바이스(110) 또는 사용자 단말(130) 중 적어도 하나로 전송할 수 있다. 피드백은 시간대별 사용자의 행동 이력 및 사용자의 행동 이력에 포함된 적어도 하나의 행동에 대한 행동 정보, 적어도 하나의 행동에 포함된 유의미한 동작 정보 중 적어도 하나 이상을 포함할 수 있다.
시간대별 사용자의 행동 이력은 예를 들어, 12:00~12:30/점심식사, 12:30~13:00/운전, 13:00~14:00/운동, 14:00~16:00/공부 등과 같이 하룻동안 사용자가 행한 행동에 대한 이력을 포함할 수 있다.
사용자의 행동 이력에 포함된 적어도 하나의 행동에 대한 행동 정보는 예를 들어, 사용자가 행한 행동이 운동에 해당하는 경우, 운동과 관련된 상세 피드백으로 운동명, 운동 횟수, 운동 시간 및 실시간 소모 칼로리량, 운동 정확도 중 적어도 하나를 포함하는 동적 피드백 및 운동 방법, 운동 부위, 운동 강도 및 랭킹 중 적어도 하나를 포함하는 정적 피드백을 포함할 수 있다. 구체적으로, 사용자가 '축구'를 한 경우, 피드백 전송부(460)는 뛴 거리, 킥 횟수, 걷기 시간, 쉬는 시간 등을 피드백으로 전송할 수 있으며, 사용자가 '테니스'를 한 경우, 뛴 거리, 스윙횟수 등을 피드백으로 전송할 수 있다.
랭킹은 사용자로 하여금 자신의 신체 조건(예를 들어, 나이, 키, 몸무게, 국가, 성별, 체지방률, 기후, 인종 등)에 기초하여 자신이 수행중인 운동의 수준(즉, 타인과의 비교)을 파악할 수 있도록 할 수 있다.
운동 정확도는 사용자의 움직임에 기초하여 운동 패턴의 유사도를 이용하여 정확도를 계산될 수 있다. 또한, 운동 정확도를 통해 사용자의 자세를 3차원 좌표로 변환하여 사용자의 자세에 대한 코칭을 제공할 수도 있다. 예를 들어, 운동 정확도을 이용하여 각 센서의 축별 레퍼런스 데이터와 사용자의 특징 구간에 대한 센서 데이터(실시간 데이터) 간의 좌표값의 비교를 통해 사용자의 잘못된 자세(예를 들어, 손목 꺾임, 몸의 쏠림 등)를 실시간으로 코칭할 수 있다.
소모 칼로리량은 쿼터니언 변환 후, 움직임의 변위량에 따라 칼로리가 계산될 수 있다. 이 때, 칼로리는 성별, 나이, 체중, 심박수, 시간에 따른 활동 레벨에 기초하여 계산될 수 있다. 활동 레벨은 쿼터니언 변위량과 운동 부위 레벨에 따라 산출될 수 있다. 예를 들어, 소모 칼로리량은 특징 구간에 대한 센서 데이터가 3차원 좌표 또는 쿼터니언으로 변환된 후, 움직임의 변위량에 따라 소모 칼로리량이 계산될 수 있다. 소모 칼로리량은 예를 들어, 수학식 1을 통해 도출될 수 있다.
(여기서, T = 1회 시간, Activity Level = ((쿼터니언(움직임) 변위량) * (운동 부위 레벨(판별운동명)))이며, 운동 부위 레벨은 MET(Metabolic Equivalent Task) 수치와 관련있음)
쿼터니언 변위량은 사용자의 움직임에 해당하고, 변위량은 사용자의 웨어러블 디바이스(110)가 움직인 거리를 의미한다. 소모 칼로리량은 사용자가 착용한 웨어러블 디바이스(110)의 움직인 거리를 측정하고, 기존 칼로리 계산 공식에 쿼터니언 변위량을 변수로 하여 계산될 수 있다. 여기서, 소모 칼로리량은 모든 운동에서 평균을 '1'로 하고, 변위량이 적은 운동의 경우 1보다 낮게, 변위량이 큰 운동의 경우 1보다 크게 정의하여 계산될 수 있다. 이 때, 소모 칼로리량은 운동 횟수에 따라 변화되며, 예를 들어, 팔운동의 경우, 근육의 움직임이 전신운동보다 낮기 때문에 활동 레벨이 낮게 설정되며, 전신 운동의 경우, 활동 레벨이 높게 설정될 수 있다.
운동 강도는 주, 월, 분기 단위로 사용자의 운동량이 파악되면, 운동을 수행한 비율에 따라 운동 강도가 피드백으로 제공될 수 있다. 운동 가이드는 사용자의 운동 자세에 대한 정확도가 계산되어 운동 자세에 대한 가이드를 피드백으로 웨어러블 디바이스(110) 또는 사용자 단말(130)로 제공할 수 있다. 사용자의 운동 데이터를 머신러닝을 통해 분석함으로써, 사용자에게 운동 자세를 가이드하고, 사용자에게 적합한 운동을 추천하고, 사용자가 수행 중인 운동의 운동 강도를 추천할 수 있다. 또한, 운동별로 각각의 칼로리 소모량을 측정하여 사용자에게 제공할 수 있다.
이를 통해, 웨어러블 디바이스(110)를 착용한 사용자는 자신이 수행한 행동에 대한 피드백을 웨어러블 디바이스(110)의 디스플레이를 통해 직관적으로 확인할 수 있다.
또한, 피드백 전송부(460)는 사용자와 비슷한 특성(예를 들어, 키, 나이, 직업, 몸무게, 국가, 성별, 체지방률, 기후, 인종, 지역 등)의 다른 사용자와 비교한 피드백을 전송할 수 있다. 예를 들어, 피드백 전송부(460)는 "당신은 현재 회사에서 8시간, 집에서 4시간, 수면 8시간, 출퇴근 4시간을 보내고 있습니다. 이는, 당신과 비슷한 연령대의 사람들에 비해 평균 회사에서 보내는 시간 80%, 출퇴근 시간 250%, 집에서 시간 60%, 수면 시간 120%로 행동하고 계십니다. 따라서, 출퇴근 시간의 감소가 요구됩니다."와 같은 피드백을 전송할 수 있다. 다른 예를 들어, 피드백 전송부(460)는 다른 사용자들에게 추천 받은 행동에 대한 피드백을 웨어러블 디바이스(110)로 전송할 수 있다. 이를 통해, 다른 사용자들이 추천한 행동을 사용자에게 추천함으로써, 사용자로 하여금 좋은 행동을 할 수 있도록 유도할 수 있다.
적어도 하나의 행동에 포함된 유의미한 동작 정보는 예를 들어, 스윙 자세, 축구 뛴 거리, 운전시간, 사무실에서 앉아있던 시간, 화장실 이용 여부, 헬스 운동 횟수, 운동인지, 이동 거리 등을 포함할 수 있다.
이 때, 인식된 사용자의 행동이 부정적 행동을 포함하는 경우, 별도의 주의 피드백이 포함될 수도 있다. 예를 들어, 사용자가 하룻동안 흡연을 10회한 경우, "오늘 하루 흡연을 10회 하셨어요. 건강을 위해 조금 줄이는 편이 좋겠어요."와 같은 주의 피드백이 제공될 수 있다.
피드백 전송부(460)는 행동 인식부(440)에서 사용자의 행동의 인식 시, 예측하지 못한 동작이 인식된 경우, 해당 동작에 대해 사용자에게 피드백을 전송할 수 있다. 이 때, 사용자로부터 직접 해당 피드백에 대한 입력받을 수 있다.
등록부(470)는 기저장된 동작 패턴 데이터와 제 1 특징 구간에 대한 데이터와 기저장된 매칭되는 동작 패턴 데이터가 존재하지 않는 경우, 등록부(470)는 사용자로부터 해당 동작 패턴 데이터에 대한 입력을 수신할 수 있다.
또는, 등록부(470)는 사용자로부터 별도의 동작 패턴 및 동작명을 입력받고, 입력받은 동작 패턴 데이터 및 동작명을 데이터베이스에 저장하여 동작 데이터로 등록할 수 있다.
이러한 과정을 통해 사용자로부터 운동 동작과 같은 동작 패턴을 입력받아 사용자가 자신만의 운동을 생성하도록 할 수도 있다. 또한, 생성된 운동은 다른 사용자와 공유될 수도 있다.
도 7은 본 발명의 일 실시예에 따른 행동 인식 서버에서 행동에 대한 피드백을 제공하는 방법의 순서도이다. 도 7에 도시된 행동 인식 서버(120)에서 행동에 대한 피드백을 제공하는 방법은 도 1 내지 도 6b에 도시된 실시예에 따른 행동 피드백 제공 시스템(1)에 의해 시계열적으로 처리되는 단계들을 포함한다. 따라서, 이하 생략된 내용이라고 하더라도 도 1 내지 도 6b에 도시된 실시예에 따른 행동 인식 서버(120)에서 행동에 대한 피드백을 제공하는 방법에도 적용된다.
단계 S710에서 행동 인식 서버(120)는 웨어러블 디바이스(110)에 내장된 복수의 센서에 의해 소정 시간 동안 측정된 복수의 센서 데이터(Sensor Data)를 웨어러블 디바이스로부터 수신할 수 있다.
단계 S720에서 행동 인식 서버(120)는 센서 데이터로부터 적어도 둘 이상의 특이점을 검출할 수 있다.
단계 S730에서 행동 인식 서버(120)는 적어도 둘 이상의 특이점을 포함하는 제 1 특징 구간에 대한 데이터와 기저장된 복수의 동작 패턴 데이터 간의 유사도에 기초하여 사용자의 행동을 인식할 수 있다.
단계 S740에서 행동 인식 서버(120)는 인식된 행동에 대한 피드백을 웨어러블 디바이스(110) 또는 사용자 단말(130) 중 적어도 하나로 전송할 수 있다.
상술한 설명에서, 단계 S710 내지 S740은 본 발명의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 전환될 수도 있다.
도 1 내지 도 7을 통해 설명된 웨어러블 디바이스 및 서버에서 행동에 대한 피드백을 제공하는 방법은 컴퓨터에 의해 실행되는 매체에 저장된 컴퓨터 프로그램 또는 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 또한, 도 1 내지 도 7을 통해 설명된 웨어러블 디바이스 및 서버에서 행동에 대한 피드백을 제공하는 방법은 컴퓨터에 의해 실행되는 매체에 저장된 컴퓨터 프로그램의 형태로도 구현될 수 있다.
컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
110: 웨어러블 디바이스
120: 서버
130: 사용자 단말
210: 센서 데이터 수집부
220: 전송부
230: 피드백 수신부
240: 피드백 출력부
410: 저장부
420: 센서 데이터 수신부
430: 특이점 검출부
440: 행동 인식부
450: 위치 정보 수신부
460: 피드백 전송부
470: 등록부
120: 서버
130: 사용자 단말
210: 센서 데이터 수집부
220: 전송부
230: 피드백 수신부
240: 피드백 출력부
410: 저장부
420: 센서 데이터 수신부
430: 특이점 검출부
440: 행동 인식부
450: 위치 정보 수신부
460: 피드백 전송부
470: 등록부
Claims (19)
- 행동에 대한 피드백을 제공하는 서버에 있어서,
웨어러블 디바이스에 내장된 복수의 센서에 의해 소정 시간 동안 측정된 복수의 센서 데이터(Sensor Data)를 상기 웨어러블 디바이스로부터 수신하는 센서 데이터 수신부;
상기 센서 데이터로부터 적어도 둘 이상의 특이점을 검출하는 특이점 검출부;
상기 적어도 둘 이상의 특이점을 포함하는 제 1 특징 구간에 대한 데이터와 기저장된 복수의 동작 패턴 데이터 간의 유사도에 기초하여 사용자의 행동을 인식하는 행동 인식부; 및
상기 인식된 행동에 대한 피드백을 웨어러블 디바이스 또는 사용자 단말 중 적어도 하나로 전송하는 피드백 전송부를 포함하는, 행동 인식 서버.
- 제 1 항에 있어서,
상기 특이점 검출부는 상기 센서 데이터로부터 피크값, 밸리, 제로 크로싱, 그래프의 넓이, 곡률, 시간, 각도, 가속도, 거리 및 궤도 중 적어도 하나에 기초하여 상기 적어도 둘 이상의 특이점을 검출하는 것인, 행동 인식 서버.
- 제 1 항에 있어서,
상기 행동 인식부는 머신러닝을 이용하여 상기 제 1 특징 구간에 대한 데이터와 상기 기저장된 복수의 동작 패턴 데이터 간의 유사도를 분석하고, 상기 분석된 유사도에 기초하여 상기 제 1 특징 구간에 대한 데이터에 해당하는 동작을 인식하는 것인, 행동 인식 서버.
- 제 3 항에 있어서,
상기 복수의 동작 패턴 각각에 대응하는 동작 데이터를 데이터베이스에 저장하는 저장부
를 더 포함하는 것인, 행동 인식 서버.
- 제 3 항에 있어서,
상기 행동 인식부는,
상기 제 1 특징 구간에 대한 데이터를 포함하는 복수의 특징 구간에 대한 데이터에 대해 제 1 클러스터링을 수행하여 상기 복수의 특징 구간에 대한 데이터를 복수의 유사 동작군으로 군집화하고,
상기 제 1 특징 구간에 대한 데이터가 포함된 어느 하나의 유사 동작군에 해당하는 행동을 상기 사용자의 행동으로 인식하는 것인, 행동 인식 서버.
- 제 4 항에 있어서,
상기 웨어러블 디바이스로부터 상기 웨어러블 디바이스의 위치 정보를 수신하는 위치 정보 수신부
를 더 포함하는 것인, 행동 인식 서버.
- 제 5 항에 있어서,
상기 행동 인식부는 상기 웨어러블 디바이스의 위치 정보를 기반으로 상기 분류된 복수의 유사 동작군에 대해 제 2 클러스터링을 수행하여 상기 복수의 유사 동작군을 복수의 위치 기반 행동군으로 분류하는 것인, 행동 인식 서버.
- 제 5 항에 있어서,
상기 저장부는 상기 인식된 사용자의 행동을 시간 순서에 따라 저장하고,
상기 저장된 행동은 소정의 시간 내에 행해진 제 1 행동, 제 2 행동, 제 3 행동을 포함하고,
상기 행동 인식부는 상기 제 1 행동, 제 2 행동, 제 3 행동 각각의 연관성을 판단하고, 상기 각각의 연관성에 기초하여 상기 제 1 행동, 제 2 행동, 제 3 행동 중 어느 하나의 행동을 삭제하는 것인, 행동 인식 서버.
- 제 1 항에 있어서,
상기 피드백은 시간대별 상기 사용자의 행동 이력 및 상기 사용자의 행동 이력에 포함된 적어도 하나의 행동에 대한 행동 정보, 상기 적어도 하나의 행동에 포함된 유의미한 동작 정보 중 적어도 하나 이상을 포함하는 것인, 행동 인식 서버.
- 서버에서 수행되는 행동에 대한 피드백을 제공하는 방법에 있어서,
웨어러블 디바이스에 내장된 복수의 센서에 의해 소정 시간 동안 측정된 복수의 센서 데이터(Sensor Data)를 상기 웨어러블 디바이스로부터 수신하는 단계;
상기 센서 데이터로부터 적어도 둘 이상의 특이점을 검출하는 단계;
상기 적어도 둘 이상의 특이점을 포함하는 제 1 특징 구간에 대한 데이터와 기저장된 복수의 동작 패턴 데이터 간의 유사도에 기초하여 사용자의 행동을 인식하는 단계; 및
상기 인식된 행동에 대한 피드백을 웨어러블 디바이스 또는 사용자 단말 중 적어도 하나로 전송하는 단계를 포함하는, 행동 인식 방법.
- 제 10 항에 있어서,
상기 특이점을 검출하는 단계는, 상기 센서 데이터로부터 피크값, 밸리, 제로 크로싱, 그래프의 넓이, 곡률, 시간, 각도, 가속도, 거리 및 궤도 중 적어도 하나에 기초하여 상기 적어도 둘 이상의 특이점을 검출하는 단계를 포함하는 것인, 행동 인식 방법.
- 제 10 항에 있어서,
상기 행동을 인식하는 단계는, 머신러닝을 이용하여 상기 제 1 특징 구간에 대한 데이터와 상기 기저장된 복수의 동작 패턴 데이터 간의 유사도를 분석하고, 상기 분석된 유사도에 기초하여 상기 제 1 특징 구간에 대한 데이터에 해당하는 동작을 인식하는 단계를 포함하는 것인, 행동 인식 방법.
- 제 12 항에 있어서,
상기 복수의 동작 패턴 각각에 대응하는 동작 데이터를 데이터베이스에 저장하는 단계
를 더 포함하는 것인, 행동 인식 방법.
- 제 13 항에 있어서,
상기 제 1 특징 구간에 대한 데이터에 해당하는 동작을 인식하는 단계는,
상기 제 1 특징 구간에 대한 데이터를 포함하는 복수의 특징 구간에 대한 데이터에 대해 제 1 클러스터링을 수행하여 상기 복수의 특징 구간에 대한 데이터를 복수의 유사 동작군으로 군집화하는 단계; 및
상기 제 1 특징 구간에 대한 데이터가 포함된 어느 하나의 유사 동작군에 해당하는 행동을 상기 사용자의 행동으로 인식하는 단계를 포함하는 것인, 행동 인식 방법.
- 제 14 항에 있어서,
상기 웨어러블 디바이스로부터 상기 웨어러블 디바이스의 위치 정보를 수신하는 단계
를 더 포함하는 것인, 행동 인식 방법.
- 제 15 항에 있어서,
상기 제 1 특징 구간에 대한 데이터에 해당하는 동작을 인식하는 단계는, 상기 웨어러블 디바이스의 위치 정보를 기반으로 상기 분류된 복수의 유사 동작군에 대해 제 2 클러스터링을 수행하여 상기 복수의 유사 동작군을 복수의 위치 기반 행동군으로 분류하는 것인, 행동 인식 방법.
- 제 16 항에 있어서,
상기 데이터베이스에 저장하는 단계는, 상기 인식된 사용자의 행동을 시간 순서에 따라 저장하는 단계를 포함하고,
상기 저장된 행동은 소정의 시간 내에 행해진 제 1 행동, 제 2 행동, 제 3 행동을 포함하고,
상기 인식된 사용자의 행동을 시간 순서에 따라 저장하는 단계는, 상기 제 1 행동, 제 2 행동, 제 3 행동 각각의 연관성을 판단하는 단계; 상기 각각의 연관성에 기초하여 상기 제 1 행동, 제 2 행동, 제 3 행동 중 어느 하나의 행동을 삭제하는 단계를 포함하는 것인, 행동 인식 방법.
- 제 10 항에 있어서,
상기 피드백은 시간대별 상기 사용자의 행동 이력 및 상기 사용자의 행동 이력에 포함된 적어도 하나의 행동에 대한 행동 정보, 상기 적어도 하나의 행동에 포함된 유의미한 동작 정보 중 적어도 하나 이상을 포함하는 것인, 행동 인식 방법.
- 웨어러블 디바이스에서 행동에 대한 피드백을 제공하는 방법에 있어서,
상기 웨어러블 디바이스에 내장된 복수의 센서에 의해 측정된 복수의 센서 데이터(Sensor Data)를 수집하는 단계;
상기 수집된 복수의 센서 데이터(Sensor Data)를 행동 인식 서버로 전송하는 단계;
상기 행동 인식 서버로부터 상기 복수의 센서 데이터에 기초하여 인식된 사용자의 행동에 대한 피드백을 수신하는 단계 및
상기 사용자의 행동은 적어도 둘 이상의 특이점을 포함하는 제 1 특징 구간에 대한 데이터와 기저장된 복수의 동작 패턴 데이터 간의 유사도에 기초하여 인식되고,
상기 적어도 둘 이상의 특이점은 상기 복수의 센서데이터로부터 검출되는 것인, 행동 인식 방법.
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170141523 | 2017-10-27 | ||
| KR20170141523 | 2017-10-27 | ||
| KR1020170141522 | 2017-10-27 | ||
| KR20170141522 | 2017-10-27 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20190047648A true KR20190047648A (ko) | 2019-05-08 |
| KR102089002B1 KR102089002B1 (ko) | 2020-03-13 |
Family
ID=66580527
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020180130283A KR102089002B1 (ko) | 2017-10-27 | 2018-10-29 | 행동에 대한 피드백을 제공하는 웨어러블 디바이스 및 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102089002B1 (ko) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020242009A1 (ko) * | 2019-05-29 | 2020-12-03 | 서울대학교산학협력단 | 척추 동작 분석 시스템 및 척추 동작 분석 방법 |
| WO2021257651A1 (en) * | 2020-06-19 | 2021-12-23 | Micron Technology, Inc. | Integrated sensor device with deep learning accelerator and random access memory |
| WO2021257372A1 (en) * | 2020-06-19 | 2021-12-23 | Micron Technology, Inc. | Wearable electronic device with built-in intelligent monitoring implemented using deep learning accelerator and random access memory |
| KR20220023259A (ko) * | 2020-08-20 | 2022-03-02 | 부산대학교 산학협력단 | 통증 행동 모니터링 시스템 및 이를 이용한 통증 관리 방법 |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102489418B1 (ko) | 2021-03-22 | 2023-01-19 | 유에프유헬스 주식회사 | 웨어러블 디바이스를 이용한 헬스케어 데이터 제공 시스템 및 방법 |
| KR20230070849A (ko) | 2021-11-15 | 2023-05-23 | 울산과학기술원 | Csi 패턴변화와 표준편차를 이용한 예측장치 및 그 방법 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011081431A (ja) * | 2009-10-02 | 2011-04-21 | Sony Corp | 行動パターン解析システム、携帯端末、行動パターン解析方法、及びプログラム |
| JP2015532841A (ja) * | 2012-09-07 | 2015-11-16 | ザ リージェンツ オブ ザ ユニヴァーシティー オブ カリフォルニアＴｈｅ Ｒｅｇｅｎｔｓ Ｏｆ Ｔｈｅ Ｕｎｉｖｅｒｓｉｔｙ Ｏｆ Ｃａｌｉｆｏｒｎｉａ | マルチセンサ無線式腹部監視装置、システムおよび方法 |
| US20150374280A1 (en) * | 2013-02-06 | 2015-12-31 | Corehab S.R.L. | Belt for guiding the activation of the core muscles |
| JP2016097228A (ja) * | 2014-11-26 | 2016-05-30 | 株式会社日立システムズ | 行動分類システム、行動分類装置及び行動分類方法 |
| US20160325143A1 (en) * | 2014-09-23 | 2016-11-10 | Fitbit, Inc. | Hybrid angular motion sensors |
| KR101733746B1 (ko) * | 2015-10-26 | 2017-05-08 | 주식회사 스탠딩에그 | 사용자 컨텍스트 기반 움직임 카운팅 방법, 이를 수행하는 센서 장치 및 웨어러블 장치 |
| KR20170082742A (ko) * | 2016-01-07 | 2017-07-17 | 국민대학교산학협력단 | 멀티 모달 센서를 이용한 신체 운동 형태 판단 및 이를 이용한 운동량별 소모 에너지 측정 시스템 |
| KR20170095691A (ko) * | 2016-02-15 | 2017-08-23 | 부산외국어대학교 산학협력단 | Ict기반 근력트레이닝시스템 제어방법 |
| KR20180064885A (ko) * | 2016-12-06 | 2018-06-15 | 동서대학교산학협력단 | 웨어러블 디바이스를 이용한 운동 관리 시스템 및 방법 |
-
2018
- 2018-10-29 KR KR1020180130283A patent/KR102089002B1/ko active IP Right Grant
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011081431A (ja) * | 2009-10-02 | 2011-04-21 | Sony Corp | 行動パターン解析システム、携帯端末、行動パターン解析方法、及びプログラム |
| JP2015532841A (ja) * | 2012-09-07 | 2015-11-16 | ザ リージェンツ オブ ザ ユニヴァーシティー オブ カリフォルニアＴｈｅ Ｒｅｇｅｎｔｓ Ｏｆ Ｔｈｅ Ｕｎｉｖｅｒｓｉｔｙ Ｏｆ Ｃａｌｉｆｏｒｎｉａ | マルチセンサ無線式腹部監視装置、システムおよび方法 |
| US20150374280A1 (en) * | 2013-02-06 | 2015-12-31 | Corehab S.R.L. | Belt for guiding the activation of the core muscles |
| US20160325143A1 (en) * | 2014-09-23 | 2016-11-10 | Fitbit, Inc. | Hybrid angular motion sensors |
| JP2016097228A (ja) * | 2014-11-26 | 2016-05-30 | 株式会社日立システムズ | 行動分類システム、行動分類装置及び行動分類方法 |
| KR101733746B1 (ko) * | 2015-10-26 | 2017-05-08 | 주식회사 스탠딩에그 | 사용자 컨텍스트 기반 움직임 카운팅 방법, 이를 수행하는 센서 장치 및 웨어러블 장치 |
| KR20170082742A (ko) * | 2016-01-07 | 2017-07-17 | 국민대학교산학협력단 | 멀티 모달 센서를 이용한 신체 운동 형태 판단 및 이를 이용한 운동량별 소모 에너지 측정 시스템 |
| KR20170095691A (ko) * | 2016-02-15 | 2017-08-23 | 부산외국어대학교 산학협력단 | Ict기반 근력트레이닝시스템 제어방법 |
| KR20180064885A (ko) * | 2016-12-06 | 2018-06-15 | 동서대학교산학협력단 | 웨어러블 디바이스를 이용한 운동 관리 시스템 및 방법 |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020242009A1 (ko) * | 2019-05-29 | 2020-12-03 | 서울대학교산학협력단 | 척추 동작 분석 시스템 및 척추 동작 분석 방법 |
| WO2021257651A1 (en) * | 2020-06-19 | 2021-12-23 | Micron Technology, Inc. | Integrated sensor device with deep learning accelerator and random access memory |
| WO2021257372A1 (en) * | 2020-06-19 | 2021-12-23 | Micron Technology, Inc. | Wearable electronic device with built-in intelligent monitoring implemented using deep learning accelerator and random access memory |
| US11574100B2 (en) | 2020-06-19 | 2023-02-07 | Micron Technology, Inc. | Integrated sensor device with deep learning accelerator and random access memory |
| US11574174B2 (en) | 2020-06-19 | 2023-02-07 | Micron Technology, Inc. | Wearable electronic device with built-in intelligent monitoring implemented using deep learning accelerator and random access memory |
| KR20220023259A (ko) * | 2020-08-20 | 2022-03-02 | 부산대학교 산학협력단 | 통증 행동 모니터링 시스템 및 이를 이용한 통증 관리 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102089002B1 (ko) | 2020-03-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102089002B1 (ko) | 행동에 대한 피드백을 제공하는 웨어러블 디바이스 및 방법 | |
| de la Concepción et al. | Mobile activity recognition and fall detection system for elderly people using Ameva algorithm | |
| Antar et al. | Challenges in sensor-based human activity recognition and a comparative analysis of benchmark datasets: A review | |
| Quaid et al. | Wearable sensors based human behavioral pattern recognition using statistical features and reweighted genetic algorithm | |
| Vallabh et al. | Fall detection monitoring systems: a comprehensive review | |
| JP7005482B2 (ja) | 多センサ事象相関システム | |
| Mortazavi et al. | Determining the single best axis for exercise repetition recognition and counting on smartwatches | |
| Mitra et al. | KNOWME: a case study in wireless body area sensor network design | |
| CA3146658A1 (en) | Interactive personal training system | |
| CN106445101A (zh) | 识别用户的方法和系统 | |
| US11253747B2 (en) | Automated activity detection and tracking | |
| CN104436615A (zh) | 监视成果的装置和方法 | |
| KR101967342B1 (ko) | 웨어러블 기기 기반 운동 가이드 시스템 | |
| WO2019116658A1 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
| Liu et al. | Opportunities and challenges of wireless human sensing for the smart IoT world: A survey | |
| WO2021218940A1 (zh) | 健身课程推送方法和装置 | |
| Zheng et al. | L-sign: Large-vocabulary sign gestures recognition system | |
| Baldominos et al. | Feature selection for physical activity recognition using genetic algorithms | |
| KR102108180B1 (ko) | 운동에 대한 피드백을 제공하는 웨어러블 디바이스 및 방법 | |
| Faye et al. | A two-level approach to characterizing human activities from wearable sensor data | |
| CN114341947A (zh) | 用于使用可穿戴设备的锻炼类型辨识的系统和方法 | |
| Sharma et al. | AgriAcT: Agricultural Activity Training using multimedia and wearable sensing | |
| CN112286758A (zh) | 信息处理方法、装置、电子设备及计算机可读存储介质 | |
| CN113749650A (zh) | 一种运动信息获取方法和装置 | |
| Gjoreski | Context-based Reasoning in Ambient Intelligence |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| N231 | Notification of change of applicant | ||
| GRNT | Written decision to grant |