KR102613638B1 - 단말에 설치된 어플리케이션 기반의 건강관리 시스템 및 방법 - Google Patents

단말에 설치된 어플리케이션 기반의 건강관리 시스템 및 방법 Download PDF

Info

Publication number
KR102613638B1
KR102613638B1 KR1020220170997A KR20220170997A KR102613638B1 KR 102613638 B1 KR102613638 B1 KR 102613638B1 KR 1020220170997 A KR1020220170997 A KR 1020220170997A KR 20220170997 A KR20220170997 A KR 20220170997A KR 102613638 B1 KR102613638 B1 KR 102613638B1
Authority
KR
South Korea
Prior art keywords
user
motion
application
module
sensing information
Prior art date
Application number
KR1020220170997A
Other languages
English (en)
Inventor
전수형
사비야사치 챠크라보티
김태웅
Original Assignee
주식회사 테렌즈랩스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 테렌즈랩스 filed Critical 주식회사 테렌즈랩스
Priority to KR1020220170997A priority Critical patent/KR102613638B1/ko
Application granted granted Critical
Publication of KR102613638B1 publication Critical patent/KR102613638B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0003—Analysing the course of a movement or motion sequences during an exercise or trainings sequence, e.g. swing for golf or tennis
    • A63B24/0006—Computerised comparison for qualitative assessment of motion sequences or the course of a movement
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0075—Means for generating exercise programs or schemes, e.g. computerized virtual trainer, e.g. using expert databases
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • A63B71/0622—Visual, audio or audio-visual systems for entertaining, instructing or motivating the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0003—Analysing the course of a movement or motion sequences during an exercise or trainings sequence, e.g. swing for golf or tennis
    • A63B24/0006—Computerised comparison for qualitative assessment of motion sequences or the course of a movement
    • A63B2024/0012—Comparing movements or motion sequences with a registered reference
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • A63B71/0622—Visual, audio or audio-visual systems for entertaining, instructing or motivating the user
    • A63B2071/0625—Emitting sound, noise or music
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/40—Acceleration
    • A63B2220/44—Angular acceleration
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/80—Special sensors, transducers or devices therefor
    • A63B2220/806—Video cameras
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/80—Special sensors, transducers or devices therefor
    • A63B2220/83—Special sensors, transducers or devices therefor characterised by the position of the sensor
    • A63B2220/836—Sensors arranged on the body of the user

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

단말에 설치된 어플리케이션 기반의 건강관리 시스템 및 방법이 개시된다.본 발명의 일 실시예에 따른 단말에 설치된 어플리케이션 기반의 건강관리 시스템은, 카메라 모듈, 디스플레이 모듈 및 스피커 모듈을 포함하는 사용자 단말; 사용자의 신체에 착용되는 웨어러블 센서 모듈; 및 상기 사용자 단말에 설치되어 구동되는 어플리케이션;을 포함하며, 상기 어플리케이션은, 상기 카메라 모듈이 촬영한 사용자의 신체 영상 정보를 수신하며 키포인트를 설정하는 제1수신부; 상기 웨어러블 센서 모듈의 센싱 정보를 수신하는 제2수신부; 상기 키포인트와 상기 센싱 정보로부터 사용자의 동작을 인식하는 동작 인식부; 상기 동작 인식부로부터 인식된 사용자의 동작에 대응되는 가상의 동작모델을 생성하는 동작모델 생성부; 다수의 운동 종류에 대응하여 가이드 동작을 수행하는 기준 동작모델이 저장되는 저장부; 및 상기 가상의 동작모델과 상기 기준 동작모델을 비교하여 기 설정된 오차 범위를 벗어나는 경우 상기 디스플레이 모듈 또는 상기 스피커 모듈을 통해 알림을 제공하는 분석부;를 포함한다. 본 발명에 의하면 서버를 거치지 않고 어플리케이션 상에서 직접 사용자의 자세/동작을 분석하며, 외부와 민감한 데이터 송수신 없이 신속하고 정확하게 자세/동작을 분석하여 건강 관리를 할 수 있는 어플리케이션 기반의 건강관리 시스템 및 방법이 제공된다.

Description

단말에 설치된 어플리케이션 기반의 건강관리 시스템 및 방법{APPLICATION-BASED HEALTH MANAGING SYSTEM INSTALLED IN TERMINALS}
본 발명은 단말에 설치된 어플리케이션 기반의 건강관리 시스템 및 방법에 관한 것으로서, 보다 상세하게는 서버를 거치지 않고 어플리케이션 상에서 직접 사용자의 자세/동작을 분석하며, 외부와 민감한 데이터 송수신 없이 신속하고 정확하게 자세/동작을 분석하여 건강 관리를 할 수 있는 어플리케이션 기반의 건강관리 시스템 및 방법에 관한 것이다.
현대사회는 필요 이상의 음식 섭취와 운동 부족으로 인해 비만 인구가 증가하고 있다. 비만은 성인병의 주요인 중 하나로 다양한 질병을 유발한다. 이로 인해 식단관리나 운동 등을 통해 사람들의 건강한 신체를 갖도록 지속적으로 관리해 주는 건강관리 시스템들이 개발되고 있다.
또한, 현대사회에서 스마트기기, PC등의 오랜 사용으로 인해 자세가 부적절한 인구들 또한 증가하고 있으며, 이에 따라 특정신체부위의 통증을 호소하는 인원이 증가하여 자세를 교정할 수 있는 자세교정 시스템도 개발되고 있다.
운동 자세 등 정확한 자세를 배우고 교정받기 위해서 재활센터에서의 재활운동, 피트니스 센터에서의 퍼스널 트레이닝 등을 수행하는데, 가격이 비싸고 시간을 내어 방문하여야하는 단점이 있다.
이에 따라 최근, 가상현실 또는 영상을 통하여 운동 등을 하는 시스템이 출시되고 있으며, 이에 대한 연구도 활발히 진행되고 있다.
나아가, 사용자 자신의 모습을 아바타로 구현하여, 사용자 자신의 동작을 3인칭 시점에서 체크하거나, 전문가의 동작과 사용자의 동작을 실시간으로 비교하는 시스템도 개발되고 있다.
이러한 시스템들은 사용자를 촬영한 영상 등이 서버로 전송되어 분석되는데, 이 과정에서 외부로 민감한 데이터가 송수신되는 문제점이 있다.
또한, 별도의 촬영 장비를 통해 사용자를 촬영하는데 이에 대한 비용적 문제가 있으며 나아가 촬영 영상은 2D로 디스플레이를 통해 표시되므로 3차원 분석에 한계가 있는 실정이다.
대한민국 등록특허 제10-2351089호(2022.01.10.) " 맞춤형 운동 수행 시스템 및 그 방법" 대한민국 공개특허 제10-2022-0098064호(2022.07.11.) "사용자 맞춤형 운동 훈련 방법 및 시스템" 대한민국 공개특허 제10-2022-0112222호(2022.08.10.) "이종의 센서가 구비된 균형 훈련 시스템 및 균형 훈련 시스템에 의해 수행되는 올바른 자세를 판단하기 위한 방법"
본 발명의 일 실시예에 따른 단말에 설치된 어플리케이션 기반의 건강관리 시스템 및 방법은, 단말기기에 내장된 카메라 모듈을 통해 사용자를 촬영하며, 웨어러블 센서 모듈의 센싱 정보를 수신하여, 서버를 거치지 않고 어플리케이션 상에서 직접 사용자의 자세/동작을 분석할 수 있는, 단말에 설치된 어플리케이션 기반의 건강관리 시스템 및 방법을 제공하는 것을 목적으로 한다.
본 발명의 과제들은 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
본 발명의 일 실시예에 따른 단말에 설치된 어플리케이션 기반의 건강관리 시스템은, 카메라 모듈, 디스플레이 모듈 및 스피커 모듈을 포함하는 사용자 단말; 사용자의 신체에 착용되는 웨어러블 센서 모듈; 및 상기 사용자 단말에 설치되어 구동되는 어플리케이션;을 포함하며, 상기 어플리케이션은, 상기 카메라 모듈이 촬영한 사용자의 신체 영상 정보를 수신하며 키포인트를 설정하는 제1수신부; 상기 웨어러블 센서 모듈의 센싱 정보를 수신하는 제2수신부; 상기 키포인트와 상기 센싱 정보로부터 사용자의 동작을 인식하는 동작 인식부; 상기 동작 인식부로부터 인식된 사용자의 동작에 대응되는 가상의 동작모델을 생성하는 동작모델 생성부; 다수의 운동 종류에 대응하여 가이드 동작을 수행하는 기준 동작모델이 저장되는 저장부; 및 상기 가상의 동작모델과 상기 기준 동작모델을 비교하여 기 설정된 오차 범위를 벗어나는 경우 상기 디스플레이 모듈 또는 상기 스피커 모듈을 통해 알림을 제공하는 분석부;를 포함한다.
여기서, 상기 웨어러블 센서 모듈은 자이로 센서를 포함할 수 있다.
여기서, 상기 동작 인식부는, 가상의 공간 좌표계에 상기 키포인트를 배치하여 사용자의 모션을 인식하며, 상기 기준 동작모델은 운동 종류에 대응하여 기준 좌표값 및 이에 대응되는 기준 센싱 정보가 기 저장되며, 상기 분석부는 상기 키포인트의 좌표값과 상기 기준 좌표값을 비교하며, 상기 센싱정보와 상기 기준 센싱 정보를 비교할 수 있다.
본 발명의 일 실시예에 따른 단말에 설치된 어플리케이션 기반의 건강관리 방법은, 사용자 단말에 탑재된 카메라 모듈이 촬용한 사용자의 신체 영상 정보를 상기 사용자 단말에 설치되어 구동되는 어플리케이션이 수신하는 단계; 사용자의 신체에 착용되는 웨어러블 센서 모듈로부터 센싱 정보를 상기 어플리케이션이 수신하는 단계; 상기 신체 영상 정보에 키포인트를 설정하는 단계; 상기 키포인트와 상기 센싱 정보로부터 사용자의 동작을 인식하고 가상의 동작모델을 생성하는 단계; 기 저장된 기준 동작모델과 상기 가상의 동작모델을 비교하여, 기 설정된 오차 범위를 벗어나는 경우 상기 사용자 단말에 탑재된 디스플레이 모듈 또는 스피커 모듈을 통해 알림을 제공하는 분석 단계;를 포함한다.
여기서, 상기 동작모델을 생성하는 단계는, 가상의 공간 좌표계에 상기 키포인트를 배치하여 사용자의 모션을 인식하며, 상기 기 저장된 기준 동작모델은, 운동 종류에 대응하여 기준 좌표값 및 이에 대응되는 기준 센싱 정보가 기 저장되며, 상기 분석 단계는 상기 키포인트의 좌표값과 상기 기준 좌표값을 비교하며, 상기 센싱정보와 상기 기준 센싱 정보를 비교할 수 있다.
본 발명의 실시예들에 의하면 적어도 다음과 같은 효과가 있다.
본 발명에 따른 단말에 설치된 어플리케이션 기반의 건강관리 시스템 및 방법에 의하면, 단말기기에 내장된 카메라 모듈을 통해 사용자를 촬영하며, 웨어러블 센서 모듈을 통해 서버를 거치지 않고 어플리케이션 상에서 직접 사용자의 자세/동작을 분석할 수 있다.
또한, 웨어러블 센서 모듈을 통해 신속하면서도 정확하게 사용자의 자세/동작을 인식할 수 있다.
또한, 서버를 거치지 않고 어플리케이션 상에서 직접 사용자의 자세/동작을 분석함으로써, 외부와 민감한 데이터 송수신 없이 신속하고 정확하게 자세/동작을 분석하여 건강 관리를 할 수 있다.
본 발명에 따른 효과는 이상에서 예시된 내용에 의해 제한되지 않으며, 더욱 다양한 효과들이 본 명세서 내에 포함되어 있다.
도 1은 본 발명의 일 실시예에 따른 단말에 설치된 어플리케이션 기반의 건강관리 시스템의 개략적인 장치도
도 2는 본 발명의 일 실시예에 따른 단말에 설치된 어플리케이션 기반의 건강관리 시스템의 어플리케이션의 개략적인 구성도
도 3은 본 발명의 일 실시예에 따른 단말에 설치된 어플리케이션 기반의 건강관리 시스템의 키포인트 예시도
도 4는 본 발명의 일 실시예에 따른 단말에 설치된 어플리케이션 기반의 건강관리 시스템의 웨어러블 센서 모듈 장착 설명도
도 5는 본 발명의 일 실시예에 따른 단말에 설치된 어플리케이션 기반의 건강관리 시스템의 분석부 설명도
도 6은 본 발명의 일 실시예에 따른 단말에 설치된 어플리케이션 기반의 건강관리 방법의 순서도
도 7은 본 발명의 일 실시예에 따른 단말에 설치된 어플리케이션 기반의 건강관리 방법의 개략적인 분석 로직이다.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예를 도면에 예시하고 이에 대해 상세한 설명에 상세하게 설명한다. 본 발명의 효과 및 특징, 그리고 그것들을 달성하는 방법은 도면과 함께 상세하게 후술되어 있는 실시예를 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예에 한정되는 것이 아니라 다양한 형태로 구현될 수 있으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
설명에 앞서 상세한 설명에 기재된 용어에 대해 설명한다. 이하의 실시예에서, 제1, 제2 등의 용어는 한정적인 의미가 아니라 하나의 구성 요소를 다른 구성 요소와 구별하는 목적으로 사용되었다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다. 또한, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 또한, '포함하다' 또는 '가지다' 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 의미하는 것이고, 하나 이상의 다른 특징들 또는 구성요소가 부가될 가능성을 미리 배제하는 것은 아니다.
또한, 도면에서는 설명의 편의를 위하여 구성 요소들이 그 크기가 과장 또는 축소될 수 있다. 예컨대, 도면에서 나타난 각 구성의 크기 및 두께는 설명의 편의를 위해 임의로 나타내었으므로, 본 발명이 반드시 도시된 바에 한정되지 않는다.
이하, 본 발명에 따른 일 실시예를 첨부된 도면을 참조하여 상세히 설명한다. 첨부 도면을 참조하여 설명함에 있어, 동일하거나 대응하는 구성요소는 동일한 도면 부호를 부여하고 이에 대해 중복되는 설명은 생략한다.
본 발명의 일 실시예에 따른 단말에 설치된 어플리케이션 기반의 건강관리 시스템은, 단말기기에 내장된 카메라 모듈을 통해 사용자를 촬영하며 웨어러블 센서 모듈의 센싱 정보를 수신하여, 서버를 거치지 않고 어플리케이션 상에서 직접 사용자의 자세/동작을 분석하며, 외부와 민감한 데이터 송수신 없이 신속하고 정확하게 자세/동작을 분석하여 건강 관리를 할 수 있는 어플리케이션 기반의 건강관리 시스템 및 방법에 관한 것이다.
도 1은 본 발명의 일 실시예에 따른 단말에 설치된 어플리케이션 기반의 건강관리 시스템의 개략적인 장치도이며, 도 2는 본 발명의 일 실시예에 따른 단말에 설치된 어플리케이션 기반의 건강관리 시스템의 어플리케이션의 개략적인 구성도이며, 도 3은 본 발명의 일 실시예에 따른 단말에 설치된 어플리케이션 기반의 건강관리 시스템의 키포인트 예시도이며, 도 4는 본 발명의 일 실시예에 따른 단말에 설치된 어플리케이션 기반의 건강관리 시스템의 웨어러블 센서 모듈 장착 설명도이며, 도 5는 본 발명의 일 실시예에 따른 단말에 설치된 어플리케이션 기반의 건강관리 시스템의 분석부 설명도이다.
본 발명의 일 실시예에 따른 단말에 설치된 어플리케이션 기반의 건강관리 시스템(1000)은, 사용자 단말(100)과, 웨어러블 센서 모듈(200) 및 어플리케이션(300)을 포함한다. 본 실시예는 서버를 거치지 않고 직접 어플리케이션(300)으로 정보가 전송되어 자세 교정을 통한 건강관리를 할 수 있도록 하는 것으로서, 어플리케이션(300)은 상기 사용자 단말(100)에 설치되어 구동된다.
사용자 단말(100)은 어플리케이션(300)이 설치되어 구동되며 무선통신이 가능한 스마트폰, 태블릿 PC 등의 단말기기를 의미한다.
사용자 단말(100)에는 카메라 모듈(10), 디스플레이 모듈(20) 및 스피커 모듈(30)이 탑재된다.
즉, 사용자의 자세 분석 및 교정을 통한 건강관리를 위해, 어플리케이션(300)이 설치된 사용자 단말(100)의 내장 카메라 모듈(10)을 이용한다.
사용자가 어플리케이션(300)을 실행 후 카메라 모듈(10)을 통해 사용자를 촬영하면, 어플리케이션(300)은 사용자의 신체 영상 정보를 획득한다.
웨어러블 센서 모듈(200)은 사용자의 자세를 보다 정확하게 측정하기 위한 구성이다.
웨어러블 센서 모듈(200)은 사용자의 신체에 착용되는 구성으로서, 보다 상세하게는 사용자 신체의 운동(교정,측정) 대상 부위의 관절에 착용된다. 바람직하게는 복수 개로 마련되어 관절을 사이에 두고 서로 이격되어 착용될 수 있다.
본 실시예에서 웨어러블 센서 모듈(200)은 자이로센서를 포함하며, 나아가 가속도 센서 등을 포함할 수 있다. 즉 웨어러블 센서 모듈(200)은 복수 개의 센서를 포함할 수 있다. 웨어러블 센서 모듈(200)을 통해 착용 부위의 각도, 각속도 등을 센싱할 수 있다.
어플리케이션(300)은 사용자의 자세를 측정하고 이를 교정할 수 있도록 가이드할 수 있도록 하는 소프트웨어이다. 어플리케이션(300)은 상술한 사용자 단말(100) 즉, 사용자를 촬영하는 카메라 모듈(10)이 탑재된 사용자 단말(100)에 설치되어 구동된다.
어플리케이션(300)은 제1수신부(310)와, 제2수신부(320)와, 동작 인식부(330)와, 동작모델 생성부(340)와, 저장부(350) 및 분석부(360)를 포함한다. 제1수신부(310)와 제2수신부(320)는 동일한 구성일 수 있으며, 설명의 편의를 위해 제1, 제2로 구분하여 설명한다.
제1수신부(310)는 카메라 모듈(10)이 촬영한 사용자의 신체 영상 정보를 수신하며, 신체 영상 정보에 키포인트를 설정한다. 키포인트 설정은 어플리케이션(300)에 내장된 AI 알고리즘을 통해 수행될 수 있다.
키포인트는 사용자의 자세/동작을 분석하기 위한 것이다. 제1수신부(310)는 신체 영상 정보를 분석하여 인체 주요 관절을 기준점으로 추출하여 키포인트로 설정한다. 키포인트는 다수 개로 설정된다.
정리하면, 제1수신부(310)는 신체 영상 정보인 이미지를 분석하여 사용자의 신체 이미지를 머리, 몸통, 팔, 다리로 분류하고, 각 신체 분류의 주요 관절을 기준점으로 하여 키포인트로 설정한다.
제2수신부(320)는 웨어러블 센서 모듈(200)의 센싱 정보를 수신한다. 즉, 웨어러블 센서 모듈(200)이 착용된 신체 부위의 각도, 각속도, 가속도 등의 정보를 수신한다.
제2수신부(320)는 제1수신부(310)와 달리 블루투스와 같은 무선통신을 이용하여 센싱 정보를 수신한다. 즉 제1수신부(310)는 동일한 사용자 단말(100)에 내장된 카메라 모듈(10)이 촬영한 신체 영상 정보를 직접 획득할 수 있으며, 제2수신부(320)는 웨어러블 센서 모듈(200)로부터 무선통신을 통해 센싱 정보를 수신한다.
동작 인식부(330)는 키포인트와 센싱 정보로부터 사용자의 동작을 인식한다.
동작 인식부(330)는 가상의 공간 좌표계에 키포인트를 배치하여 사용자의 자세/동작을 인식할 수 있다. 공간좌표계는 X-Y-Z축으로 이루어진 가상의 공간으로서, 각 키포인트들을 공간좌표계 상의 좌표값으로 환산하여, 키포인트들의 위치를 분석함으로써 사용자의 자세/동작을 인식할 수 있다.
나아가 웨어러블 센서 모듈(200)로부터 사용자의 자세/동작을 보다 정확하게 인식할 수 있다. 사용자 단말(100)의 카메라 모듈(10)을 통해 사용자를 촬영하는 경우 신체 영상 정보는 2D 이미지로 인식된다. 즉 도면 상에서 X-Y축에 대한 정보는 키포인트로 분석할 수 있지만, Z축에 대한 정보는 분석할 수 없는 문제점이 있다. 그러나, 키포인트 뿐만 아니라 웨어러블 센서 모듈(200)을 통해 수신한 각도, 각속도, 가속도 등의 정보를 함께 분석함으로써 이에 대한 문제점을 해결할 수 있다.
예를 들어, 사용자가 팔을 드는 동작을 행하는 경우, 팔을 든 동작 자체는 키포인트 분석을 통해 인식 가능하지만, 팔이 앞/뒤로 기울어진 경우 2D 이미지로는 분석하기 어려운 문제점이 있다. 그러나, 팔에 웨어러블 센서 모듈(200)이 착용되며 이로부터 각도를 측정할 수 있어 팔이 앞/뒤로 기울어진 각도 또한 인식할 수 있다.
그리고 웨어러블 센서 모듈(200)을 통해 키포인트 인식이 보다 신속하고 간편하게 수행될 수 있다. 일 예시로, 어깨 운동을 수행하는 경우 웨어러블 센서 모듈(200)은 어깨 관절을 기준으로 팔과 가슴에 각각 착용될 수 있다. 이 경우 키포인트는 어깨 관절 부위일 수 있다. 신체 영상 정보에서 어깨 관절을 기준으로 하여 웨어러블 센서 모듈(200)이 서로 이격되어 표시되며, 웨어러블 센서 모듈(200)의 파악이 용이하므로 상대적으로 키포인트를 보다 용이하게 파악할 수 있다.
즉, 웨어러블 센서 모듈 사이의 관절을 주요 기점으로 키포인트를 설정하여 보다 용이하게 파악할 수 있다.
본 발명은 서버를 거치지 않고 직접 어플리케이션(300)에서 사용자의 자세를 분석하기 때문에, 분석 속도에서 상대적으로 단점이 있을 수 있으나, 웨어러블 센서 모듈(200)을 통해 분석 정확도가 향상될 수 있으며 나아가 분석 속도 또한 향상시킬 수 있다.
나아가 서버를 거치지 않기 때문에 네트워크가 요구되지 않으며 민감한 데이터의 전달 없이 사용자의 자세/동작을 분석할 수 있다.
동작모델 생성부(340)는 동작 인식부(330)로부터 인식된 사용자의 동작에 대응되는 가상의 동작모델을 생성하는 구성이다.
동작모델은 사용자의 동작을 후술하는 기준 동작모델과 비교하기 위해 생성된다. 동작모델은 반드시 아바타/캐릭터 등과 같이 디스플레이에 표시되어야 하는 것은 아니며, 키포인트 및 센싱정보로부터 분석된 데이터(좌표값 등)일 수 있다.
저장부(350)는 다수의 운동 종류에 대응하여 가이드 동작을 수행하는 기준 동작모델이 저장되는 구성이다.
사용자는 자세 교정/운동 시 원하는 운동 종류를 선택할 수 있으며, 다수의 운동 종류 중 사용자가 정하는 운동 종류에 대응하여 기준 동작모델이 생성되어 디스플레이 모듈(20)에 표시된다.
기준 동작모델은 운동 종류에 대응하여 정확한 자세를 수행하는 가상의 캐릭터/아바타일 수 있다.
디스플레이 모듈(20)에 표시되는 기준 동작모델의 이미지 변화를 참고하여 사용자는 자세 교정/운동을 수행할 수 있다. 즉 사용자는 기준 동작모델과 동일한 자세로 움직인다.
기준 동작모델은 운동 종류에 대응하여 기준 좌표값 및 이에 대응되는 기준 센싱 정보가 기 저장될 수 있다.
기준 동작모델은 사용자가 참고하여 정확한 자세를 따라할 수 있도록 하며 나아가 사용자의 자세가 정확한지 여부를 비교하기 위한 기준이다. 따라서, 키포인트에 대응되는 기준 좌표값과, 이에 대응하여 기준 센싱 정보가 기 저장된다.
분석부(360)는 동작 인식부(330)로부터 인식된 사용자의 동작인 동작모델과, 기준 동작모델을 서로 비교하여 자세/동작의 일치 여부를 분석하는 구성이다. 분석부(360)는 동작모델의 키포인트의 좌표값과 기준 좌표값을 비교하며, 또한, 웨어러블 센서 모듈(200)의 센싱정보와 기준 센싱정보를 서로 비교하여 자세/동작의 일치 여부를 분석한다.
분석부(360)는 가상의 동작모델과 기준 동작모델을 비교하여 기 설정된 오차 범위를 벗어나는 경우 디스플레이 모듈(20) 및/또는 스피커 모듈(30)을 통해 알림을 제공할 수 있다. 예를 들어 사용자의 동작을 그래프화하여 디스플레이 모듈(20)에 표시하거나, 및/또는 스피커 모듈(30)을 통해 음향으로 출력함으로써 사용자의 동작 개선을 격려할 수 있다.
다음으로 본 발명의 일 실시예에 따른 단말에 설치된 어플리케이션 기반의 건강관리 방법에 대해 설명한다.
도 6은 본 발명의 일 실시예에 따른 단말에 설치된 어플리케이션 기반의 건강관리 방법의 순서도이며, 도 7은 본 발명의 일 실시예에 따른 단말에 설치된 어플리케이션 기반의 건강관리 방법의 개략적인 분석 로직이다.
본 발명의 일 실시예에 따른 단말에 설치된 어플리케이션 기반의 건강관리 방법(S1000)은, 신체 영상 정보 수신단계(S100)와, 센싱 정보 수신단계(S200)와, 키포인트 설정단계(S300)와, 동작모델 생성단계(S400) 및 분석 단계(S500)를 포함한다.
신체 영상 정보 수신단계(S100)는, 사용자 단말(100)에 설치되어 구동되는 어플리케이션(300)이 사용자 단말(100)에 탑재된 카메라 모듈(10)이 촬용한 사용자의 신체 영상 정보를 수신하는 단계이다. 사용자가 어플리케이션(300)을 실행 후 카메라 모듈(10)을 통해 사용자를 촬영하면, 어플리케이션(300)의 제1수신부(310)는 사용자의 신체 영상 정보를 수신한다.
센싱 정보 수신단계(S200)는, 사용자가 착용한 웨어러블 센서 모듈(200)로부터 센싱정보를 수신하는 단계이다. 웨어러블 센서 모듈(200)은 자이로센서, 가속도 센서 등 복수 개의 센서를 포함할 수 있으며, 이로부터 웨어러블 센서 모듈(200)이 착용된 신체 부위의 각도, 각속도, 가속도 등의 정보를 어플리케이션(300)의 제2수신부(320)가 블루투스와 같은 무선통신을 통해 수신한다.
키포인트 설정단계(S300)는 신체 영상 정보로부터 사용자의 자세/동작을 분석하기 위한 것이다. 제1수신부(310)는 신체 영상 정보를 분석하여 인체 주요 관절을 기준점으로 추출하여 키포인트로 설정한다.
동작모델 생성단계(S400)는 사용자의 동작에 대응되는 가상의 동작모델을 생성하는 단계이다. 동작 인식부(330)는 가상의 공간 좌표계에 키포인트를 배치하여 사용자의 자세/동작을 인식하며, 웨어러블 센서 모듈(200)의 센싱정보를 통해 키포인트의 3차원 가상 좌표 상에서의 정확한 위치를 파악할 수 있다.
분석 단계(S500)는 기 저장된 기준 동작모델과 가상의 동작모델을 서로 비교하여 자세/동작의 일치 여부를 분석하는 단계이다. 기준 동작모델은 사용자가 참고하여 정확한 자세를 따라할 수 있도록 하며 나아가 사용자의 자세가 정확한지 여부를 비교하기 위한 기준으로서, 운동 종류에 대응하여 정확한 자세를 수행하는 가상의 캐릭터/아바타일 수 있으며, 운동 종류에 대응하여 기준 좌표값 및 이에 대응되는 기준 센싱 정보가 기 저장될 수 있다.
어플리케이션(300)의 분석부(360)는 동작모델과, 기준 동작모델을 서로 비교하여 자세/동작의 일치 여부를 분석한다. 구체적으로 동작모델의 키포인트의 좌표값과 기준 좌표값을 비교하며, 또한, 웨어러블 센서 모듈(200)의 센싱정보와 기준 센싱정보를 서로 비교하여 자세/동작의 일치 여부를 분석한다.
가상의 동작모델과 기준 동작모델을 비교하여 기 설정된 오차 범위를 벗어나는 경우 디스플레이 모듈(20) 및/또는 스피커 모듈(30)을 통해 알림을 제공할 수 있다. 예를 들어 사용자의 동작을 그래프화하여 디스플레이 모듈(20)에 표시하거나, 및/또는 스피커 모듈(30)을 통해 음향으로 출력함으로써 사용자의 동작 개선을 격려할 수 있다.
상술한 바와 같이, 본 발명에 의하면 단말기기에 내장된 카메라 모듈을 통해 사용자를 촬영하며 웨어러블 센서 모듈의 센싱 정보를 수신하여, 서버를 거치지 않고 어플리케이션 상에서 직접 사용자의 자세/동작을 분석하며, 외부와 민감한 데이터 송수신 없이 신속하고 정확하게 자세/동작을 분석하여 건강 관리를 할 수 있는 어플리케이션 기반의 건강관리 시스템 및 방법이 제공된다.
본 발명에서 모든 예들 또는 예시적인 용어(예를 들어, 등등)의 사용은 단순히 본 발명을 상세히 설명하기 위한 것으로서 청구범위에 의해 한정되지 않는 이상 상기 예들 또는 예시적인 용어로 인해 본 발명의 범위가 한정되는 것은 아니다. 또한 해당 기술 분야의 통상의 기술자는 다양한 수정, 조합 및 변경이 부가된 청구범위 또는 그 균등물의 범주 내에서 설계 조건 및 팩터(factor)에 따라 구성될 수 있음을 알 수 있다.
따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 청구범위 뿐만 아니라, 이 청구범위와 균등한 또는 이로부터 등가적으로 변경된 모든 범위는 본 발명의 사상의 범주에 속한다고 할 것이다.
1000 : 단말에 설치된 어플리케이션 기반의 건강관리 시스템
100 : 사용자 단말 200 : 웨어러블 센서 모듈
300 : 어플리케이션 310 : 제1수신부
320 : 제2수신부 330 : 동작 인식부
340 : 동작모델 생성부 350 : 저장부
360 : 분석부
S1000 : 단말에 설치된 어플리케이션 기반의 건강관리 방법
S100 : 신체 영상 정보 수신단계 S200 : 센싱 정보 수신단계
S300 : 키포인트 설정단계 S400 : 동작모델 생성단계
S500 : 분석 단계

Claims (5)

  1. 카메라 모듈, 디스플레이 모듈 및 스피커 모듈을 포함하는 사용자 단말;
    복수 개로 마련되어 사용자의 관절을 사이에 두고 서로 이격되어 사용자의 신체에 착용되는 웨어러블 센서 모듈; 및
    상기 사용자 단말에 설치되어 구동되는 어플리케이션;을 포함하며,
    상기 어플리케이션은,
    상기 사용자 단말에 설치된 상기 카메라 모듈이 촬영한 사용자의 신체 영상 정보를 서버를 거치지 않고 직접 수신하며 키포인트를 설정하는 제1수신부;
    상기 웨어러블 센서 모듈의 센싱 정보를 수신하는 제2수신부;
    상기 키포인트와 상기 센싱 정보로부터 사용자의 동작을 인식하는 동작 인식부;
    상기 동작 인식부로부터 인식된 사용자의 동작에 대응되는 가상의 동작모델을 생성하는 동작모델 생성부;
    다수의 운동 종류에 대응하여 가이드 동작을 수행하는 기준 동작모델이 저장되는 저장부; 및
    상기 가상의 동작모델과 상기 기준 동작모델을 비교하여 기 설정된 오차 범위를 벗어나는 경우 상기 디스플레이 모듈 또는 상기 스피커 모듈을 통해 알림을 제공하는 분석부;를 포함하며,
    상기 제1수신부는 상기 카메라 모듈이 촬영한 사용자의 신체 영상 정보에 표시된 상기 웨어러블 센서 모듈로부터 상기 키포인트를 설정하는
    단말에 설치된 어플리케이션 기반의 건강관리 시스템.
  2. 제1항에 있어서,
    상기 웨어러블 센서 모듈은 자이로 센서를 포함하는
    단말에 설치된 어플리케이션 기반의 건강관리 시스템.
  3. 제2항에 있어서,
    상기 동작 인식부는,
    가상의 공간 좌표계에 상기 키포인트를 배치하여 사용자의 모션을 인식하며,
    상기 기준 동작모델은 운동 종류에 대응하여 기준 좌표값 및 이에 대응되는 기준 센싱 정보가 기 저장되며,
    상기 분석부는 상기 키포인트의 좌표값과 상기 기준 좌표값을 비교하며, 상기 센싱정보와 상기 기준 센싱 정보를 비교하는
    단말에 설치된 어플리케이션 기반의 건강관리 시스템.
  4. 사용자 단말에 탑재된 카메라 모듈이 촬영한 사용자의 신체 영상 정보를 상기 사용자 단말에 설치되어 구동되는 어플리케이션의 제1수신부가 서버를 거치지 않고 직접 수신하는 단계;
    사용자의 신체에 착용되는 웨어러블 센서 모듈로부터 센싱 정보를 상기 어플리케이션의 제2수신부가 수신하는 단계;
    상기 제1수신부가 상기 신체 영상 정보에 키포인트를 설정하는 단계;
    상기 키포인트와 상기 센싱 정보로부터 사용자의 동작을 인식하고 가상의 동작모델을 생성하는 단계;
    기 저장된 기준 동작모델과 상기 가상의 동작모델을 비교하여, 기 설정된 오차 범위를 벗어나는 경우 상기 사용자 단말에 탑재된 디스플레이 모듈 또는 스피커 모듈을 통해 알림을 제공하는 분석 단계;를 포함하며,
    상기 제1수신부는 상기 카메라 모듈이 촬영한 사용자의 신체 영상 정보에 표시된 상기 웨어러블 센서 모듈로부터 상기 키포인트를 설정하는
    단말에 설치된 어플리케이션 기반의 건강관리 방법.
  5. 제4항에 있어서,
    상기 동작모델을 생성하는 단계는, 가상의 공간 좌표계에 상기 키포인트를 배치하여 사용자의 모션을 인식하며,
    상기 기 저장된 기준 동작모델은, 운동 종류에 대응하여 기준 좌표값 및 이에 대응되는 기준 센싱 정보가 기 저장되며,
    상기 분석 단계는 상기 키포인트의 좌표값과 상기 기준 좌표값을 비교하며, 상기 센싱정보와 상기 기준 센싱 정보를 비교하는
    단말에 설치된 어플리케이션 기반의 건강관리 방법.
KR1020220170997A 2022-12-08 2022-12-08 단말에 설치된 어플리케이션 기반의 건강관리 시스템 및 방법 KR102613638B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220170997A KR102613638B1 (ko) 2022-12-08 2022-12-08 단말에 설치된 어플리케이션 기반의 건강관리 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220170997A KR102613638B1 (ko) 2022-12-08 2022-12-08 단말에 설치된 어플리케이션 기반의 건강관리 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR102613638B1 true KR102613638B1 (ko) 2023-12-14

Family

ID=89166851

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220170997A KR102613638B1 (ko) 2022-12-08 2022-12-08 단말에 설치된 어플리케이션 기반의 건강관리 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR102613638B1 (ko)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150073754A (ko) * 2013-12-23 2015-07-01 경북대학교 산학협력단 동작 훈련 장치 및 동작 훈련 방법
KR101859549B1 (ko) * 2017-11-15 2018-05-21 (주)컬처릿 웨어러블 센서 기반의 동작 훈련 가이드 시스템 및 그 방법
KR20200081629A (ko) * 2018-12-27 2020-07-08 이진욱 관절각 비교를 통한 단체 댄스 평가 장치 및 그 방법
KR102351089B1 (ko) 2020-08-27 2022-01-14 주식회사 코어무브먼트 맞춤형 운동 수행 시스템 및 그 방법
KR102355008B1 (ko) * 2021-10-26 2022-01-25 아이픽셀 주식회사 동작 인식 기반 상호작용 방법 및 기록 매체
KR20220061511A (ko) * 2020-11-06 2022-05-13 지현우 운동 자세 및 운동량 가이드 장치, 방법 및 프로그램
KR20220090261A (ko) * 2020-12-22 2022-06-29 삼성전자주식회사 피트니스 피드백을 제공하는 전자 장치, 이의 제어 방법 및 서버
KR20220098064A (ko) 2020-12-31 2022-07-11 동국대학교 산학협력단 사용자 맞춤형 운동 훈련 방법 및 시스템
KR20220112222A (ko) 2019-11-26 2022-08-10 주식회사 네오펙트 이종의 센서가 구비된 균형 훈련 시스템 및 균형 훈련 시스템에 의해 수행되는 올바른 자세를 판단하기 위한 방법

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150073754A (ko) * 2013-12-23 2015-07-01 경북대학교 산학협력단 동작 훈련 장치 및 동작 훈련 방법
KR101859549B1 (ko) * 2017-11-15 2018-05-21 (주)컬처릿 웨어러블 센서 기반의 동작 훈련 가이드 시스템 및 그 방법
KR20200081629A (ko) * 2018-12-27 2020-07-08 이진욱 관절각 비교를 통한 단체 댄스 평가 장치 및 그 방법
KR20220112222A (ko) 2019-11-26 2022-08-10 주식회사 네오펙트 이종의 센서가 구비된 균형 훈련 시스템 및 균형 훈련 시스템에 의해 수행되는 올바른 자세를 판단하기 위한 방법
KR102351089B1 (ko) 2020-08-27 2022-01-14 주식회사 코어무브먼트 맞춤형 운동 수행 시스템 및 그 방법
KR20220061511A (ko) * 2020-11-06 2022-05-13 지현우 운동 자세 및 운동량 가이드 장치, 방법 및 프로그램
KR20220090261A (ko) * 2020-12-22 2022-06-29 삼성전자주식회사 피트니스 피드백을 제공하는 전자 장치, 이의 제어 방법 및 서버
KR20220098064A (ko) 2020-12-31 2022-07-11 동국대학교 산학협력단 사용자 맞춤형 운동 훈련 방법 및 시스템
KR102355008B1 (ko) * 2021-10-26 2022-01-25 아이픽셀 주식회사 동작 인식 기반 상호작용 방법 및 기록 매체

Similar Documents

Publication Publication Date Title
KR102141288B1 (ko) 홈 트레이닝 제공 방법 및 시스템
US11134893B2 (en) Limb movement gesture judgment method and device
JP5356690B2 (ja) ユーザの身体運動の範囲を追跡するための方法、システム、およびプログラム
KR20190019824A (ko) 자세 가이드 제공 방법 및 그 장치
US11504580B2 (en) Posture coaching system and method for weight training by motion pattern
US9024976B2 (en) Postural information system and method
KR20190044952A (ko) 스마트 미러를 이용하여 실시간 운동 동작을 분석 및 디스플레이하기 위한 방법 및 이를 위한 스마트 미러
KR101974902B1 (ko) 스마트 운동 장치, 시스템 및 제어방법
JP2020141806A (ja) 運動評価システム
KR101636171B1 (ko) 스켈레톤 트래킹 방법 및 이를 이용한 스켈레톤 트래킹 시스템
CN115240247A (zh) 一种用于进行动作和姿态检测的识别方法及系统
KR102613638B1 (ko) 단말에 설치된 어플리케이션 기반의 건강관리 시스템 및 방법
KR102012963B1 (ko) 신축성 센서를 이용한 골프 스윙 코칭 시스템 및 골프 스윙 코칭 방법
KR20200119753A (ko) 모션 패턴에 따른 근력 운동 자세 분석 시스템 및 방법
KR102515825B1 (ko) 스마트 미러 기반의 자세 교정 시스템
JP7482471B2 (ja) 学習モデルの生成方法
KR20230061876A (ko) 모션인식 기반의 운동관리시스템 및 운동관리방법
KR20220117399A (ko) 온라인 움직임 교정시스템
KR20220110383A (ko) 모션 패턴에 따른 근력 운동 자세 분석 시스템 및 방법
Li et al. Fitness coach: Design and implementation of a smart mirror based on automatic image recognition and action model comparison
KR20210067718A (ko) 골프 스윙 동작 피드백 제공 장치 및 방법
US20220328159A1 (en) Range of motion determination
US11911147B1 (en) Body sway measurement system
US20240165464A1 (en) Apparatus for artificial intelligence exercise recommendation by analyzing data collected by posture measurement sensor and driving method thereof
KR102593121B1 (ko) 웨어러블기기를 이용한 인공지능 자세교정 운동추천 시스템 및 방법

Legal Events

Date Code Title Description
GRNT Written decision to grant