KR20230005693A - 태그를 사용한 운동관리 헬스케어 서비스 시스템 - Google Patents
태그를 사용한 운동관리 헬스케어 서비스 시스템 Download PDFInfo
- Publication number
- KR20230005693A KR20230005693A KR1020210086723A KR20210086723A KR20230005693A KR 20230005693 A KR20230005693 A KR 20230005693A KR 1020210086723 A KR1020210086723 A KR 1020210086723A KR 20210086723 A KR20210086723 A KR 20210086723A KR 20230005693 A KR20230005693 A KR 20230005693A
- Authority
- KR
- South Korea
- Prior art keywords
- exercise
- motion
- user
- image
- trainer
- Prior art date
Links
- 230000033001 locomotion Effects 0.000 claims abstract description 228
- 238000005259 measurement Methods 0.000 claims abstract description 78
- 238000004458 analytical method Methods 0.000 claims abstract description 44
- 238000000034 method Methods 0.000 claims abstract description 28
- 238000002156 mixing Methods 0.000 claims abstract description 20
- 238000004891 communication Methods 0.000 claims abstract description 18
- 210000003205 muscle Anatomy 0.000 claims description 47
- 210000000577 adipose tissue Anatomy 0.000 claims description 43
- 239000000203 mixture Substances 0.000 claims description 34
- 238000001514 detection method Methods 0.000 claims description 30
- 230000036541 health Effects 0.000 claims description 26
- 210000000629 knee joint Anatomy 0.000 claims description 23
- 210000002310 elbow joint Anatomy 0.000 claims description 18
- 210000001596 intra-abdominal fat Anatomy 0.000 claims description 13
- 210000000544 articulatio talocruralis Anatomy 0.000 claims description 12
- 210000000245 forearm Anatomy 0.000 claims description 12
- 230000008859 change Effects 0.000 claims description 11
- 238000010191 image analysis Methods 0.000 claims description 11
- 230000008569 process Effects 0.000 claims description 10
- 210000002027 skeletal muscle Anatomy 0.000 claims description 10
- 208000008589 Obesity Diseases 0.000 claims description 8
- 235000020824 obesity Nutrition 0.000 claims description 8
- 238000012360 testing method Methods 0.000 claims description 8
- 230000037237 body shape Effects 0.000 claims description 7
- 238000007619 statistical method Methods 0.000 claims description 2
- 238000012937 correction Methods 0.000 abstract description 22
- 238000012549 training Methods 0.000 abstract description 8
- 230000036544 posture Effects 0.000 description 62
- 210000001503 joint Anatomy 0.000 description 22
- 230000009471 action Effects 0.000 description 17
- 210000001624 hip Anatomy 0.000 description 14
- 230000037396 body weight Effects 0.000 description 12
- 230000029058 respiratory gaseous exchange Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 210000003414 extremity Anatomy 0.000 description 9
- 210000002414 leg Anatomy 0.000 description 7
- 239000000835 fiber Substances 0.000 description 6
- 210000003127 knee Anatomy 0.000 description 6
- 210000001015 abdomen Anatomy 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 4
- 238000010835 comparative analysis Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 210000004394 hip joint Anatomy 0.000 description 4
- 210000000707 wrist Anatomy 0.000 description 4
- 230000017531 blood circulation Effects 0.000 description 3
- 210000000476 body water Anatomy 0.000 description 3
- 238000007405 data analysis Methods 0.000 description 3
- NYPJDWWKZLNGGM-RPWUZVMVSA-N esfenvalerate Chemical compound C=1C([C@@H](C#N)OC(=O)[C@@H](C(C)C)C=2C=CC(Cl)=CC=2)=CC=CC=1OC1=CC=CC=C1 NYPJDWWKZLNGGM-RPWUZVMVSA-N 0.000 description 3
- 210000002683 foot Anatomy 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 208000000112 Myalgia Diseases 0.000 description 2
- 238000011871 bio-impedance analysis Methods 0.000 description 2
- 230000001684 chronic effect Effects 0.000 description 2
- 238000013079 data visualisation Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000005611 electricity Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- JYGXADMDTFJGBT-VWUMJDOOSA-N hydrocortisone Chemical compound O=C1CC[C@]2(C)[C@H]3[C@@H](O)C[C@](C)([C@@](CC4)(O)C(=O)CO)[C@@H]4[C@@H]3CCC2=C1 JYGXADMDTFJGBT-VWUMJDOOSA-N 0.000 description 2
- 208000013465 muscle pain Diseases 0.000 description 2
- 210000002832 shoulder Anatomy 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 239000003053 toxin Substances 0.000 description 2
- 231100000765 toxin Toxicity 0.000 description 2
- 108700012359 toxins Proteins 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 241000282412 Homo Species 0.000 description 1
- 206010049565 Muscle fatigue Diseases 0.000 description 1
- 241000282320 Panthera leo Species 0.000 description 1
- 230000003187 abdominal effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 210000000617 arm Anatomy 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 230000037213 diet Effects 0.000 description 1
- 235000005911 diet Nutrition 0.000 description 1
- 210000001513 elbow Anatomy 0.000 description 1
- YYJNOYZRYGDPNH-MFKUBSTISA-N fenpyroximate Chemical compound C=1C=C(C(=O)OC(C)(C)C)C=CC=1CO/N=C/C=1C(C)=NN(C)C=1OC1=CC=CC=C1 YYJNOYZRYGDPNH-MFKUBSTISA-N 0.000 description 1
- 210000003811 finger Anatomy 0.000 description 1
- 229960000890 hydrocortisone Drugs 0.000 description 1
- 238000002847 impedance measurement Methods 0.000 description 1
- 230000037323 metabolic rate Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000003739 neck Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008855 peristalsis Effects 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 230000002040 relaxant effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 210000000614 rib Anatomy 0.000 description 1
- 230000036421 sense of balance Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 210000002784 stomach Anatomy 0.000 description 1
- 239000004753 textile Substances 0.000 description 1
- 210000003371 toe Anatomy 0.000 description 1
- 210000005010 torso Anatomy 0.000 description 1
- 210000000689 upper leg Anatomy 0.000 description 1
- 238000004260 weight control Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
- G16H20/30—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to physical therapies or activities, e.g. physiotherapy, acupressure or exercising
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
- A63B24/0003—Analysing the course of a movement or motion sequences during an exercise or trainings sequence, e.g. swing for golf or tennis
- A63B24/0006—Computerised comparison for qualitative assessment of motion sequences or the course of a movement
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
- A63B24/0075—Means for generating exercise programs or schemes, e.g. computerized virtual trainer, e.g. using expert databases
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
- G16H10/60—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
- A63B24/0003—Analysing the course of a movement or motion sequences during an exercise or trainings sequence, e.g. swing for golf or tennis
- A63B24/0006—Computerised comparison for qualitative assessment of motion sequences or the course of a movement
- A63B2024/0012—Comparing movements or motion sequences with a registered reference
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B2220/00—Measuring of physical parameters relating to sporting activity
- A63B2220/80—Special sensors, transducers or devices therefor
- A63B2220/803—Motion sensors
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B2220/00—Measuring of physical parameters relating to sporting activity
- A63B2220/80—Special sensors, transducers or devices therefor
- A63B2220/806—Video cameras
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B2220/00—Measuring of physical parameters relating to sporting activity
- A63B2220/80—Special sensors, transducers or devices therefor
- A63B2220/83—Special sensors, transducers or devices therefor characterised by the position of the sensor
- A63B2220/836—Sensors arranged on the body of the user
Landscapes
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Physical Education & Sports Medicine (AREA)
- Engineering & Computer Science (AREA)
- Epidemiology (AREA)
- Medical Informatics (AREA)
- Primary Health Care (AREA)
- Public Health (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Medical Treatment And Welfare Office Work (AREA)
Abstract
태그를 사용한 운동관리 헬스케어 서비스 시스템 및 방법이 개시된다.
태그를 사용한 운동관리 헬스케어 서비스 시스템은 헬스, 피트니스, 요가, 스포츠 운동 시에, 웹서버와 데이터베이스를 구비하며, 운동 및 전문가 트레이너별로 전문가 트레이너의 영상과 운동 콘텐츠를 사용자 단말로 제공하여 운동관리 헬스케어 서비스를 제공하는 운동 관리 서버; 및 상기 운동 관리 서버에 유무선 통신망을 통해 연결되며, 사람의 인체의 각 부위에 부착되는 반짝이는 태그를 부착하고, 트레이너 영상을 보고 따라 운동하는 카메라로 촬영된 사용자의 운동 영상에 대하여 인체의 각 부위에 부착되는 반짝이는 태그를 인식하며, 알파 블렌딩을 사용한 동작을 감지하되, 트레이너의 운동 영상과 사용자의 운동 영상의 이미지의 관절 포인트 마디들을 잇고 운동 영상 분석을 통해 각 부분 동작이 일치하는 지를 사람의 인체의 측정 포인트들의 각 관절의 정점과 정점 사이의 실선 각도로 비교되어 트레이너 운동 영상과 사용자의 운동 영상의 동작 일치도를 점수화하여 상호 비교하며, 해당 운동의 전문가 트레이너 영상과의 동작 일치도 점수와 동작 일치도가 점수화 된 그래프를 출력하고, 체육 과학의 운동 역학 측면에서 자세 교정을 위한 운동관리 헬스케어 서비스를 제공하는 헬스, 피트니스, 요가, 크로스핏, 스포츠 운동을 위한 운동 어플(App)이 설치된 사용자 단말을 포함한다.
태그를 사용한 운동관리 헬스케어 서비스 시스템은 헬스, 피트니스, 요가, 스포츠 운동 시에, 웹서버와 데이터베이스를 구비하며, 운동 및 전문가 트레이너별로 전문가 트레이너의 영상과 운동 콘텐츠를 사용자 단말로 제공하여 운동관리 헬스케어 서비스를 제공하는 운동 관리 서버; 및 상기 운동 관리 서버에 유무선 통신망을 통해 연결되며, 사람의 인체의 각 부위에 부착되는 반짝이는 태그를 부착하고, 트레이너 영상을 보고 따라 운동하는 카메라로 촬영된 사용자의 운동 영상에 대하여 인체의 각 부위에 부착되는 반짝이는 태그를 인식하며, 알파 블렌딩을 사용한 동작을 감지하되, 트레이너의 운동 영상과 사용자의 운동 영상의 이미지의 관절 포인트 마디들을 잇고 운동 영상 분석을 통해 각 부분 동작이 일치하는 지를 사람의 인체의 측정 포인트들의 각 관절의 정점과 정점 사이의 실선 각도로 비교되어 트레이너 운동 영상과 사용자의 운동 영상의 동작 일치도를 점수화하여 상호 비교하며, 해당 운동의 전문가 트레이너 영상과의 동작 일치도 점수와 동작 일치도가 점수화 된 그래프를 출력하고, 체육 과학의 운동 역학 측면에서 자세 교정을 위한 운동관리 헬스케어 서비스를 제공하는 헬스, 피트니스, 요가, 크로스핏, 스포츠 운동을 위한 운동 어플(App)이 설치된 사용자 단말을 포함한다.
Description
본 발명은 운동관리 헬스케어 서비스 시스템에 관한 것으로, 보다 상세하게는 운동기구를 사용한 헬스, 피트니스, 요가, 크로스핏, 스포츠 운동 시에 스포츠 과학의 운동 역학 측면에서 컴퓨터의 웹 또는 스마트폰/태블릿 PC, STB/TV 디스플레이 단말의 운동 어플(App)을 유무선 통신망을 통해 운동 관리 서버에 접속하여 트레이너의 영상과 운동 콘텐츠를 사용자 단말로 제공하고, 사람의 인체의 각 부위(사람의 인체의 측정 포인트들)에 태그 또는 센서를 부착하고, 트레이너의 영상을 보고 따라 운동하는 카메라로 촬영된 사용자의 운동 영상에 대하여 운동하는 사람의 인체의 각 부위(사람의 인체의 측정 포인트들)에 부착되는 태그 또는 센서를 인식하며, 알파 블렌딩(alpha blending)을 사용한 동작을 감지하여 인체의 척추와 관절의 움직임을 검출하고, 운동의 자세의 위치를 검출하며, 운동량(p = mv)을 계산하며, 트레이너의 운동 영상과 사용자의 운동 영상의 관절 포인트 마디들을 잇고 운동 영상 비교분석을 통해, 트레이너 영상과의 사용자 영상의 동작 일치도 점수와 동작 일치도가 점수화 된 그래프를 출력하며, 자세 교정을 위한 운동관리 헬스케어 서비스를 제공하는, 태그를 사용한 운동관리 헬스케어 서비스 시스템에 관한 것이다.
종래의 운동자세 교정방법은 3차원 모션센서를 활용하여 교정하는 방법을 사용하였다. 3차원 모션 캡쳐를 위하여 다수의 모션 센서를 활용했으며, 다수의 센서에서 발생하는 대량의 데이터를 처리하기 위해 센서 모듈에 우수한 성능의 프로세서가 요구되었다. 3차원 모션센서를 활용하여 운동자세를 교정하는 방법은 다수의 3차원 모션 센서가 요구되기 때문에 모듈 가격이 비싸고 복잡한 시스템이 필요하였다.
이와 관련된 선행기술1로써, 특허 등록번호 10-2123743에서는 "피트니스 자세교정을 위한 운동분석 방법"이 등록되어 있으며, 운동자세 분석방법, 운동자세 분석장치 및 기록매체가 제공된다. 운동자세 분석방법은 섬유센서로부터 측정신호를 입력받고, 입력받은 측정신호에서 사용자가 운동시 측정된 신호인 유효영역신호를 추출하며, 추출된 유효영역신호를 이용하여 사용자의 운동자세를 분석할 수 있게 하여, 사용자의 운동자세를 더욱 정확하게 분석하고 잘못된 운동자세를 교정할 수 있게 된다.
도 1은 종래의 운동자세 분석 장치의 구성도이다. 도 2는 종래의 운동자세 분석 방법에 의해 사용자의 운동자세의 정확도를 판단하는 전체 과정을 도시한 도면이다.
운동자세 분석 장치를 이용한 운동자세 분석 방법은
섬유센서로부터 측정신호를 입력받는 단계; 입력받은 측정신호에서 사용자가 운동시 측정된 신호인 유효영역신호를 추출하는 단계; 및 추출된 유효영역신호를 이용하여 사용자의 운동자세를 분석하는 단계를 포함하고,
상기 유효영역신호를 추출하는 단계는, 입력받은 측정신호에서 시간에 따른 측정신호 변화율의 유효피크(Peak)와 평균주기를 이용하여 유효영역신호를 추출하고,
상기 유효영역신호를 추출하는 단계는, 시간에 따른 측정신호 변화율 그래프에서 전체 피크 간격의 특정 범위 내에 해당되는 피크 간격의 평균을 구한 평균주기와 전체 피크들 중에서 평균주기를 가지는 피크인 유효피크를 선택하는 단계; 및
첫번째 유효피크의 시점부터 마지막 유효피크의 시점에서 평균주기가 지났을 때까지의 구간을 유효영역신호로 추출하는 단계를 포함한다.
상기 섬유센서는 복수 개이고, 상기 유효영역신호를 추출하는 단계는, 섬유센서 각각으로부터 입력된 측정신호의 각 평균에너지를 특정 임계값과 비교함으로써, 복수의 섬유센서 중 사용자의 운동을 감지하는 섬유센서를 선택하고, 선택된 섬유센서로부터 입력받은 측정신호에서 유효영역신호를 추출한다.
이와 관련된 선행기술2로써, 특허 등록번호 10-1962578에서는 "VR을 이용한 피트니스 운동 서비스 제공 시스템"이 등록되어 있다.
이와 관련된 선행기술3로써, 특허 공개번호 10-2020-0055243에서는 "운동 검사 연동 피트니스 스케줄링 서비스 제공 방법 및 그를 위한 서버 장치"가 공개되어 있다.
최근, 헬스장, 피트니스, 요가, 스포츠 운동에서 실시되는 운동은 스포츠 과학, 운동 역학 측면에서 사용자에게 웹 또는 모바일 단말기를 사용하여 운동 어플(App)을 사용하여 유무선 통신망을 통해 운동 관리 서버에 접속하여 운동 콘텐츠를 제공하고 있다.
그러나, 헬스, 피트니스, 요가, 스포츠 운동 시에, 기존의 운동관리 시스템은 운동 관리 서버에서 트레이너의 영상과 운동 콘텐츠를 스마트폰/태블릿 PC로 제공하고, 사람의 인체의 각 부위에 반짝이는 태그를 부착하여 카메라로 촬영된 사용자의 운동 영상을 제공하며, 알파 블렌딩을 사용한 동작 인식에 의해 인체의 척추와 관절의 움직임을 검출하여 운동의 자세의 위치를 검출하고, 운동 영상 분석을 위해 카메라로 촬영된 사용자의 운동 영상을 트레이너 영상과 비교 분석, 트레이너의 운동 영상과 사용자의 운동 영상의 관절 마디들을 잇고 이를 영상 분석을 통해 상호 비교하여 동작 일치도가 점수화 된 그래프를 표출하며, 운동시 빅 데이터를 분석하여 데이터를 시각화하여 운동 관련 빅 데이터 분석과 데이터 시각화, 시계열적인 통계 데이터를 막대 그래프, 꺽은선 그래프로 제공하고, 운동 시 자세 교정을 제공하는 운동관리 헬스케어 서비스와 홈 트레이닝 서비스를 제공하지 않았다.
상기 문제점을 해결하기 위한 본 발명의 목적은 운동기구를 사용한 헬스, 피트니스, 요가, 크로스핏, 스포츠 운동 시에 스포츠 과학의 운동 역학 측면에서 컴퓨터의 웹 또는 스마트폰/태블릿 PC, STB/TV 디스플레이 단말의 운동 어플(App)을 유무선 통신망을 통해 운동 관리 서버에 접속하여 트레이너의 영상과 운동 콘텐츠를 사용자 단말로 제공하고, 사람의 인체의 각 부위(사람의 인체의 측정 포인트들)에 태그 또는 센서를 부착하고, 트레이너의 영상을 보고 따라 운동하는 카메라로 촬영된 사용자의 운동 영상에 대하여 운동하는 사람의 인체의 각 부위(사람의 인체의 측정 포인트들)에 부착되는 태그 또는 센서를 인식하며, 알파 블렌딩(alpha blending)을 사용한 동작을 감지하여 인체의 척추와 관절의 움직임을 검출하고, 운동의 자세의 위치를 검출하며, 운동량(p = mv)을 계산하며, 트레이너의 운동 영상과 사용자의 운동 영상의 관절 포인트 마디들을 잇고 운동 영상 비교분석을 통해, 트레이너 영상과의 사용자 영상의 동작 일치도 점수와 동작 일치도가 점수화 된 그래프를 출력하며, 자세 교정을 위한 운동관리 헬스케어 서비스를 제공하는, 태그를 사용한 운동관리 헬스케어 서비스 시스템을 제공한다.
본 발명의 목적을 달성하기 위해, 태그를 사용한 운동관리 헬스케어 서비스 시스템은 헬스, 피트니스, 요가, 스포츠 운동 시에, 웹서버와 데이터베이스를 구비하며, 운동 및 전문가 트레이너별로 전문가 트레이너의 영상과 운동 콘텐츠를 사용자 단말로 제공하여 운동관리 헬스케어 서비스를 제공하는 운동 관리 서버; 및 상기 운동 관리 서버에 유무선 통신망을 통해 연결되며, 사람의 인체의 각 부위에 부착되는 반짝이는 태그를 부착하고, 트레이너 영상을 보고 따라 운동하는 카메라로 촬영된 사용자의 운동 영상에 대하여 인체의 각 부위에 부착되는 반짝이는 태그를 인식하며, 알파 블렌딩을 사용한 동작을 감지하되, 상기 트레이너의 운동 영상과 상기 사용자의 운동 영상의 이미지의 관절 포인트 마디들을 잇고 운동 영상 분석을 통해 각 부분 동작이 일치하는지를 사람의 인체의 측정 포인트들의 각 관절의 정점과 정점 사이의 실선 각도로 비교되어 상기 트레이너의 운동 영상과 상기 사용자의 운동 영상의 동작 일치도를 점수화하여 상호 비교하며, 해당 운동의 전문가 트레이너 영상과의 동작 일치도 점수와 동작 일치도가 점수화 된 그래프를 출력하는 헬스, 피트니스, 요가, 크로스핏, 스포츠 운동을 위한 운동 어플(App)이 설치된 사용자 단말을 포함한다.
본 발명의 태그를 사용한 운동관리 헬스케어 서비스 시스템은 운동기구를 사용한 헬스, 피트니스, 요가, 크로스핏, 스포츠 운동 시에 스포츠 과학의 운동 역학 측면에서 컴퓨터의 웹 또는 스마트폰/태블릿 PC, STB/TV 디스플레이 단말의 운동 어플(App)을 유무선 통신망을 통해 운동 관리 서버에 접속하여 트레이너의 영상과 운동 콘텐츠를 사용자 단말로 제공하고, 사람의 인체의 각 부위(사람의 인체의 측정 포인트들)에 태그 또는 센서를 부착하고, 트레이너의 영상을 보고 따라 운동하는 카메라로 촬영된 사용자의 운동 영상에 대하여 운동하는 사람의 인체의 각 부위(사람의 인체의 측정 포인트들)에 부착되는 태그 또는 센서를 인식하며, 알파 블렌딩(alpha blending)을 사용한 동작을 감지하여 인체의 척추와 관절의 움직임을 검출하고, 운동의 자세의 위치를 검출하며, 운동량(p = mv)을 계산하며, 트레이너의 운동 영상과 사용자의 운동 영상의 관절 포인트 마디들을 잇고 운동 영상 비교분석을 통해, 트레이너 영상과의 사용자 영상의 동작 일치도 점수와 동작 일치도가 점수화 된 그래프를 출력하며, 자세 교정을 위한 운동관리 헬스케어 서비스를 제공하는 효과가 있다.
운동 기구를 사용하는 헬스, PT(Personal Training), 피트니스, 요가, 크로스핏, 스포츠 운동 시에, 체육과학의 운동 역학 측면에서, 전문가 트레이너의 영상을 기준으로 헬스장의 기구 운동, 역기 들기, 팔굽혀 펴기, 피트니스 동작, 요가 동작 자세 교정, 테니스 자세 교정, 스크린 골프 자세 교정에 사용되며, 사용자가 운동 어플(App)이 설치된 스마트폰과 TV 디스플레이를 보면서 운동관리 헬스케어 서비스를 제공하게 되었다.
도 1은 종래의 운동자세 분석 장치의 구성도이다.
도 2는 종래의 운동자세 분석 방법에 의해 사용자의 운동자세의 정확도를 판단하는 전체 과정을 도시한 도면이다.
도 3은 태그를 사용한 운동관리 헬스케어 서비스 시스템 구성도이다.
도 4는 본 발명에 따른 태그를 사용한 운동관리 헬스케어 서비스 시스템 구성도이다.
도 5는 본 발명의 실시예에 의한 스마트폰의 피트니스 운동 어플(App)의 메인 화면 및 로그인 화면이다.
도 6은 스마트폰의 피트니스 운동 어플(App)의 시작 화면 및 챌린지 화면이다.
도 7은 스마트폰의 피트니스 운동 어플(App)의 운동 선택 화면, 트레이너 선택 화면이다.
도 8은 스마트폰의 피트니스 운동 어플(App)의 운동 영상 화면, 및 트레이너 영상과 비교화면(I)이다.
도 9는 스마트폰의 피트니스 운동 어플(App)의 운동 영상 화면, 및 트레이너 영상과 비교화면(Ⅱ)이다.
도 10은 스마트폰의 피트니스 운동 어플(App)의 운동 영상 화면, 및 트레이너 영상과 비교화면(Ⅲ)이다.
도 11은 체중 측정 및 체성분 검출기기(In Body 체중계)의 검사 결과, 골격근 지방분석(체중, 근육량, 체지방량), 비만분석(BMI, 체지방률), 내장지방분석(내장지방레벨)을 측정 값과 막대 그래프(bar chart) 형태로 사용자 단말의 운동 어플(App)에 표시된 화면이다.
도 12는 체중 측정 및 체성분 검출기기(In Body 체중계)의 검사 결과, 일/주/월별 시간에 따른 체중, 근육량, 체지방량, 체지방률의 측정값의 신체 밸런스 변화 과정을 꺽은선 그래프(line chart) 형태로 표현, 표준 정규 분포 곡선에 체중 측정 및 체성분 검출기기(In Body 체중계) 점수(인바디 점수)를 표시하고, 미리 측정된 일정 인원수의 표준 체형을 가진 모집단(population)의 표본(sample)의 체중 측정 및 체성분 검출기기(In Body 체중계) 점수의 평균에 의한 정규 분포를 갖는 통계 그래프에서 상위 몇% 인지 사용자 단말의 운동 어플(App)에 표시된 화면이다.
도 13은 헬스, 피트니스, 요가, 스포츠 운동 시에, 트레이너 영상을 기준으로 인체의 각 부위에 부착된 반짝이는 태그 또는 센서가 부착된 사용자 영상의 목 관절/몸통 관절/팔꿈치 관절/무릅 관절에 따라 몸통과 팔 다리 동작 모델의 트레이너 영상과의 동작 일치도 점수의 측정 원리를 설명하는 도면이다.
도 14는 헬스, 피트니스, 요가, 스포츠 운동 시에, 운동 동작 행위 인식시에 전문가 트레이너의 운동 영상을 보고 따라 운동하는 사용자의 운동 영상의 사람의 인체의 측정 포인트들의 관절의 정점과 정점을 연결한 사진이다.
도 2는 종래의 운동자세 분석 방법에 의해 사용자의 운동자세의 정확도를 판단하는 전체 과정을 도시한 도면이다.
도 3은 태그를 사용한 운동관리 헬스케어 서비스 시스템 구성도이다.
도 4는 본 발명에 따른 태그를 사용한 운동관리 헬스케어 서비스 시스템 구성도이다.
도 5는 본 발명의 실시예에 의한 스마트폰의 피트니스 운동 어플(App)의 메인 화면 및 로그인 화면이다.
도 6은 스마트폰의 피트니스 운동 어플(App)의 시작 화면 및 챌린지 화면이다.
도 7은 스마트폰의 피트니스 운동 어플(App)의 운동 선택 화면, 트레이너 선택 화면이다.
도 8은 스마트폰의 피트니스 운동 어플(App)의 운동 영상 화면, 및 트레이너 영상과 비교화면(I)이다.
도 9는 스마트폰의 피트니스 운동 어플(App)의 운동 영상 화면, 및 트레이너 영상과 비교화면(Ⅱ)이다.
도 10은 스마트폰의 피트니스 운동 어플(App)의 운동 영상 화면, 및 트레이너 영상과 비교화면(Ⅲ)이다.
도 11은 체중 측정 및 체성분 검출기기(In Body 체중계)의 검사 결과, 골격근 지방분석(체중, 근육량, 체지방량), 비만분석(BMI, 체지방률), 내장지방분석(내장지방레벨)을 측정 값과 막대 그래프(bar chart) 형태로 사용자 단말의 운동 어플(App)에 표시된 화면이다.
도 12는 체중 측정 및 체성분 검출기기(In Body 체중계)의 검사 결과, 일/주/월별 시간에 따른 체중, 근육량, 체지방량, 체지방률의 측정값의 신체 밸런스 변화 과정을 꺽은선 그래프(line chart) 형태로 표현, 표준 정규 분포 곡선에 체중 측정 및 체성분 검출기기(In Body 체중계) 점수(인바디 점수)를 표시하고, 미리 측정된 일정 인원수의 표준 체형을 가진 모집단(population)의 표본(sample)의 체중 측정 및 체성분 검출기기(In Body 체중계) 점수의 평균에 의한 정규 분포를 갖는 통계 그래프에서 상위 몇% 인지 사용자 단말의 운동 어플(App)에 표시된 화면이다.
도 13은 헬스, 피트니스, 요가, 스포츠 운동 시에, 트레이너 영상을 기준으로 인체의 각 부위에 부착된 반짝이는 태그 또는 센서가 부착된 사용자 영상의 목 관절/몸통 관절/팔꿈치 관절/무릅 관절에 따라 몸통과 팔 다리 동작 모델의 트레이너 영상과의 동작 일치도 점수의 측정 원리를 설명하는 도면이다.
도 14는 헬스, 피트니스, 요가, 스포츠 운동 시에, 운동 동작 행위 인식시에 전문가 트레이너의 운동 영상을 보고 따라 운동하는 사용자의 운동 영상의 사람의 인체의 측정 포인트들의 관절의 정점과 정점을 연결한 사진이다.
이하, 본 발명의 바람직한 실시예를 첨부된 도면을 참조하여 발명의 구성 및 동작을 상세하게 설명한다. 본 발명의 설명에 있어서 관련된 공지의 기능 또는 공지의 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 자세한 설명을 생략한다. 또한, 첨부된 도면 번호는 동일한 구성을 표기할 때에 다른 도면에서 동일한 도면번호를 부여한다.
헬스장, 피트니스, 요가, 크로스핏에서, 홈 트레이닝과 헬스케어 서비스를 제공하는 운동 관리 서버와 유무선 통신망을 통해 연결된 컴퓨터, 스마트폰/태블릿 PC과 TV 디스플레이로 운동 어플(App)을 사용하여 운동 선택/트레이너가 선택되면,
운동관리 서버는 사용자 단말의 운동 어플(App)로 운동 기본 자세와 관련된 영상과 음성, 이미지, 텍스트가 포함되는 운동 정보와 운동 콘텐츠, 해당 운동별 전문가 트레이너의 영상을 제공하고, 운동하는 사람의 인체의 각 부위(사람의 인체의 측정 포인트들)에 반짝이는 태그 또는 센서를 부착하고, 운동 선택/트레이너 선택 후에 전문가 트레이너의 영상을 보고 따라 운동하는 사용자의 운동 영상을 사용자 단말의 카메라로 촬영하며; 운동하는 사람의 인체 부위마다 반사되는 태그를 부착된 사용자의 운동 영상을 분석하는 체육과학적인 운동 어플(App)의 운동 분석 프로그램을 사용하여 알파 블렌딩(alpha blending)을 사용한 동작을 감지하여 인체의 척추와 관절의 움직임을 검출하고 운동의 자세의 위치를 검출하며, 운동량(p = mv)을 계산하고; - 필요시에 전문가 트레이너 영상의 표준 크기(가로x세로)에 맞춰 사용자 영상 스케일링을 통해 영상/사진을 확대/축소하고, - 트레이너의 운동 영상/사진과 사용자의 운동 영상/사진의 이미지의 관절 마디들을 잇고 영상 분석을 통해 트레이너 영상을 기준으로 사용자 영상의 동작 일치도를 점수화하여 상호 비교하며, 척추/관절 마디 마다 전문가 트레이너 영상을 기준으로 사용자 영상의 운동 영상 비교분석을 통해 알파 블렌딩 정확도(accuracy)를 산출하여 동작 일치도 점수와 동작 일치도가 점수화된 그래프를 제공하며, 자세 교정을 위한 운동관리 헬스케어 서비스를 제공하여 운동기구를 사용하는 헬스, PT(Personal Training), 피트니스, 요가, 스포츠 운동에 사용된다.
운동 동작의 동작 모델에 따라 트레이너 영상를 기준으로 사용자 영상의 동작 일치도는 사람의 인체의 측정 포인트들의 각 관절의 정점과 정점 사이의 연결된 실선의 각도로 비교하여 트레이너 영상을 기준으로 사용자 영상의 동작 일치도가 점수화된다.
예를 들면, 체육과학의 운동 역학 측면에서, 해당 운동의 전문가 트레이너의 영상을 기준으로 헬스장 기구 운동, 역기 들기, 팔굽혀 펴기, 피트니스 동작, 요가 동작 자세 교정, 테니스 자세 교정, 및 스크린 골프 자세 교정 등에 사용된다.
운동하는 사람의 인체의 팔목 어깨, 팔다리와 몸통, 무릅, 허벅지 등의 인체 각 부위에 부착되는 반짝이는 태그 또는 센서를 사용하며, 카메라로 촬영된 사용자의 운동 영상의 인체 부위들에 부착된 반짝이는 태그를 인식하며, 알파 블렌딩을 사용하여 동작을 감지하여 운동하는 사람의 인체의 척추와 관절의 움직임을 검출하고 운동 자세와 위치를 인식한다.
센서는 인체의 부위별로 구비되는 다수의 3차원 모션감지 센서, 또는 3축 가속도 센서와 제어부와 통신부를 구비하는 손목 착용 웨어러블 밴드를 사용할 수도 있으며, 운동 시에 설정 동기화된 사용자 단말로 블루투스(BLE) 또는 Wi-Fi 통신을 통해 3차원 모션감지 데이터 또는 3축 가속도 데이터가 전송된다,
운동 영상의 동작을 감지하여 운동 분석을 통해 해당 운동의 인체 동작의 자세 교정을 제공하는 운동관리 헬스케어 서비스를 제공하며, 운동기구를 사용하는 헬스, PT(Personal Training), 피트니스, 요가, 크로스핏, 스포츠 운동에 사용된다.
운동은 헬스장의 운동(러닝머신 달리기, 역기 들기, 기구 운동 등), 피트니스, 요가, 크로스핏, 스포츠 운동(탁구, 테니스, 골프, 태권도, 유도, 검도 등) 등을 포함하며, 이에 한정하지 않으며 다양한 운동이 사용될 수 있다.
피트니스(physical fitness, 신체적성)는 팔다리를 모두 사용하는 전신 유산소 운동으로 이루어진 피트니스 운동 프로그램을 제공하며, 척추와 근육의 움직임을 통해 혈액 순환을 촉진하여 건강한 신체를 위한 운동을 제공한다.
참고로, 요가는 바른 자세의 요가 동작과 호흡법에 따라, 깊은 복식 호흡을 통해 척추와 근육과 관절의 움직임을 갖는 요가 동작의 스트레칭에 의해 목/어깨/손목/팔다리/척추의 관절의 움직임, 근육의 저항과 스트레칭에 따라 몸의 균형을 유지하고 근육과 관절을 바르게 정렬시키기 위한 운동이다.
아쉬탕가(Ashtanga) 요가 연습시에 요가의 최고 상태를 도달하기 위한 8가지 측면에 접근 방식을 기반으로 하는 요가는 여덟 가지, 여러개의 팔다리를 의미하며, 파탄잘리(Patanjali)의 요가수트라에 기록된 야마(금욕), 니야마(관찰), 아사나(자세), 프라나야마(호흡), 프라티하라(감각 조절), 다라나(집중), 디야나(명상), 사마디(삼매)를 뜻한다. 8가지 자세 연습(아사나)의 실천은 프라나야마(호흡)의 바른 실천을 위해 요가 동작이 확립된다고 한다.
호흡법은 우짜이 호흡(Ujjayi breathing), 라이언 호흡(Lion's Breathing), 깊은 복식 호홉(deep stomach breathing)이 있다.
요가는 요가 동작의 자세 연습(아사나), 프라나야마(호흡)의 바른 자세와 호흡법을 실천하여 척추/목/손목/팔다리의 관절의 움직임, 근육의 저항과 스트레칭에 따라 자세를 교정하여 균형 감각을 갖는 인체를 훈련하여 관절의 불편함을 개선하고 만성근육통증과 몸의 독소를 제거하고 척추와 관절의 움직임에 따라 혈액 순환을 개선하여 건강한 신체를 유지하게 된다.
요가 동작들은 체형 교정과 굳은 근육과 관절을 풀어주고 약해진 근육을 강화시켜 주고 유연성 회복으로 건강한 몸과 마음을 갖게 된다. 예를들면, "앞으로 숙인 자세"에 익숙해진 사람은 말린 어깨와 구부러진 틀어진 척추 등의 자세 교정과 체형 교정을 위해 "뒤로 젖히는 자세"와 "머리와 목을 뒤로 회전하기", "좌우 사이드 스트레칭"을 하여 머리, 목, 어깨의 근육의 긴장을 완화한다.
요가는 워밍업(목을 풀고 어깨, 팔, 팔꿈치, 손목, 손가락, 고관절, 무릅, 발가락 순서)과 호흡법 척추, 목, 손목, 관절의 척추 움직임과 동작을 제시하여 전굴 동작(forward folds), 어깨를 여는 동작(sholder openers), 고관절과 다리 굴곡근(hip and leg flexors), 후굴 동작(back bends), 몸의 중심 코어 강화 동작(core strengtheners), 암 밸런스와 인버전 자세(arm balances and inversion), 비틀기 자세(twists) 등이 요가 동작을 제공한다.
전굴 동작은 고관절이 접히는 지점에서 앞으로 숙이는 동작에서 머리에서 발뒷꿈치까지 몸 뒤쪽이 스트레칭된다.
요가 동작의 어깨를 여는 동작은 강아지 자세, 소머리 자세, 등뒤 합장 자세 등이 있으며, 근육을 확장하고 풀어주어 만성근육통증과 관절의 불편함을 감소시켜 머리 목 어깨의 근육의 긴장을 풀어준다.
후굴 동작은 다리와 엉덩이, 갈비뼈, 상체를 둘러싼 근육의 몸의 뒷부분을 강화하는 요가 동작으로써, 몸의 앞면을 열어주면 복근이 스트레칭되어 복근이 강화되고, 폐가 열려 호흡이 편하게 되며, 등과 목의 통증 완화, 피로 회복, 몸의 독소 제거 효과, 혈액 순환 개선, 수면의 질을 향상시키게 된다.
이하, 본 발명의 바람직한 실시예를 첨부된 도면을 참조하여 발명의 구성 및 동작을 상세하게 설명한다.
도 3은 태그를 사용한 운동관리 헬스케어 서비스 시스템 구성도이다.
본 발명의 태그를 사용한 운동관리 헬스케어 서비스 시스템은
헬스, 피트니스, 요가, 스포츠 운동 시에, 웹서버, 웹어플리케이션 서버(WAS), 데이터베이스(DB)를 구비하며, 운동 및 전문가 트레이너별로 전문가 트레이너의 영상과 운동 기본 정보와 운동 콘텐츠를 사용자 단말로 제공하여 운동관리 헬스케어 서비스를 제공하는 운동 관리 서버(200); 및
상기 운동 관리 서버(200)에 유무선 통신망을 통해 연결되며, 운동하는 사람의 인체의 각 부위에 반짝이는 태그 또는 센서를 부착하고, 운동 선택/트레이너 선택 후에 전문가 트레이너의 영상을 보고 따라 운동하는 사용자의 운동 영상을 사용자 단말의 카메라로 촬영하고, 카메라로 촬영된 사용자의 운동 영상에 대하여 사람의 인체의 각 부위(사람의 인체의 측정 포인트들)에 부착되는 반짝이는 태그 또는 센서를 인식하며, 알파 블렌딩을 사용한 동작을 감지하여 운동의 자세의 위치를 검출하며, 운동량(p = mv)을 계산하며, 전문가 트레이너의 운동 영상을 보고 따라 운동하는 사용자의 운동 영상의 이미지의 관절 포인트 마디들을 잇고 운동 영상 분석을 통해 각 부분 동작이 일치하는 지를 사람의 인체의 측정 포인트들의 각 관절의 정점과 정점 사이의 실선 각도로 비교되어 트레이너 운동 영상과 사용자의 운동 영상의 동작 일치도를 점수화(ex. 동작 일치 3점, 근사적으로 동작 일부 일치-2점, 동작 불일치-1점, 동작 완전 불일치-0점)하여 상호 비교하며, 동작 피팅을 클릭되면, 카메라 화면에 보이는 불투명한 피팅 실루엣과 동일한 동작을 취하며, 운동 동작 시에 실루엣과 일치한 정도에 따라 표시되는 해당 운동의 전문가 트레이너 영상과의 사용자 영상의 운동 동작의 동작 일치도 점수와 동작 일치도가 점수화 된 그래프를 출력하며, 클라이언트/서버 방식으로 체육 과학의 운동 역학 측면에서 자세 교정을 위한 운동관리 헬스케어 서비스를 제공하는 헬스, 피트니스, 요가, 크로스핏, 스포츠 운동을 위한 운동 어플(App)이 설치된 사용자 단말(100, 110, 130)을 포함한다.
운동 동작시에, 사용자는 "사람의 인체의 측정 포인트들"에 반짝이는 태그 또는 센서를 부착하여 카메라로 촬영되어 사용자 영상이 제공되며,
실시예에서는, 상기 사람의 인체의 측정 포인트들에 상기 센서가 부착되는 경우, 상기 센서는 3차원 모션 감지 센서를 사용한다.
상기 사람의 인체의 측정 포인트들은 머리(100), 좌측 어깨(110), 좌측 팔꿈치 관절(111), 좌측 팔등 관절(112), 우측 어깨(120), 우측 팔꿈치 관절(121), 우측 팔등 관절(122), 배꼽(130), 좌측 엉치부(140), 좌측 무릅 관절(141), 좌측 발목 관절(142), 우측 엉치부(150), 우측 무릅 관절(151), 및 우측 발목 관절(152)을 포함한다.
사용자 단말(100, 110, 130)은 운동기구를 사용하는 헬스, 피트니스, 요가, 크로스핏, 스포츠 운동을 위한 운동 어플(App)이 설치된 컴퓨터(100), 스마트폰 또는 태블릿 PC(110), 또는 STB/TV 디스플레이(130)를 사용하며, 실시예에서는 운동 어플(App)이 설치된 스마트폰의 "피트니스"를 예를 들어 설명한다.
운동 관리 서버(200)는 웹서버(210)와 웹어플리케이션 서버(WAS)(220), 및 데이터베이스(DB)(230)를 구비한다.
전문가 트레이너의 운동 영상을 촬영하는 카메라(274); 전문가 트레이너의 운동 영상과 음성 데이터를 인코딩하는 A/V 인코더(272); 및 해당 운동별 전문가 트레이너의 운동 영상과 음성 데이터를 스트리밍 방식으로 사용자 단말(100, 110, 130)로 제공하는 스트리밍 서버(270)를 더 포함한다.
운동 관리 서버(200)의 제어부와 연결되며, 헬스, 피트니스, 요가, 크로스핏, 스포츠 운동을 행하는 사용자 단말과 전문가 트레이너 단말과 운동 관리 서버(200)를 통해 채팅 데이터를 송수신하며, 해당 운동의 전문가 트레이너의 피드백 데이터를 제공하는 채팅 서버를 더 포함한다.
헬스장, 피트니스, 요가, 크로스핏, 스포츠에서 실시되는 운동은 스포츠 과학, 운동 역학 측면에서, 컴퓨터의 웹 또는 스마트폰/태블릿 PC, STB/TV 디스플레이 단말의 운동 어플(App)을 유무선 통신망을 통해 운동 관리 서버에 접속되며, 운동 관리 서버(200)는 전문가 트레이너의 영상과 운동 정보와 운동 콘텐츠를 사용자 단말로 제공하고, 운동하는 사람의 인체의 각 부위에 부착되는 반짝이는 태그 또는 센서를 부착하고, 운동 선택/트레이너 선택 후에 전문가 트레이너의 영상을 따라 사용자의 운동 영상을 사용자 단말의 카메라로 촬영하며, 카메라로 촬영된 사용자의 운동 영상에 대하여 사람의 인체의 각 부위에 부착되는 반짝이는 태그 또는 센서를 인식하며, 알파 블렌딩을 사용한 동작을 감지하여 인체의 척추와 관절의 움직임을 검출하고, 운동의 자세의 위치를 검출하며, 운동량(p = mv)을 계산하며, 트레이너의 운동 영상과 사용자의 운동 영상의 이미지의 관절 포인트 마디들을 잇고 운동 영상 분석을 통해 상호 비교하며, 동작 피팅을 클릭되면, 카메라 화면에 보이는 불투명한 피팅 실루엣과 동일한 동작을 취하며, 실루엣과 일치한 정도에 따라 표시되는 해당 운동의 전문가 트레이너 영상과의 사용자 영상의 동작 일치도 점수와 동작 일치도가 점수화 된 그래프를 출력하며, 자세 교정을 위한 운동관리 헬스케어 서비스를 제공하여 헬스, PT(Personal Training), 피트니스, 요가, 크로스핏, 스포츠 운동에 사용된다.
운동 동작의 동작 모델에 따라 트레이너 영상를 기준으로 사용자 영상의 동작 일치도는 사람의 인체의 측정 포인트들의 각 관절의 정점과 정점 사이의 연결된 실선의 각도로 비교하여 트레이너 영상을 기준으로 사용자 영상의 동작 일치도가 점수화된다.
추가적으로, 사용자 단말(스마트폰)의 운동 어플(App)은 유무선 통신망을 통해 운동 관리 서버(200)와 연결되며, 사용자와 키와 운동 전후 체중 측정 및 체성분 검출기기(In Body 체중계)에 의해 측정되는 사용자의 체중, 근육량, 체지방량 등의 측정 값을 운동 관리 서버(200)에 저장하며, 이를 상기 운동 관리 서버(200)의 데이터베이스(DB)에 누적 저장하여 시간대별/일/주/월/년도별 체중, 운동량, 근육량, 체지방량, BMI 값을 포함하는 개인별 운동 통계 데이터를 사용자 단말로 제공한다.
상기 사용자 단말의 운동 어플(App)은 상기 운동 관리 서버에 저장되는 사용자의 키와, 체중측정 및 체성분 검출기기(In Body 체중계)의 체중, 근육량, 체지방량, BMI 상기 측정값들과 연동되며,
체중 측정 및 체성분 검출기기(In Body 체중계) 검사 측정결과, 골격근 지방분석(체중, 근육량, 체지방량), 비만분석(BMI, 체지방률), 내장지방분석(내장지방레벨)을 측정 값과 막대 그래프(bar chart)로 사용자 단말(스마트폰)의 운동 어플(App)에 표시하며;
신체치수(키)와 체중, 근육량, 체지방량, 체지방률, BMI의 측정값의 시간에 따른 신체 밸런스 변화 과정을 꺽은선 그래프(line chart) 형태로 표현, 표준 정규 분포 곡선에 체중 측정 및 체성분 검출기기(In Body 체중계) 점수를 표시하고, 미리 측정된 일정 인원수의 표준 체형을 가진 모집단(population)의 표본(sample)의 체중 측정 및 체성분 검출기기(In Body 체중계) 점수의 평균에 의한 정규 분포를 갖는 통계분석 데이터의 상위 몇% 인지를 사용자 단말(스마트폰)의 운동 어플(App)에 표시된다.
도 4는 본 발명에 따른 태그를 사용한 운동관리 헬스케어 서비스 시스템 구성도이다.
사용자 단말의 운동 어플(App)은 운동 관리 서버에 접속하여 헬스, 피트니스, 요가, 크로스핏, 스포츠 운동에 대한 운동관리 헬스케어 서비스 회원 정보 등록, 사용자 인증, 운동 선택/트레이너 선택 후에, 사람의 인체의 각 부위(사람의 인체의 측정 포인트들)에 반짝이는 태그 또는 센서를 부착하고, 전문가 트레이너 영상을 보고 따라 운동하는 카메라로 촬영된 사용자의 운동 영상에 대하여 사람의 인체의 각 부위에 부착되는 반짝이는 태그 또는 센서를 인식하며, 알파 블렌딩을 사용한 동작을 감지하여 인체의 척추와 관절의 움직임을 검출하고, 운동의 자세의 위치를 검출하며, 운동량(p = mv)을 계산하며, 트레이너의 운동 영상과 사용자의 운동 영상의 이미지의 관절 포인트 마디들을 잇고 운동 영상 분석을 통해 각 부분 동작이 일치하는 지를 "사람의 인체의 측정 포인트들"의 각 관절의 정점과 정점 사이의 실선 각도로 비교되어 트레이너 영상을 기준으로 사용자 영상의 동작 일치도를 점수화하여 상호 비교하며, 동작 피팅을 클릭되면, 카메라 화면에 보이는 불투명한 피팅 실루엣과 동일한 동작을 취하며, 운동 동작을 하는, 실루엣과 일치한 정도에 따라 표시되는 해당 운동의 전문가 트레이너 영상과의 동작 일치도 점수와 동작 일치도가 점수화 된 그래프를 출력하며, 체육 과학의 운동 역학 측면에서 자세 교정을 위한 운동관리 헬스케어 서비스를 제공한다.
운동 동작의 동작 모델에 따라 트레이너 영상를 기준으로 사용자 영상의 동작 일치도는 사람의 인체의 측정 포인트들의 각 관절의 정점과 정점 사이의 연결된 실선의 각도로 비교하여 트레이너 영상을 기준으로 사용자 영상의 동작 일치도가 점수화된다.
운동 시에, 사용자 단말의 운동 어플(App)은 트레이너 영상과 따라 운동하는 사용자 영상의 운동 동작의 행동을 인식하여 포즈(pose), 운동 동작(action)을 감지하며, 행동인식 posenet 알고리즘을 사용하여 사람의 인체의 측정 포인트들을 실선으로 연결하여 표시할 수 있다. Posenet 알고리즘은 인체의 머리 몸체와 팔과 다리의 위치에 대하여 인체의 주요 부위의 관절의 특징점들(사람의 인체의 측정 포인트들)의 위치를 감지하여 이미지 또는 동영상으로부터 운동하는 사람의 포즈(pose, 자세)를 추정하여 행위 인식을 하는 모델로 사용된다.
사용자 단말의 운동 어플(App)은 헬스장의 머신러닝 달리기 운동시, m 체중인 사용자가 v속도로 달리기 운동시에 운동량(p = mv)과 운동 에너지(
)를 측정하여 운동 어플(App)로 표시하고 운동 관리 서버에 저장하는 기능 더 포함한다.
또한 운동 관리 서버(200)는 사용자 단말과 유무선 통신망을 통해 연결되는 웹서버(201); 헬스, 피트니스, 요가, 크로스핏, 스포츠 운동에 대한 운동관리 헬스케어 서비스를 제어하는 제어부(202); 상기 제어부(202)에 연결되며, 운동관리 헬스케어 서비스 회원 정보를 등록받아 관리하는 회원관리부(203); 상기 제어부(202)에 연결되며, ID/Passwd 또는 이메일/비밀번호 방식으로 사용자를 인증하는 사용자 인증부(204); 상기 제어부(202)에 연결되며, 운동별 전문가 트레이너 영상과 운동 정보와 운동 콘텐츠를 제공하는 운동 콘텐츠 제공부(205); 상기 제어부(202)에 연결되며, 체중 측정 및 체성분 검출기기(In Body 체중계)에 의해 측정된 사용자의 키와 체중, 근육량, 체지방량을 포함하는 측정값을 사용자 단말의 운동 어플(App)로부터 수신받아 저장하는 체중 및 체성분 정보 관리부(206); 상기 제어부(202)에 연결되며, 사용자 단말의 운동 어플(App)로부터 수신된 사용자 운동 영상을 저장하는 사용자 운동 영상 저장부(207); 상기 제어부(202)에 연결되며, 상기 사용자 단말의 운동 어플(App)의 트레이너 영상/사용자 영상 비교 분석 기능을 동일하게 server-side로 적용하여 카메라로 촬영된 사용자의 운동 영상에 대하여 운동하는 사람의 인체의 각 부위에 부착되는 반짝이는 태그를 인식하며, 알파 블렌딩을 사용한 동작을 감지하되, 트레이너의 운동 영상과 사용자의 운동 영상의 이미지의 관절 포인트 마디들을 잇고 운동 영상 분석을 통해 동작이 일치하는 지를 점수화하여(일치 점수: 동작 일치 3점, 동작 일부 일치-2점,.. 동작 불일치 0점) 전문가 트레이너 영상과 사용자 영상을 비교분석하는 트레이너 영상/사용자 영상 비교 분석부(208); 운동 전후 체중 측정 및 체성분 검출기기(In Body 체중계)에 의해 측정된 사용자의 키, 체중, 근육량, 체지방량, BMI 값을 포함하는 측정 값을 운동 관리 서버(200)에 저장하며, 이를 운동 관리 서버(200)의 데이터베이스(DB)(212)에 누적 저장하여 시간대별/일/주/월/년도별 운동량, 근육량, 체지방량, BMI 값을 포함하는 개인별 운동 통계 데이터를 제공하는 통계 정보 제공부(211); 운동별 전문가 트레이너 영상과 운동 정보와 운동 콘텐츠를 저장하며, 사용자 운동 영상과 사용자의 키, 체중, 근육량, 체지방량, BMI값을 포함하는 측정 값을 저장하는 데이터베이스(DB)(212), 및 운동 분야별 전문가 트레이너와 사용자의 글을 등록하는 게시판(213)을 포함한다.
운동 관리 서버(200)는 상기 제어부(202)에 연결되며, 헬스장의 머신러닝 달리기 운동시, m 체중인 사용자가 v속도로 달리기 운동시에 운동량(p = mv)과 운동 에너지(
)를 측정 저장하고 사용자 단말의 운동 어플(App)로 표시하는 운동량 검출부를 더 포함한다.
운동하는 사람의 카메라로 촬영된 사용자의 영상을 운동 어플(App)의 체육과학적인 운동 분석 프로그램에 의해 트레이너 영상을 보고 따라 운동하는 사용자의 영상에 대하여 인체의 각 부위에 부착되는 반짝이는 태그 또는 센서를 인식하여 알파 블렌딩(alpha blending)을 사용하여 시간에 따른 운동 동작을 감지하고 인체의 척추와 관절의 움직임을 검출하며, 트레이너 영상과 사용자 영상을 비교분석하도록 트레이너의 운동 영상을 보고 따라 운동하는 사용자의 운동 영상의 이미지의 관절 포인트 마디들을 잇고 운동 영상 분석을 통해 각 부분 동작 모델의 동작의 사진이 일치하는 지를 점수화하여 상호 비교하며, 해당 운동의 트레이너 영상 기준 동작 일치도 점수와 동작 일치도가 점수화 된 그래프를 제공하며, 추가적으로 사용자 운동 영상의 운동량(p = mv)을 계산하여 표시하고, 운동시 체중 측정 및 체성분 검출기기(In Body 체중계)의 체중, 근육량 등의 측정 데이터와 운동 데이터를 사용자 단말의 운동 어플(App)을 통해 운동 관리 서버(200)에 저장하여 빅 데이터 분석과 운동 데이터를 운동관리 서버의 데이터베이스에 누적 저장하여 일/주/월/년도별 개인별 운동 통계 데이터를 제공하며, 이를 데이터 시각화하여 막대 그래프(Bar Chart), 파이 차트(Pie Chart), 꺽은선 그래프(Line Chart)로 비쥬얼하게 표시된다.
질량이 m, 속도가 v일때, 운동량(momentum) p은 p = mv로 계산된다.
질량이 m, 속도가 v일때, 운동 에너지(kinetic energy)는 
로 계산된다.
예를들면, 헬스장의 머신러닝 달리기 운동시, 운동량(p = mv)과 운동 에너지(
)를 측정하여 이를 머신러닝 장비와 BLE 또는 Wi-Fi 근거리 무선 통신을 통해 스마트폰의 운동 어플(App)에 표시할 수 있다.
상기 센서는 인체의 부위별로 구비되는 다수의 3차원 모션감지 센서, 또는 3축 가속도 센서와 제어부와 통신부를 구비하는 손목 착용 웨어러블 밴드를 사용할 수도 있으며, 운동 시에 설정 동기화된 사용자 단말로 블루투스(BLE) 또는 Wi-Fi 통신을 통해 3차원 모션감지 데이터 또는 3축 가속도 데이터가 전송된다,
알파 블렌딩(alpha blending)은 이미지 위에 또 다음 이미지를 덧씌울때 마치 투명하게 비치는 효과를 말한다.
[알파 블렌딩 활용 방법]
(1) 사용자 단말(스마트폰)에서 운동 관리 어플(App)을 실행한다.
(2) 헬스, 피트니스, 요가, 크로스핏, 스포츠 운동 선택/트레이너 선택 후, 동작 피팅을 클릭한다.
(3) 카메라 화면에 보이는 불투명한 피팅 실루엣과 동일한 동작을 취한다.
(4) 동작을 하는, 동안 실루엣과 일치한 정도에 따라 점수를 보여준다.
이를 통해, 사용자 영상과 트레이너 영상의 모델의 동작에 대한 차이 데이터를 획득하여, 전문 트레이너의 영상에 나온 자세와 사용자 영상의 관절 포인트 마디를 잇고 전문가 트레이너 영상과 사용자 영상의 동작 모델의 각각의 운동 동작별로 영상 비교 분석을 통해 각 부분 동작 모델의 동작의 사진이 일치하는 지를 동작 일치도를 점수화하여 사용자의 운동의 정확도(accuracy)를 판단한다.
스마트폰, 태블릿 PC 등의 스마트 기기의 운동관리 앱(App)에 적용할 수 있는 데이터는 다음과 같은 데이터가 활용된다.
1. 스마트 기기의 운동 어플 앱(App)에 적용할 수 있는 데이터
[데이터 분석 필요 항목]
ㆍ 신체 치수: 키, 체중, 근육량, 골량, 체수분량, 체지방, 기초대사량, BMI, 내장지방 -> 체중 측정 및 체성분 검출기기(In Body 체중계) 이용(2만원~5만원, 앱(App)과 연동)
ㆍ 키: 성인 기준으로 운동을 하더라도 변화가 없다고 가정 -> 고정값, 입력 항목
ㆍ 키, 나이를 입력하면 체형에 맞는 표준 체중, 비만 정도를 본인의 신체상태에 맞춰 알 수 있다.
ㆍ 코르티졸 수치: 조사 결과, 주로 스트레스 수치 분석에 사용, 운동 후 근육의 피로도 분석
ㆍ 운동 영상 데이터: 전문 트레이너의 영상에 나온 자세와 비교 분석
[앱에 필요한 기능]
2.1 조사한 신체 치수 그래프 구현
- 체중 측정 및 체성분 검출기기(In Body 체중계)로 측정한 본인의 신체 수치를 그래프를 통해 평균과 비교
- 사용자가 본인의 신체 밸런스 변화 과정을 주/월/년 단위 그래프로 표시
- 체중 측정 및 체성분 검출기기(In Body 체중계) 검사 실행결과, 골격근 지방분석(체중, 근육량, 체지방량), 비만분석(BMI, 체지방률), 내장지방분석(내장지방레벨)을 막대 그래프(bar chart) 형태로 표현
- 체중, 근육량, 체지방량, 체지방률의 신체 밸런스 변화 과정을 꺽은선 그래프(line chart) 형태로 표현, 표준 정규 분포 곡선에 체중 측정 및 체성분 검출기기(In Body 체중계) 점수를 표시하고 상위 몇% 인지 표시
(부가 기능)
- 항목별 평균 이상 또는 이하일 경우 -> 사용자에게 필요한 진단 제공(이론, 운동방법 등)
예) 체지방 수치 평균 이상일 경우: 알림 및 지방을 줄이기 위한 운동방법 및 식단관리 제공
예) 근육량 감소: 근손실 경고!
- 일일 운동량 또는 목표치(근육량, 몸무게 등) 달성 시, 배지 같은 일종의 보상 제공
2.2 동작 일치도를 점수화 한 그래프 구현
- 알파 블렌딩을 사용한 동작 감지, 트레이너의 운동 영상과 사용자의 운동 영상의 관절 마디들을 잇고 이것을 영상 분석을 통해 상호 비교
- 동작 일치도 그래프: 운동 진행과 동시에 실시간으로 동작 일치도 점수를 꺾은선 그래프 형태로 나타내고, 시간대별로 트레이너의 동작과 일치하지 않는 부분 확인 후 복습 가능
예) 트레이너의 운동 영상이 총 5분이며, 1분~1분20초 그래프 구간이 60점(60%일치)일 경우 그 시간대만 다시 복습 운동이 끝난 후, 평균 점수가 일정 점수(ex:70점) 보다 낮으면 추후에 다시 운동할 수 있도록 유도
2.3 운동 부위 추천 기능
사용자의 신체 정보(키, 체중)를 이용, 최우선적으로 운동해야 할 부위와 운동 영상을 추천하는 시스템을 제공한다.
하이브리드 추천 시스템 이용-> 신규 이용자들에게 콘텐츠 기반 필터링으로 분석하여 추천, 사용자의 운동 데이터가 충분히 쌓인 후에는 협업 필터링으로 추천의 정확성을 높인다.
실제로 운동 루틴을 어떻게 설정해야 할 지 모르는 사람이 많고, 혼자 루틴을 설정하다 보면 특정 근육에만 집중한 나머지 인체에 과부하가 오는 경우도 있으므로, 담당 트레이너의 피드백을 집중적으로 반영한다.
도 5는 본 발명의 실시예에 의한 스마트폰의 피트니스 운동 어플(App)의 메인 화면 및 로그인 화면이다. 도 6은 스마트폰의 피트니스 운동 어플(App)의 시작 화면 및 챌린지 화면이다.
도 7은 스마트폰의 피트니스 운동 어플(App)의 운동 선택 화면, 트레이너 선택 화면이다.
도 8은 스마트폰의 피트니스 운동 어플(App)의 운동 영상 화면, 및 트레이너 영상과 비교화면(I)이다. 도 9는 스마트폰의 피트니스 운동 어플(App)의 운동 영상 화면, 및 트레이너 영상과 비교화면(Ⅱ)이다. 도 10은 스마트폰의 피트니스 운동 어플(App)의 운동 영상 화면, 및 트레이너 영상과 비교화면(Ⅲ)이다.
도 11은 체중 측정 및 체성분 검출기기(In Body 체중계)의 검사 결과, 측정값이 운동관리 서버에 저장되며, 골격근 지방분석(체중, 근육량, 체지방량), 비만분석(BMI, 체지방률), 내장지방분석(내장지방레벨)을 측정 값과 막대 그래프(bar chart) 형태로 사용자 단말의 운동 어플(App)에 표시된 화면이다.
참고로, 체중 측정 및 체성분 검출기기(In Body 체중계)는 신장(키)과 체중과 근육량, 골격근량 및 체지방량을 측정하고, 생체전기 임피던스법(Bioelectrical Impedance Analysis, BIA)을 사용하며, 인체는 전기가 잘 통하는 수분으로 이루어지고 수분량에 따라 전기가 통과하는 정도와 저항이 달라진다. BIA는 인체에 미세한 교류 전류를 흘려보내 얻어지는 임피던스 값으로 체수분을 측정하는 방법이다. 인체는 부위별로 사로 다른 길이와 단면적을 가지고 있으며, 체중 측정 및 체성분 검출기기(In Body 체중계)는 동시 다주파수 임피던스 측정법을 사용하여 팔, 다리, 몸통을 부위별로 따로 측정한다. 팔과 다리는 면적이 좁고 임피던스 값이 높지만, 근육량은 적다. 반면, 몸통은 상대적으로 면적이 넓어 임피던스 값이 낮고 근육량이 많다. 따라서, 몸통에서의 작은 임피던스 값의 변화는 근육량에 큰 영향을 주며 반드시 따로 측정해야 정확한 총 근육량을 측정할 수 있다. 또한, 체중 측정 및 체성분 검출기기(In Body 체중계)는 신장(키)과 측정된 체중에 의해 BMI를 측정할 수 있다. BMI(body mass index, 체질량지수-신체질량지수)는 체중(kg)을 키의 제곱(
)으로 나눈 값을 통해 지방의 양을 추정하는 비만측정법에 의해 계산된다.
[체중 측정 및 체성분 검출기기(In Body 체중계)의 측정 항목]
ㆍ 체성성분분석: 체중, 체수분 근육량, 체지방량
ㆍ 골격근, 지방분석(그래프): 체중, 골격근량, 체지방량
ㆍ 비만 진단: BMI, 체지방률
ㆍ 부위별/주파수별 임피던스 부위별 근육 분석, 부위별 체지방분석
ㆍ 신체변화: 체중, 골격근량, 체지방률(8회 측정 결과)
ㆍ 체중 측정 및 체성분 검출기기(In Body 체중계) 점수, 체형 체크, 체중 조절 기능 제공
도 12는 체중 측정 및 체성분 검출기기(In Body 체중계)의 검사 결과, 측정값이 운동관리 서버에 저장되며, 체중, 근육량, 체지방량, 체지방률의 측정값의 신체 밸런스 변화 과정을 꺽은선 그래프(line chart) 형태로 표현, 표준 정규 분포 곡선에 체중 측정 및 체성분 검출기기(In Body 체중계) 점수를 표시하고, 미리 측정된 일정 인원수의 표준 체형을 가진 모집단(population)의 표본(sample)의 체중 측정 및 체성분 검출기기(In Body 체중계) 점수의 평균에 의한 정규 분포를 갖는 통계 그래프에서 상위 몇% 인지 사용자 단말(스마트폰)의 운동 어플(App)에 표시된 화면이다.
운동 관리 서버의 데이터베이스에 저장되는 사용자 키를 참조하여, 운동 전후 체중 측정 및 체성분 검출기기(In Body 체중계)를 함께 사용하며, 사용자의 체중과 근육량, 체지방량, BMI 값을 측정하며, 체중 측정 및 체성분 검출기기(In Body 체중계) 검사 실행결과, 골격근 지방분석(체중, 근육량, 체지방량), 비만분석(BMI, 체지방률), 내장지방분석(내장지방레벨)을 측정 값과 막대 그래프(bar chart)로 사용자 단말의 운동 어플에 표시하며; 체중, 근육량, 체지방량, 체지방률의 측정값의 신체 밸런스 변화 과정을 꺽은선 그래프(line chart) 형태로 표현, 표준 정규 분포 곡선에 체중 측정 및 체성분 검출기기(In Body 체중계) 점수를 표시하고 미리 측정된 일정 인원수의 표준 체형을 가진 모집단의 표본의 체중 측정 및 체성분 검출기기(In Body 체중계) 점수의 평균에 의한 정규 분포를 갖는 통계분석 데이터에서, 정규 분포 그래프에서 상위 몇% 인지 표시 사용자 단말(스마트폰)의 운동 어플(App)에 표시된다.
도 13은 헬스, 피트니스, 요가, 스포츠 운동 시에, 트레이너 영상을 기준으로 인체의 각 부위에 부착된 반짝이는 태그 또는 센서가 부착된 사용자 영상의 목 관절/몸통 관절/팔꿈치 관절/무릅 관절에 따라 몸통과 팔 다리 동작 모델의 트레이너 영상과의 동작 일치도 점수의 측정 원리를 설명하는 도면이다.
도 14는 헬스, 피트니스, 요가, 스포츠 운동 시에, 운동 동작 행위 인식시에 전문가 트레이너의 운동 영상을 보고 따라 운동하는 사용자의 운동 영상의 사람의 인체의 측정 포인트들의 관절의 정점과 정점을 연결한 사진이다.
헬스, 피트니스, 요가, 스포츠 운동 시에, 전문가 트레이너의 운동 영상과 사용자의 운동 영상의 이미지의 관절 포인트 마디들을 잇고 운동 영상 분석을 통해 각 부분 동작 모델의 동작의 사진이 일치하는 지를 트레이너 영상의 각 관절의 정점과 정점 사이의 연결된 실선의 각도로 비교하여 이를 점수화하여 상호 비교하며, 분류된 운동 동작에 따라 트레이너 영상를 기준으로 사용자 영상의 인체 체형의 동작 모델의 동작 일치도는 각 관절의 정점과 정점 사이의 연결된 실선의 각도로 비교하여 동작 일치도가 점수화된다.
헬스, 피트니스, 요가, 스포츠 운동 시에, 목 관절/몸통 관절/팔꿈치 관절/무릅 관절에 따라 목 동작, 몸통과 팔 다리 동작이 이루어지며, 사람의 인체의 측정 포인트는 머리(100), 좌측 어깨(110), 좌측 팔꿈치 관절(111), 좌측 팔등 관절(112), 우측 어깨(120), 우측 팔꿈치 관절(121), 우측 팔등 관절(122), 배꼽부(130), 좌측 엉치부(140), 좌측 무릅 관절(141), 좌측 발목 관절(142), 우측 엉치부(150), 우측 무릅 관절(151), 및 우측 발목 관절(152)을 포함하며, 트레이너 영상을 기준으로 상기 사람의 인체의 측정 포인트들에 부착된 반짝이는 태그 또는 센서가 부착된 사용자 영상의 목 관절/몸통 관절/팔꿈치 관절/무릅 관절에 따라 몸통과 팔 다리 동작은 상기 좌측 팔꿈치 관절(111), 상기 우측 팔꿈치 관절(121), 상기 좌측 무릅 관절(141), 상기 우측 무릅 관절(151)을 기준으로 각 관절의 정점과 정점 사이의 실선 각도로 비교되어 트레이너 영상을 기준으로 사용자 영상의 운동 동작의 동작 일치도 점수가 부여된다(기준1,2,3,4,5).
* 측정 포인트
기준1 좌측 팔부위 110,111,112
기준2 우측 팔부위 120,121,122
기준3 좌측 발부위 140,141,142
기준4 우측 발부위 150,151,152
기준5 몸통 100, 130
기준6 상체 부위 100,110,120
기준7 하체 부위 130,140,150 (고관절)
전문가 트레이너와 사용자는 사람마다 각각 키와 체중이 다르며, 상체 부위(100,110,120)와 하체 부위(130,140,150)가 다르다.
운동 시에 행동 인식은 사용자 단말의 운동 어플(App)은 운동하는 동작의 트레이너 영상를 보고 따라 운동하는 사용자 영상의 실시간으로 포즈(pose), 운동 동작(action)을 감지하며, 행동인식 posenet 알고리즘을 사용하여 사람의 인체의 측정 포인트들을 실선으로 연결하여 비쥬얼하게 표시할 수 있다.
운동 동작은 몸통 동작과 함께 목 동작, 팔 동작, 다리 동작을 포함하며, 주로 몸통과 좌측 어깨 우측 어깨와 팔 다리 동작이 좌측 팔꿈치 관절(111), 우측 팔꿈치 관절(121), 좌측 무릅 관절(141), 우측 무릅 관절(151)에 따라 운동 동작이 실시된다.
예를 들면, "머신 러닝 달리기", "팔굽혀 펴기" 운동시에, 팔 동작은 몸통의 좌측 어깨(110), 좌측 팔꿈치(111), 좌측 팔등(112)의 좌측 팔동작과 우측 어깨(120), 우측 팔꿈치(121), 우측 팔등(122)의 우측 팔동작에 의해 감지된다.
다리 동작은 몸통 하부의 좌측 엉치부(140), 좌측 무릅 관절(141), 좌측 발목 관절(142)의 좌측 발 동작과 우측 엉치부(150), 우측 무릅 관절(151), 우측 발목 관절(152)의 우측 발 동작에 의해 감지된다.
헬스, 피트니스, 요가, 스포츠 운동 시에, 사용자 단말의 운동 어플(App)은 전문가 트레이너의 운동 영상을 기준으로 사용자의 운동 영상의 이미지의 관절 포인트 마디들을 잇고 운동 영상 분석을 통해 각 부분 동작 모델의 동작의 사진이 일치하는 지를 동작 일치도를 비교하기 위해 트레이너 영상과 사용자 영상의 인체의 관절 측정 포인트들의 좌측 팔꿈치 관절(111), 우측 팔꿈치 관절(121), 좌측 무릅 관절(141), 우측 무릅 관절(151)을 기준으로 사람의 인체의 측정 포인트들의 각 관절의 정점과 정점 사이의 연결된 실선의 각도로 상호 비교하여, 트레이너 영상을 기준으로 사용자 영상의 운동 동작의 동작 일치도를 점수화하여 표시한다.
즉, 운동 동작별로 분류된 운동 동작의 동작 모델에 따라 트레이너 영상를 기준으로 사용자 영상의 운동시 각 동작 단계별 동작 일치도는 인체의 주요 지점을 이루는 사람의 인체의 측정 포인트들의 각 관절의 정점(vertex)과 정점(vertex) 사이의 연결된 실선의 각도로 비교하여 각 동작 단계별로 동작일치도 점수화된다.
전문가 트레이너 영상(A)과 사용자 동상(B)에서 얻은 운동시 각 동작 단계별 주요 관절의 수평선 기준 각도를 예시로 설명한다.
트레이너 영상과 사용자 영상은 운동시 각 동작 단계별로 수평을 기준으로 머리(100)와 몸통 배꼽부(130)의 각도, 좌측 어깨(110)와 우측 어깨(112)의 각도, 좌측 어깨(110)와 좌측 팔꿈치 관절(111)의 각도, 좌측 팔꿈치 관절(111)와 좌측 팔등 관절(112)의 각도, 우측 어깨(120)와 우측 팔꿈치 관절(121)의 각도, 우측 팔꿈치 관절(121)과 우측 팔등 관절(122)의 각도, 배꼽부(130)와 좌측 엉치부(140)의 각도, 배꼽부(130)와 우측 엉치부(150)의 각도, 좌측 엉치부(140)와 우측 엉치부(150)의 각도, 좌측 엉치부(140)와 좌측 무릅 관절(141)의 각도, 좌측 무릅 관절(141)과 좌측 발목 관절(142)의 각도, 우측 엉치부(150)와 우측 무릅 관절(151)의 각도, 및 우측 무릅 관절(151)과 우측 발목 관절(152)의 각도를 측정하며, 운동시 각 동작 단계별로 트레이너 영상을 기준으로 사람의 인체의 측정 포인트들에 반짝이는 태그가 부착된 사용자 영상의 운동 시 각 동작 단계별로 사람의 인체의 측정 포인트들의 각 관절의 정점과 정점 사이의 실선 각도가 비교되어 각 동작 단계별로 동작 일치도 점수가 부여되고 이를 누적 합산하여 동작 일치도 점수를 계산한다.
예를들면, 트레이너 영상과 사용자 영상은 수평을 기준으로 좌측 팔꿈치(111)와 좌측 팔등 관절(112)의 각도(111-112), 우측 팔꿈치(121)와 우측 팔등 관절(122)의 각도(121-122), 좌측 무릅 관절(141)과 좌측 발목 관절(142)의 각도(141-142), 우측 무릅 관절(151)과 발목 관절(152) 사이의 각도(151-152)를 예를들어 설명한다.
| 트레이너 | 좌측 팔꿈치(111-112)의 각도 | 우측 팔꿈치(121-122)의 각도 | 좌측 무릅(141-142)의 각도 | 우측 무릅(151-152)의 각도 | 비 고 |
| 동작0 | (0,1) 10° | (0,2) 10° | (0,3) 70° | (0,4) 70° | |
| 동작1 | (1,1) 20° | (1,2) 20° | (1,3) 30° | (1,4) 30° | |
| 동작2 | (2,1) 30° | (2,2) 20° | (2,3) 50° | (2,4) 50° | |
| 동작3 | (3,1) 40° | (3,2) 10° | (3,3) 20° | (3,4) 30° |
| 사용자 | 좌측 팔꿈치(111-112)의 각도 | 우측 팔꿈치(121-122)의 각도 | 좌측 무릅(141-142)의 각도 | 우측 무릅(151-152)의 각도 | 동작 일치도 |
| 동작0 | (0,1) 11° | (0,2) 11° | (0,3) 60° | (0,4) 60° | 3+3+2+2=10점 |
| 동작1 | (1,1) 23° | (1,2) 23° | (1,3) 42° | (1,4) 42° | 3+3+1+1=8점 |
| 동작2 | (2,1) 39° | (2,2) 29° | (2,3) 63° | (2,4) 56° | 2+2+1+1=6점 |
| 동작3 | (3,1) 47° | (3,2) 13° | (3,3) 23° | (3,4) 41° | 2+2+1+2=7점 |
| 동작일치도 점수 | 31점/48점 |
A(0,1) - B(0,1) = x(0,1)
A(0,2) - B(0,2) = x(0,2)
A(0,3) - B(0,3) = x(0,3)
A(0,4) - B(0,4) = x(0,4)
…
(예시) 0°≤ x(0,1) ≤ 5°: 동작 일치(3점), 좋음
5°< x(0,1) ≤10°: 근사적으로 동작 일치(2점), 보통
10°≤ x(0,1) ≤15°: 동작 불일치(1점), 나쁨
x(0,1) > 15° : 동작 완전 불일치(0점), 아주 나쁨
…
사람은 상체 부위(100,110,120)와 고 관절을 갖는 하체 부위(130,140,150) 각각 다르다. 사람의 인체의 측정 포인트들은 정면 자세에서 상체 부위(100,110,120)는 110과 120 사이의 밑변(110-120)과 100과 110 사이의 좌변과 100과 120 사이의 우변을 갖는 이등변 삼각형을 이루며, 하체 부위(130,140,150)는 140과 150 사이의 밑변(140-150)과 130과 140 사이의 좌변과 130과 150 사이의 우변을 갖는 이등변 삼각형을 이룬다.
도 13을 참조하면, 사람의 신체와 체형이 각각 다르므로, 트레이너 영상과 사용자 영상의 정면 자세의 상체 부위(100,110,120)-기준6과 하체 부위(130,140,150)-기준7 이등변 삼각형의 밑변의 길이와 높이가 다른 경우,
사용자 단말의 운동 어플(App)은 전문가 트레이너 영상의 이등변 삼각형의 밑변의 길이와 높이에 맞춰 사용자 영상을 영상 스케일링 기법을 사용하여 상기 트레이너 영상의 상체 부위(100,110,120)-기준6 또는 하체 부위(130,140,150)-기준7의 이등변 삼각형의 밑변의 길이와 높이에 맞춰 상기 사용자 영상의 상체 부위 또는 하체 부위가 이등변 삼각형의 밑변의 길이가 높이에 거의 근사적으로 일치되도록 영상/사진을 확대/축소하고,
운동시 각 동작 단계별로, 알파 블렌딩을 사용한 동작을 감지하여 운동의 자세의 위치를 검출하며, 운동량(p = mv)을 계산하며, 전문가 트레이너의 운동 영상을 보고 따라 운동하는 사용자의 운동 영상의 이미지의 관절 포인트 마디들을 잇고 트레이너 영상과 사용자 영상의 운동 영상 분석을 통해 사람의 인체의 측정 포인트들의 각 관절의 정점과 정점 사이의 실선 각도로 비교되어 트레이너의 운동 영상을 기준으로 사용자의 운동 영상의 동작 일치도를 점수화(ex. 동작 일치 3점, 근사적으로 동작 일치-2점, 동작 불일치-1점, 동작 완전 불일치-0점)하여 상호 비교하며, 해당 운동의 전문가 트레이너 영상과의 사용자 영상의 운동 동작의 동작 일치도 점수와 동작 일치도가 점수화 된 그래프를 출력하며, 체육 과학의 운동 역학 측면에서 자세 교정을 위한 운동관리 헬스케어 서비스를 제공한다.
본 발명에 따른 실시예들은 다양한 컴퓨터 수단을 통해 수행될 수 있는 프로그램 명령 형태로 구현되고 컴퓨터 판독 가능 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 기록 매체는 프로그램 명령, 데이터 파일, 데이터 구조를 단독으로 또는 조합하여 포함할 수 있다. 컴퓨터 판독 가능 기록 매체는 스토리지, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 저장 매체에 프로그램 명령을 저장하고 수행하도록 구성된 하드웨어 장치가 포함될 수 있다. 프로그램 명령의 예는 컴파일러에 의해 만들어지는 것과, 기계어 코드뿐만 아니라 인터프리터를 사용하여 컴퓨터에 의해 실행될 수 있는 고급 언어 코드를 포함할 수 있다. 상기 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로써 작동하도록 구성될 수 있다.
이상에서 설명한 바와 같이, 본 발명의 방법은 프로그램으로 구현되어 컴퓨터의 소프트웨어를 이용하여 읽을 수 있는 형태로 기록매체(CD-ROM, RAM, ROM, 메모리 카드, 하드 디스크, 광자기 디스크, 스토리지 디바이스 등)에 저장될 수 있다.
본 발명의 구체적인 실시예를 참조하여 설명하였지만, 본 발명은 상기와 같이 기술적 사상을 예시하기 위해 구체적인 실시 예와 동일한 구성 및 작용에만 한정되지 않고, 본 발명의 기술적 사상과 범위를 벗어나지 않는 한도 내에서 다양하게 변형하여 실시될 수 있으며, 본 발명의 범위는 후술하는 특허청구범위에 의해 결정되어야 한다.
100:
컴퓨터
110: 스마트폰, 태블릿 PC
130: TV 디스플레이 200: 운동관리 서버
210: 웹서버 220: 웹 어플리케이션 서버(WAS)
230: DB 270: 스트리밍 서버
272: 비디오 인코더 274: 카메라
201: 웹서버 202: 제어부
203: 회원관리부 204: 사용자 인증부
205: 운동 콘텐츠 제공부 206: 체중 및 체성분 측정 정보 입력부
207: 사용자 운동 영상 저장부
208: 트레이너 영상/사용자 영상 비교 분석부
209: 운동량 검출부 211: 통계 정보 제공부
212: 데이터베이스(DB) 213: 게시판
130: TV 디스플레이 200: 운동관리 서버
210: 웹서버 220: 웹 어플리케이션 서버(WAS)
230: DB 270: 스트리밍 서버
272: 비디오 인코더 274: 카메라
201: 웹서버 202: 제어부
203: 회원관리부 204: 사용자 인증부
205: 운동 콘텐츠 제공부 206: 체중 및 체성분 측정 정보 입력부
207: 사용자 운동 영상 저장부
208: 트레이너 영상/사용자 영상 비교 분석부
209: 운동량 검출부 211: 통계 정보 제공부
212: 데이터베이스(DB) 213: 게시판
Claims (7)
- 헬스, 피트니스, 요가, 스포츠 운동 시에, 웹서버와 데이터베이스를 구비하며, 운동 및 전문가 트레이너별로 전문가 트레이너의 영상과 운동 콘텐츠를 사용자 단말로 제공하여 운동관리 헬스케어 서비스를 제공하는 운동 관리 서버; 및
상기 운동 관리 서버에 유무선 통신망을 통해 연결되며, 사람의 인체의 각 부위에 부착되는 반짝이는 태그를 부착하고, 트레이너 영상을 보고 따라 운동하는 카메라로 촬영된 사용자의 운동 영상에 대하여 인체의 각 부위에 부착되는 반짝이는 태그를 인식하며, 알파 블렌딩을 사용한 동작을 감지하되, 트레이너의 운동 영상과 사용자의 운동 영상의 이미지의 관절 포인트 마디들을 잇고 운동 영상 분석을 통해 각 부분 동작이 일치하는지를 사람의 인체의 측정 포인트들의 각 관절의 정점과 정점 사이의 실선 각도로 비교되어 상기 트레이너 운동 영상과 상기 사용자의 운동 영상의 동작 일치도를 점수화하여 상호 비교하며, 해당 운동의 전문가 트레이너 영상과의 동작 일치도 점수와 동작 일치도가 점수화 된 그래프를 출력하는 헬스, 피트니스, 요가, 크로스핏, 스포츠 운동을 위한 운동 어플(App)이 설치된 사용자 단말; 을 포함하는 태그를 사용한 운동관리 헬스케어 서비스 시스템. - 제1항에 있어서,
운동 동작시에, 사용자는 사람의 인체의 측정 포인트들에 반짝이는 태그 또는 센서를 부착하여 카메라로 촬영되어 사용자 영상이 제공되며,
상기 사람의 인체의 측정 포인트들에 상기 센서가 부착되는 경우, 상기 센서는 3차원 모션 감지 센서를 사용하는, 태그를 사용한 운동관리 헬스케어 서비스 시스템. - 제2항에 있어서,
상기 사람의 인체의 측정 포인트들은 머리(100), 좌측 어깨(110), 좌측 팔꿈치 관절(111), 좌측 팔등 관절(112), 우측 어깨(120), 우측 팔꿈치 관절(121), 우측 팔등 관절(122), 배꼽(130), 좌측 엉치부(140), 좌측 무릅 관절(141), 좌측 발목 관절(142), 우측 엉치부(150), 우측 무릅 관절(151), 및 우측 발목 관절(152)을 포함하는, 태그를 사용한 운동관리 헬스케어 서비스 시스템. - 제1항에 있어서,
상기 사용자 단말은 운동기구를 사용하는 상기 운동 어플(App)이 설치된 컴퓨터, 스마트폰 또는 태블릿 PC, 또는 STB/TV 디스플레이를 사용하는, 태그를 사용한 운동관리 헬스케어 서비스 시스템. - 제1항에 있어서,
상기 사용자 단말의 운동 어플(App)은 유무선 통신망을 통해 상기 운동 관리 서버와 연결되며, 사용자의 키와 운동 전후 체중 측정 및 체성분 검출기기(In Body 체중계)에 의해 측정되는 사용자의 체중, 근육량, 체지방량, BMI 값을 포함하는 측정 값을 상기 운동 관리 서버에 저장하며, 이를 상기 운동 관리 서버의 데이터베이스에 누적 저장하여 시간대별/일/주/월/년도별 운동량, 체중, 근육량, 체지방량, BMI 값을 포함하는 개인별 운동 통계 데이터를 상기 사용자 단말로 제공하는, 태그를 사용한 운동관리 헬스케어 서비스 시스템. - 제5항에 있어서,
상기 사용자 단말의 운동 어플(App)은 상기 운동 관리 서버에 저장되는 사용자의 키와 체중 측정 및 체성분 검출기기(In Body 체중계)의 체중, 근육량, 체지방량, BMI 값을 포함하는 측정값들과 연동되는, 태그를 사용한 운동관리 헬스케어 서비스 시스템. - 제6항에 있어서,
체중 측정 및 체성분 검출기기(In Body 체중계) 검사 결과, 골격근 지방분석(체중, 근육량, 체지방량), 비만분석(BMI, 체지방률), 내장지방분석(내장지방레벨)을 측정 값과 막대 그래프(bar chart)로 상기 사용자 단말의 운동 어플(App)에 표시하고;
체중, 근육량, 체지방량, 체지방률의 측정값의 시간에 따른 신체 밸런스 변화 과정을 꺽은선 그래프(line chart)로 표현되며, 표준 정규 분포 곡선에 체중 측정 및 체성분 검출기기(In Body 체중계) 점수를 표시하고 미리 측정된 일정 인원수의 표준 체형을 가진 모집단의 표본의 체중 측정 및 체성분 검출기기(In Body 체중계) 점수의 평균에 의한 정규 분포를 갖는 통계분석 데이터의 상위 몇% 인지 표시하는 상기 사용자 단말의 운동 어플(App)에 표시하는, 태그를 사용한 운동관리 헬스케어 서비스 시스템.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210086723A KR102564945B1 (ko) | 2021-07-01 | 2021-07-01 | 태그를 사용한 운동관리 헬스케어 서비스 시스템 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210086723A KR102564945B1 (ko) | 2021-07-01 | 2021-07-01 | 태그를 사용한 운동관리 헬스케어 서비스 시스템 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20230005693A true KR20230005693A (ko) | 2023-01-10 |
| KR102564945B1 KR102564945B1 (ko) | 2023-08-07 |
Family
ID=84893663
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210086723A KR102564945B1 (ko) | 2021-07-01 | 2021-07-01 | 태그를 사용한 운동관리 헬스케어 서비스 시스템 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102564945B1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102557953B1 (ko) * | 2023-03-16 | 2023-07-20 | 주식회사 케이에이씨미디어그룹 | 안무 분석 시스템 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20130134680A (ko) * | 2012-05-31 | 2013-12-10 | (주)더힘스 | 신체 분석 시스템 |
| KR101962578B1 (ko) | 2018-07-31 | 2019-07-17 | 김종범 | Vr을 이용한 피트니스 운동 서비스 제공 시스템 |
| KR20190113265A (ko) * | 2018-03-28 | 2019-10-08 | 주식회사 스탠스 | 헬스케어를 위한 증강현실 디스플레이 장치 및 이를 이용한 헬스케어 시스템 |
| KR20200055243A (ko) | 2018-11-13 | 2020-05-21 | 주식회사 피트 | 운동 검사 연동 피트니스 스케줄링 서비스 제공 방법 및 그를 위한 서버 장치 |
| KR102123743B1 (ko) | 2018-11-20 | 2020-06-17 | 전자부품연구원 | 피트니스 자세교정을 위한 운동분석 방법 |
| KR20210013419A (ko) * | 2019-07-24 | 2021-02-04 | 주식회사 에버닌 | 트래커를 이용한 헬스 케어 시스템 |
-
2021
- 2021-07-01 KR KR1020210086723A patent/KR102564945B1/ko active IP Right Grant
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20130134680A (ko) * | 2012-05-31 | 2013-12-10 | (주)더힘스 | 신체 분석 시스템 |
| KR20190113265A (ko) * | 2018-03-28 | 2019-10-08 | 주식회사 스탠스 | 헬스케어를 위한 증강현실 디스플레이 장치 및 이를 이용한 헬스케어 시스템 |
| KR101962578B1 (ko) | 2018-07-31 | 2019-07-17 | 김종범 | Vr을 이용한 피트니스 운동 서비스 제공 시스템 |
| KR20200055243A (ko) | 2018-11-13 | 2020-05-21 | 주식회사 피트 | 운동 검사 연동 피트니스 스케줄링 서비스 제공 방법 및 그를 위한 서버 장치 |
| KR102123743B1 (ko) | 2018-11-20 | 2020-06-17 | 전자부품연구원 | 피트니스 자세교정을 위한 운동분석 방법 |
| KR20210013419A (ko) * | 2019-07-24 | 2021-02-04 | 주식회사 에버닌 | 트래커를 이용한 헬스 케어 시스템 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102557953B1 (ko) * | 2023-03-16 | 2023-07-20 | 주식회사 케이에이씨미디어그룹 | 안무 분석 시스템 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102564945B1 (ko) | 2023-08-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102700604B1 (ko) | 신체능력에 따른 운동프로그램 추천 시스템 | |
| CN108734104B (zh) | 基于深度学习图像识别的健身动作纠错方法及系统 | |
| US11745055B2 (en) | Method and system for monitoring and feed-backing on execution of physical exercise routines | |
| WO2019232899A1 (zh) | 体能和肌肉能力的综合评估系统及方法 | |
| Velloso et al. | Qualitative activity recognition of weight lifting exercises | |
| US11351419B2 (en) | Smart gym | |
| US20190143174A1 (en) | Motion training guide system based on wearable sensor and method thereof | |
| JP2020174910A (ja) | 運動支援システム | |
| CN108836296A (zh) | 智能健身方法及系统 | |
| Brice et al. | Use of inertial measurement units for measuring torso and pelvis orientation, and shoulder–pelvis separation angle in the discus throw | |
| Irwin et al. | Inter-segmental coordination in progressions for the longswing on high bar | |
| US9984588B1 (en) | Method for showing a visual change to a human body shape | |
| TWI679557B (zh) | 適應性運動姿態感測系統與方法 | |
| KR20190097361A (ko) | 자세 교정을 위한 자세 평가 시스템 및 그 방법 | |
| US20230355135A1 (en) | Intelligent gait analyzing apparatus | |
| KR102564945B1 (ko) | 태그를 사용한 운동관리 헬스케어 서비스 시스템 | |
| CN112070031A (zh) | 体态检测方法、装置及设备 | |
| Bertozzi et al. | Whole-body kinematics during a simulated sprint in flat-water kayakers | |
| Hölbling et al. | A kinematic model for assessment of hip joint range-of-motion in fast sport movements using spreading angles | |
| KR20060109762A (ko) | 온라인 운동자세 교정시스템 | |
| Cai et al. | PoseBuddy: Pose estimation workout mobile application | |
| JP2020108823A (ja) | 情報処理装置、情報処理方法、およびプログラム | |
| CN113842622B (zh) | 一种运动教学方法、装置、系统、电子设备及存储介质 | |
| JP6990015B2 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
| CN113641856A (zh) | 用于输出信息的方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |