KR102704882B1 - 3d 신체 정밀 추적 기술을 이용한 재활 훈련 시스템 - Google Patents
3d 신체 정밀 추적 기술을 이용한 재활 훈련 시스템 Download PDFInfo
- Publication number
- KR102704882B1 KR102704882B1 KR1020210175159A KR20210175159A KR102704882B1 KR 102704882 B1 KR102704882 B1 KR 102704882B1 KR 1020210175159 A KR1020210175159 A KR 1020210175159A KR 20210175159 A KR20210175159 A KR 20210175159A KR 102704882 B1 KR102704882 B1 KR 102704882B1
- Authority
- KR
- South Korea
- Prior art keywords
- pose
- exercise
- rehabilitation
- point
- unit
- Prior art date
Links
- 238000005516 engineering process Methods 0.000 title claims abstract description 18
- 230000033001 locomotion Effects 0.000 claims abstract description 44
- 239000000284 extract Substances 0.000 claims abstract description 29
- 238000001514 detection method Methods 0.000 claims description 22
- 238000012937 correction Methods 0.000 claims description 15
- 230000000638 stimulation Effects 0.000 claims description 15
- 238000000605 extraction Methods 0.000 claims description 9
- 238000007781 pre-processing Methods 0.000 claims description 7
- 210000003423 ankle Anatomy 0.000 claims description 4
- 210000001145 finger joint Anatomy 0.000 claims description 4
- 210000004394 hip joint Anatomy 0.000 claims description 4
- 210000003127 knee Anatomy 0.000 claims description 4
- 238000010801 machine learning Methods 0.000 claims description 4
- 210000000707 wrist Anatomy 0.000 claims description 4
- 210000004934 left little finger Anatomy 0.000 claims description 2
- 210000004936 left thumb Anatomy 0.000 claims description 2
- 210000004933 right little finger Anatomy 0.000 claims description 2
- 210000004935 right thumb Anatomy 0.000 claims description 2
- 230000000694 effects Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 238000013527 convolutional neural network Methods 0.000 description 5
- 230000014509 gene expression Effects 0.000 description 4
- 238000000034 method Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 3
- 208000025721 COVID-19 Diseases 0.000 description 2
- 230000037081 physical activity Effects 0.000 description 2
- 238000001931 thermography Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000000844 transformation Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 206010012289 Dementia Diseases 0.000 description 1
- 208000031226 Hyperlipidaemia Diseases 0.000 description 1
- 206010024264 Lethargy Diseases 0.000 description 1
- 206010033799 Paralysis Diseases 0.000 description 1
- 230000036528 appetite Effects 0.000 description 1
- 235000019789 appetite Nutrition 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 230000036760 body temperature Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 235000004280 healthy diet Nutrition 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 208000020016 psychiatric disease Diseases 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000007480 spreading Effects 0.000 description 1
- 230000009182 swimming Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
- 230000004584 weight gain Effects 0.000 description 1
- 235000019786 weight gain Nutrition 0.000 description 1
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
- G16H20/30—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to physical therapies or activities, e.g. physiotherapy, acupressure or exercising
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1124—Determining motor skills
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
- A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
- A63B24/0003—Analysing the course of a movement or motion sequences during an exercise or trainings sequence, e.g. swing for golf or tennis
- A63B24/0006—Computerised comparison for qualitative assessment of motion sequences or the course of a movement
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
- A63B24/0075—Means for generating exercise programs or schemes, e.g. computerized virtual trainer, e.g. using expert databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
- G16H10/60—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/12—Bounding box
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biophysics (AREA)
- Physical Education & Sports Medicine (AREA)
- Primary Health Care (AREA)
- Business, Economics & Management (AREA)
- Software Systems (AREA)
- Physiology (AREA)
- Veterinary Medicine (AREA)
- Animal Behavior & Ethology (AREA)
- Dentistry (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Tourism & Hospitality (AREA)
- Epidemiology (AREA)
- Pathology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Radiology & Medical Imaging (AREA)
- Artificial Intelligence (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Economics (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Mathematical Physics (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Databases & Information Systems (AREA)
Abstract
본 발명은 3D 신체 정밀 추적 기술을 이용한 재활 훈련 시스템에 관한 것으로, 본 발명에 따르면, 3D 신체 정밀 추적 기술을 이용한 재활 훈련 시스템에 있어서, 3D 촬영이 가능하여, 재활 운동을 하는 사용자를 촬영하여 영상 데이터를 획득하는 촬영부; 재활 운동에 따라 재활 운동 콘텐츠를 제공하고, 상기 촬영부로부터 상기 영상 데이터를 실시간으로 수신 받아 사용자의 신체에 따른 키포인트를 추출하여 포즈를 추정하고, 추정된 포즈에 따라 운동 진행 정보 및 포즈 판단 정보를 생성하는 재활 훈련 서버 및 상기 재활 운동 콘텐츠를 출력하여 상기 사용자가 상기 재활 운동 콘텐츠를 따라 재활 운동을 진행할 수 있도록 하며, 상기 운동 진행 정보와 포즈 판단 정보를 나타내는 출력부를 포함하되, 상기 재활 훈련 서버는, 재활 운동에 따른 재활 운동 콘텐츠를 저장하는 데이터베이스; 재활 운동에 따라 상기 재활 운동 콘텐츠를 상기 출력부로 전송하고, 상기 촬영부로부터 촬영된 영상 데이터가 상기 출력부를 통해 출력되도록 전송하는 콘텐츠/영상 제공부; 상기 영상 데이터를 수신 받아 복수의 프레임을 추출하고, 각 프레임 별로 상기 키포인트를 추출하여 포즈를 추정하는 포즈 추정부; 추정된 포즈에 따라 운동 동작을 카운팅하여 상기 운동 진행 정보를 생성하고 상기 출력부로 전송하는 운동 관리부 및 상기 재활 운동 콘텐츠를 기반으로 추정된 포즈를 분석하여 상기 포즈 판단 정보를 생성하고 상기 출력부로 전송하는 포즈 판단부를 포함하는 재활 훈련 시스템을 제공할 수 있다.
Description
본 발명은 3D 신체 정밀 추적 기술을 이용한 재활 훈련 시스템에 관한 것으로, 더욱 자세하게는 홈 트레이닝이 가능하도록 하여 혼자서도 지속적으로 재활 운동을 할 수 있도록 하되, 정확한 포즈로 재활 운동을 수행할 수 있도록 함으로써, 바람직한 재활 훈련 효과를 얻도록 하는 3D 신체 정밀 추적 기술을 이용한 재활 훈련 시스템에 관한 것이다.
코로나 19가 장기화되고 다양한 규제가 발생함에 따라, 모임, 사교활동, 체육활동 등 사회적 활동이 둔화되어 개인의 신체활동이 감소하고, 건강한 식단에 대한 접근이 어려워 체중 증가, 혈당 상승, 고지혈증 악화 등 신체에 부정적 영향이 나타나고 있다.
또한 사회적 활동이 제한 됨으로써 혼자 생활로 인해 식욕이 저하되고 무기력해지면서 우울증으로 발전하는 경우가 늘어나고 있고 치매 등 정신병 악화가 우려되는 상황이다.
한편 대면으로 재활 치료를 받고 있던 환자들도 코로나 19로 인해 치료가 제한됨에 따라 지속적인 재활 활동을 하지 못해 회복이 더뎌지고 있다.
이와 같이 헬스장, 수영장, 요가원, 재활센터 등 운동 시설 이용이 어려워지면서 집에서 운동기구를 직접 이용하거나 스마트폰, 텔레비전 등으로부터 출력되는 운동 영상을 보고 따라하는 방식으로 전문 트레이너 없이 혼자 운동하는 '홈 트레이닝'이 확산되고 있으며, 그에 따른 시장도 확대되고 있는 추세이다.
홈 트레이닝은 장소의 이동없이 원하는 시간에 운동할 수 있는 장점이 있으나, 집에서 혼자하는 운동이다 보니 정확한 자세로 운동을 하는데 한계가 있어 효율적인 운동 효과를 보기 어려울 뿐만 아니라 잘못된 자세로 인해 오히려 신체에 무리가 가는 문제가 있었다.
또한 스스로 혼자 운동을 진행해야 하는데 있어, 의지 부족 등 다양한 이유로 쉽게 운동을 하지 않게 되어 지속적으로 운동을 하기에 어려움이 있었다.
또한 재활 치료의 경우 환자가 재활 운동을 했는지 바람직한 자세로 재활 운동이 이루어졌는지 등에 대해 담당자가 파악하는데 한계가 있었다.
한편, 선행기술로 제10-2021-0061037호 '마비 장애인 일상생활 재활운동 서비스 시스템'이 공개되어 있다.
상기와 같은 문제를 해결하고자, 본 발명은 홈 트레이닝이 가능하도록 하여 혼자서도 지속적으로 재활 운동을 할 수 있도록 하되, 정확한 포즈로 재활 운동을 수행할 수 있도록 함으로써, 바람직한 재활 훈련 효과를 얻도록 하는 3D 신체 정밀 추적 기술을 이용한 재활 훈련 시스템을 제공하는 데 목적이 있다.
상기와 같은 과제를 해결하기 위하여, 본 발명의 제1 실시예에 따른 3D 신체 정밀 추적 기술을 이용한 재활 훈련 시스템은 3D 촬영이 가능하여, 재활 운동을 하는 사용자를 촬영하여 영상 데이터를 획득하는 촬영부; 재활 운동에 따라 재활 운동 콘텐츠를 제공하고, 상기 촬영부로부터 상기 영상 데이터를 실시간으로 수신 받아 사용자의 신체에 따른 키포인트를 추출하여 포즈를 추정하고, 추정된 포즈에 따라 운동 진행 정보 및 포즈 판단 정보를 생성하는 재활 훈련 서버 및 상기 재활 운동 콘텐츠를 출력하여 상기 사용자가 상기 재활 운동 콘텐츠를 따라 재활 운동을 진행할 수 있도록 하며, 상기 운동 진행 정보와 포즈 판단 정보를 나타내는 출력부를 포함하되, 상기 재활 훈련 서버는, 재활 운동에 따른 재활 운동 콘텐츠를 저장하는 데이터베이스; 재활 운동에 따라 상기 재활 운동 콘텐츠를 상기 출력부로 전송하고, 상기 촬영부로부터 촬영된 영상 데이터가 상기 출력부를 통해 출력되도록 전송하는 콘텐츠/영상 제공부; 상기 영상 데이터를 수신 받아 복수의 프레임을 추출하고, 각 프레임 별로 상기 키포인트를 추출하여 포즈를 추정하는 포즈 추정부; 추정된 포즈에 따라 운동 동작을 카운팅하여 상기 운동 진행 정보를 생성하고 상기 출력부로 전송하는 운동 관리부 및 상기 재활 운동 콘텐츠를 기반으로 추정된 포즈를 분석하여 상기 포즈 판단 정보를 생성하고 상기 출력부로 전송하는 포즈 판단부를 포함하는 재활 훈련 시스템을 제공할 수 있다.
또한 상기 포즈 추정부는, 복수의 프레임 중 첫 프레임에서 사용자에 대한 2D 바운딩 박스(bounding box)를 추출하는 객체 검출부; 상기 프레임의 상기 2D 바운딩 박스에서 상기 키포인트를 추출하되, 나머지 프레임에서는 첫 프레임에서 추출된 2D 바운딩 박스를 적용하여 상기 키포인트를 추출하는 키포인트 추출부 및 상기 키포인트가 추출된 2D 바운딩 박스를 3D 바운딩 박스로 확장하고, 상기 3D 바운딩 박스로부터 포즈를 추정하여 포즈 데이터를 생성하는 포즈 인식부를 포함할 수 있다.
또한 상기 운동 관리부는, 시간 순으로 나열된 포즈 데이터들을 이용하여 추정된 포즈의 순서에 따라 운동 동작을 카운팅하여 상기 재활 운동 콘텐츠를 기반으로 운동 진행 정보를 생성하고, 상기 운동 진행 정보는, 운동 동작 별로 수행된 횟수 및 수행되어야 하는 횟수를 포함하는 것을 특징으로 한다.
또한 상기 운동 관리부는, 설정된 운동 스케줄 정보에 따라 상기 콘텐츠 제공부에서 상기 재활 운동 콘텐츠를 선택하여 상기 출력부로 전송하도록 하며, 상기 운동 진행 정보에서 운동 동작 별로 수행된 횟수와 수행되어야 하는 횟수가 모두 동일해질 경우, 상기 재활 운동 콘텐츠에 따른 해당 재활 운동이 완료된 것으로 판단하고, 상기 운동 스케줄 정보를 업데이트 하는 것을 특징으로 한다.
또한 상기 포즈 판단부는, 추정된 포즈를 분석할 시, 상기 재활 운동 콘텐츠를 기반으로 상기 포즈 데이터의 상기 키포인트 별로 위치를 판정하여 포즈 정확도를 도출하고, 오차 범위를 넘는 상기 키포인트가 있을 경우, 해당 키포인트에 따른 신체의 위치를 교정하는 포즈 교정 정보를 생성하고, 상기 포즈 판단 정보는, 포즈 정확도 및 포즈 교정 정보 중 하나 이상을 포함하는 것을 특징으로 한다.
또한 상기 포즈 판단부는, 상기 촬영부로부터 수신 받은 영상 데이터에 상기 포즈 교정 정보를 합성하여, 상기 포즈 교정 정보가 합성된 영상 데이터가 상기 콘텐츠/영상 제공부를 통해 상기 출력부로 전송되도록 하는 것을 특징으로 한다.
또한 상기 포즈 추정부는, 기계 학습을 통해, 영상 데이터의 밝기(brightness)와 대비(contrast)를 자동 조절하는 전처리부를 더 포함할 수 있다.
또한 본 발명의 제2 실시예에 따른 3D 신체 정밀 추적 기술을 이용한 재활 훈련 시스템의 상기 포즈 판단부는, 상기 촬영부의 열감지카메라로부터 수신 받은 열영상 데이터에서 해당 포즈 데이터에 대응되는 열감지 프레임을 추출하고, 운동 동작에 따른 바람직한 자극 부위에 대한 정보인 운동 부위 데이터를 기반으로 추출된 열감지 데이터를 통해 바람직한 자극 부위에 자극이 가해졌는지 판단하여 자극 판단 정보를 생성하고, 상기 자극 판단 정보를 상기 포즈 정확도 도출에 적용하는 것을 특징으로 한다.
또한 상기 포즈 판단부는, 상기 재활 운동 콘텐츠에서 상기 포즈 데이터에 매칭되는 운동 동작 데이터를 추출하여, 상기 포즈 데이터와 상기 운동 동작 데이터의 IoU를 하기 수학식 1을 통해 계산하여, 상기 포즈 정확도 도출에 적용하는 것을 특징으로 한다.
[수학식 1]
IoU = Overlapping Region / Combined Region
(여기서, Overlapping Region은 포즈 데이터와 운동 동작 데이터가 서로 겹쳐지는 영역의 크기이고, Combined Region은 포즈 데이터와 운동 동작 데이터를 결합한 영역의 크기이다.)
상기와 같은 본 발명의 실시예에 따른 3D 신체 정밀 추적 기술을 이용한 재활 훈련 시스템은 홈 트레이닝이 가능하도록 하여 혼자서도 지속적으로 재활 운동을 할 수 있도록 하되, 정확한 포즈로 재활 운동을 수행할 수 있도록 함으로써, 바람직한 재활 훈련 효과를 얻도록 한다.
또한 시각적으로 재활 운동에 대한 가이드라인을 제공하며 키포인트를 통한 포즈 추정으로 포즈에 대해 보다 정확하게 분석하여 피드백을 제공함으로써, 효율적 운동 효과가 증대되도록 할 수 있다.
또한 원격으로 재활 훈련 상황이나 진행 여부를 파악할 수 있어 관리가 가능하도록 할 수 있다.
한편, 본 발명의 기술적 과제는 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 제1 실시예에 따른 3D 신체 정밀 추적 기술을 이용한 재활 훈련 시스템을 나타낸 블록도.
도 2는 도 1의 재활 훈련 서버를 나타낸 블록도.
도 3은 도 2의 포즈 추정부를 나타낸 블록도.
도 4는 도 2의 키포인트 추출부에서 추출되는 키포인트를 도시한 예시도.
도 5는 본 발명의 제2 실시예에 따른 3D 신체 정밀 추적 기술을 이용한 재활 훈련 시스템의 촬영부를 나타낸 블록도.
도 2는 도 1의 재활 훈련 서버를 나타낸 블록도.
도 3은 도 2의 포즈 추정부를 나타낸 블록도.
도 4는 도 2의 키포인트 추출부에서 추출되는 키포인트를 도시한 예시도.
도 5는 본 발명의 제2 실시예에 따른 3D 신체 정밀 추적 기술을 이용한 재활 훈련 시스템의 촬영부를 나타낸 블록도.
이하, 도면을 참조한 본 발명의 설명은 특정한 실시 형태에 대해 한정되지 않으며, 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있다. 또한, 이하에서 설명하는 내용은 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
이하의 설명에서 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용되는 용어로서, 그 자체에 의미가 한정되지 아니하며, 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
본 명세서 전체에 걸쳐 사용되는 동일한 참조번호는 동일한 구성요소를 나타낸다.
본 발명에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 또한, 이하에서 기재되는 "포함하다", "구비하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것으로 해석되어야 하며, 하나 또는 그 이상의 다른 특징들이나, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
또한, 명세서에 기재된 "…부", "…기", "…모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
이하, 첨부된 도면을 참조하여 본 발명의 실시 예에 따른 행동인식 기반 위험 상황 감지 시스템 및 방법을 상세히 살펴보기로 한다.
도 1은 본 발명의 제1 실시예에 따른 3D 신체 정밀 추적 기술을 이용한 재활 훈련 시스템을 나타낸 블록도이고, 도 2는 도 1의 재활 훈련 서버를 나타낸 블록도이고, 도 3은 도 2의 포즈 추정부를 나타낸 블록도이며, 도 4는 도 2의 키포인트 추출부에서 추출되는 키포인트를 도시한 예시도이다.
본 발명의 제1 실시예에 따른 3D 신체 정밀 추적 기술을 이용한 재활 훈련 시스템(이하 '재활 훈련 시스템'이라 함)은 재활 운동에 따른 재활 운동 콘텐츠를 제공하여 사용자가 운동 동작을 따라함에 따라 재활 운동을 하도록 할 수 있으며, 운동 동작을 수행하고 있는 사용자의 모습에 대한 영상 데이터를 수신 받아 운동 동작에 대한 포즈를 판정하여 피드백을 제공함으로써, 집에서 혼자 홈트레이닝이 가능하도록 할 뿐만 아니라 신체에 무리없이 정확한 자세로 효율적인 운동 효과를 얻을 수 있도록 하고자 하는 것이다.
도 1을 참조하면, 재활 훈련 시스템은 촬영부(1), 재활 훈련 서버(2) 및 출력부(3)를 포함할 수 있다.
촬영부(1)는 사용자의 주거 공간에 설치되어 촬영을 수행하는 것으로, 재활 운동을 하는 사용자를 촬영할 수 있다. 이와 같이 촬영부(1)는 사용자를 촬영하여 영상 데이터를 획득할 수 있으며, 재활 훈련 서버(2)와 연동되어 있어 획득된 영상 데이터를 재활 훈련 서버(2)로 전송할 수 있다.
여기서 촬영부(1)는 사용자를 3D로 촬영할 수 있는 장치로 구성될 수 있는데, 3D 촬영이 가능한 라이다일 수 있으나, 이에 한정되지 않고, 3D 촬영이 가능한 카메라 또는 센서 등이 적용될 수 있다. 또한 촬영부(1)는 주거 공간에 하나 이상이 설치될 수 있다.
한편, 출력부(3)는 재활 훈련 서버(2)와 연동되어 재활 운동 콘텐츠를 출력하여 사용자가 재활 운동 콘텐츠를 따라 재활 운동을 진행할 수 있도록 하며, 영상 데이터를 수신 받아 출력하는 것으로 사용자가 자신의 모습을 확인하면서 운동 동작을 따라하도록 할 수 있다.
또한 출력부(3)는 재활 훈련 서버(2)로부터 수신 받은 운동 진행 정보와 포즈 판단 정보를 화면에 나타낼 수 있다. 이에 사용자가 해당 정보들을 확인 할 수 있도록 한다.
여기서 출력부(3)는 모바일 단말, PC, 태블릿, 스마트 TV 등으로 다양한 장치로 구현될 수 있으며, 이에 한정되지 않는다. 이에 출력부(3)는 사용자로부터 제어 값 등을 입력 받아 재활 훈련 서버(2)로 전달되도록 하여, 사용자에 의해 재활 운동 콘텐츠의 재생속도, 재생중지, 재생시작 등뿐만 아니라 재생되는 재활 운동 콘텐츠의 종류 등이 제어되도록 할 수도 있다.
재활 훈련 서버(2)는 재활 운동에 따라 재활 운동 콘텐츠를 제공하고, 촬영부로부터 영상 데이터를 수신 받아 사용자의 신체에 따른 키포인트를 추출하여 포즈를 추정하고, 추정된 포즈에 따라 운동 진행 정보 및 포즈 판단 정보를 생성할 수 있다.
이를 위해, 도 2를 참조하면, 재활 훈련 서버(2)는 데이터베이스(20), 콘텐츠/영상 제공부(21), 포즈 추정부(22), 운동 관리부(23) 및 포즈 판단부(24)를 포함할 수 있다.
데이터베이스(20)는 재활 운동에 따른 재활 운동 콘텐츠를 하나 이상 저장할 수 있다.
여기서 재활 운동 콘텐츠는 각 재활 운동의 종류에 따라 사용자가 따라서 취해야하는 운동 동작을 제공하는 콘텐츠로서, 복수의 운동 동작 데이터를 포함하여 하나의 영상으로 제공될 수 있으나, 이에 한정되지는 않는다.
또한 데이터베이스(20)는 운동 스케줄 정보, 영상 데이터, 운동 진행 정보, 포즈 판단 정보 등 본 시스템에서 사용되고 생성되는 다양한 모든 정보들을 저장할 수 있다.
콘텐츠/영상 제공부(21)는 재활 운동에 따라 재활 운동 콘텐츠들 중 하나를 선택하여 출력부(3)로 전송할 수 있는데, 재활 운동 콘텐츠에 대한 선택은 출력부(3)로부터 전달 받은 제어 값에 따라 이루어지거나, 운동 스케줄 정보에 따라 이루어질 수 있다.
운동 스케줄 정보는 재활 운동에 대한 계획 정보와 계획에 따른 재활 운동 수행 여부 등에 대한 정보들을 포함할 수 있으나, 이에 한정되지는 않는다.
또한 콘텐츠/영상 제공부(21)는 촬영부(1)로부터 촬영된 영상 데이터를 수신 받아 출력부(3)로 전달하여, 출력부(3)를 통해 출력되도록 할 수 있다. 이에 실시간으로 사용자가 자신의 모습을 확인하면서 재활 운동을 수행할 수 있다.
포즈 추정부(22)는 영상 데이터를 실시간으로 수신 받아 복수의 프레임을 추출하고, 각 프레임 별로 키포인트를 추출하여 포즈를 추정할 수 있다.
구체적으로, 도 3을 참조하면, 포즈 추정부(22)는 전처리부(220), 객체 검출부(221), 키포인트 추출부(222) 및 포즈 인식부(223)를 포함할 수 있다.
전처리부(220)는 촬영부(1)로부터 수신 받은 영상 데이터에서 하나 이상의 프레임을 추출할 수 있는데, 복수개로 추출될 경우 프레임들은 일정 시간 간격으로 추출될 수 있으나, 이에 한정되지 않고 일정 시간 간격이 아닌 불규칙한 시간 간격으로 추출될 수도 있다.
보다 구체적으로, 전처리부(220)는 파이썬 OpenCV 라이브러리를 이용하여 캡쳐를 통해 영상 데이터에서 하나 이상의 프레임을 추출할 수 있으나, 이에 한정되지는 않는다.
한편, 전처리부(220)는 영상 데이터에서 프레임을 추출하기 전에, 영상 데이터의 밝기와 대비에 대해 미리 기계 학습이 이루어져 있음에 따라, 영상 데이터의 밝기(brightness)와 대비(contrast)를 자동 조절할 수 있다. 이는 바운딩 박스 추출 정확도를 보다 높이기 위한 것으로, 사용자가 촬영되는 환경이 매번 달라지는 특징을 고려하여 영상 데이터의 밝기와 대비를 바람직한 정도로 자동으로 조정해줌으로써, 바운딩 박스가 보다 정확하게 추출되도록 할 수 있다.
객체 검출부(221)는 복수의 프레임 중 첫 프레임에서 사용자에 대한 2D 바운딩 박스(bounding box)를 추출할 수 있다. 여기서 첫 프레임은 시간 흐름에 따라 촬영되는 영상 데이터에서 시간적으로 가장 빠른 프레임이되, 2D 바운딩 박스가 추출되는 프레임일 수 있다.
이러한 객체 검출부(221)는 인공지능 모델 중 YOLO 모델이 적용되어 첫 프레임에서 사용자에 해당하는 2D 바운딩 박스(bounding box)를 추출할 수 있다.
YOLO 모델은 이미지 내에서 객체를 빠짐없이 탐지하여 위치 정보를 2D의 바운딩 박스로 표시하는 모델로서, 하나의 신경망을 Grid 방식을 통해 전체 이미지에 적용하여 주변 정보까지 처리할 수 있어, 기존 분류기 기반 객체 탐지 기법인 R-CNN, Fast R-CNN 등에 비하여 객체 검출 정확도가 우수하고, 매우 효율적이고 빠르게 객체를 탐지할 수 있어 실시간 객체 탐지가 가능할 수 있다.
보다 구체적으로, YOLO 모델은 하나의 합성곱 신경망(Convolutional neural network, CNN)으로 이루어질 수 있고, 합성곱 신경망(CNN)은 컨볼루션 레이어(convolution layer, Conv)와 전결합 레이어(fully connected layer, FC)로 구성될 수 있다.
컨볼루션 레이어(Conv)는 하나 이상으로 형성되어, 영상 데이터의 프레임의 특징을 추출하는 것으로, 프레임을 S x S 그리드(Grid)로 나누고, 프레임에 대해 가중치를 적용하여 합성곱 연상을 통해 특징맵(feature map)을 생성할 수 있다. 이러한 하나의 컨볼루션 레이어(Conv)는 프레임의 픽셀 또는 그리드 셀을 대상으로 위치를 변경하면서 여러 번 반복하여 적용되어 프레임에 대해 특징을 추출할 수 있다.
여기서 사용되는 가중치들의 그룹을 가중치 커널(kernel)이라고 지칭할 수 있으며, 가중치 커널은 n x m x d의 3차원 행렬로 구성될 수 있는데, 프레임을 지정된 간격으로 순회하며 합성곱 연산을 통해 특징맵을 생성할 수 있다.
이때, 프레임이 복수의 채널(예를 들어, HSV의 3개의 채널)을 갖는 이미지라면, 가중치 커널은 프레임의 각 채널을 순회하며 합성곱 계산을 한 후, 채널 별 특징맵을 생성할 수 있다.
여기서, n은 프레임의 특정 크기의 행, m은 프레임의 특정 크기의 열, d는 프레임의 채널을 나타낼 수 있다.
전결합 레이어(FC)는 생성된 특징맵을 이용하여 객체에 대한 하나 이상의 2D의 바운딩 박스와 클래스 확률을 예측할 수 있다. 이 2D의 바운딩 박스를 2D 바운딩 박스라고 지칭하기로 한다.
여기서 2D 바운딩 박스(bounding box)는 (x,y,w,h,c) 좌표로 구성될 수 있는데, x,y는 바운딩 박스의 중심 좌표 값, w,h는 바운딩 박스의 너비와 높이 값, c는 신뢰 점수(confidence score)이다.
또한 클래스 확률은 그리드 셀 안에 객체가 있다는 조건 하에 그 객체가 어떤 클래스(class)인지에 대한 조건부 확률이다.
또한 전결합 레이어(FC)는 2D 바운딩 박스의 좌표와 클래스 확률을 이용하여 실제 객체에 대한 2D 바운딩 박스를 선택해 낼 수 있으며, 사용자에 해당하는 객체에 대한 2D 바운딩 박스 만을 추출할 수 있다. 이때, class specific confidence score와 IOU(Intersection over Union)을 이용하여 사용자에 해당하는 객체에 대한 2D 바운딩 박스 만을 추출할 수 있다.
class specific confidence score는 2D 바운딩 박스의 신뢰 점수(confidence score)와 클래스 확률(class probability)을 곱하는 것으로 구할 수 있고, IOU(Intersection over Union)는 교집합 영역 넓이/합집합 영역 넓이로 구할 수 있다.
키포인트 추출부(222)는 2D 바운딩 박스 내에서 키포인트를 추출하는 것으로, 첫 프레임을 제외한 나머지 프레임에 있어서는 첫 프레임에서 추출된 2D 바운딩 박스를 각 프레임에 적용하여 프레임 별로 키포인트를 추출할 수 있다.
여기서 키포인트 추출부(222)는 BlazePose 모델이 적용되어 2D 바운딩 박스 내에서 사용자의 신체에 따른 키포인트를 추출할 수 있는데, 도 4에 도시된 바와 같은, 코 점(P0), 오른쪽 눈 내부 점(P1), 오른쪽 눈 중심 점(P2), 오른쪽 눈 외부 점(P3), 왼쪽 눈 내부 점(P4), 왼쪽 눈 중심 점(P5), 왼쪽 눈 외부 점(P6), 오른쪽 귀 점(P7), 왼쪽 귀 점(P8), 입 오른쪽 점(P9), 입 왼쪽 점(P10), 오른쪽 어깨 점(P11), 왼쪽 어깨 점(P12), 오른쪽 팔꿈치 점(P13), 왼쪽 팔꿈치 점(P14), 오른쪽 손목 점(P15), 왼쪽 손목 점(P16), 오른쪽 새끼손가락 관절 점(P17), 왼쪽 새끼손가락 관절 점(P18), 오른쪽 검지손가락 관절 점(P19), 왼쪽 검지손가락 관절 점(P20), 오른쪽 엄지손가락 관절 점(P21), 왼쪽 엄지손가락 관절 점(P22), 오른쪽 고관절 점(P23), 왼쪽 고관절 점(P24), 오른쪽 무릎 점(P25), 왼쪽 무릎 점(P26), 오른쪽 발목 점(P27), 왼쪽 발목 점(P28), 오른쪽 발뒤꿈치 점(P29), 왼쪽 발뒤꿈치 점(P30), 오른쪽 검지발가락 점(P31), 왼쪽 검지발가락 점(P32) 중 하나 이상의 키포인트를 추출할 수 있다. 다만 이에 한정되지 않고 다른 키포인트들을 추출할 수 있다.
포즈 인식부(223)는 키포인트가 추출된 2D 바운딩 박스를 3D 바운딩 박스로 확장하고, 3D 바운딩 박스로부터 포즈를 추정하여 포즈 데이터를 생성할 수 있다.
이에 포즈 데이터는 3D 바운딩 박스와 추정된 포즈 정보를 포함할 수 있고, 3D 바운딩 박스는 키포인트, 사용자에 해당하는 점들, 촬영부 위치 등을 포함할 수 있으나, 이에 한정되지 않고, 보다 다양한 정보들을 포함하고 있을 수 있다.
이때, 포즈 인식부(223)는 Established Pose Estimation(EPnP) 알고리즘이 적용되어 2D 바운딩 박스를 3D 바운딩 박스로 확장할 수 있다.
또한 포즈 인식부(223)는 상기와 같은 3D 바운딩 박스로 구축된 3D 데이터 셋에 대해 학습된 머신러닝 모델(ML 파이프라인)을 통해 상기 3D 바운딩 박스로부터 사용자의 포즈를 추정하여 포즈 데이터를 생성할 수 있다.
운동 관리부(23)는 추정된 포즈에 따라 운동 동작을 카운팅하여 운동 진행 정보를 생성하고, 생성된 운동 진행 정보를 출력부(3)로 전송할 수 있다. 여기서 운동 진행 정보는 운동 동작 별로 수행된 횟수 및 수행되어야 하는 횟수 등을 포함할 수 있으나, 이에 한정되지 않는다.
이때 운동 동작 별로 수행되어야 하는 횟수는 제공되고 있는 재활 운동 콘텐츠에 따라 결정될 수 있다.
보다 구체적으로, 운동 관리부(23)는 시간 순으로 나열된 포즈 데이터들을 이용하여 추정된 포즈의 순서에 따라 운동 동작을 판단하고, 판단된 운동 동작을 카운팅할 수 있다. 이에 사용자가 재활 운동을 수행함에 따라 실시간으로 수행한 운동 동작에 대한 횟수를 카운트해줄 수 있는 것이다.
또한 운동 관리부(23)는 사용자 또는 담당자로부터 운동 스케줄 정보를 입력 받아 설정되도록 할 수 있으며, 이에 설정된 운동 스케줄 정보에 따라 재활 훈련 서버(2)에서 자동으로 재활 운동 콘텐츠를 선택하여 제공하도록 할 수도 있다. 이에 사용자가 재활 훈련을 스케줄에 맞춰 진행하도록 관리해줄 수 있다.
또한 운동 관리부(23)는 운동 진행 정보를 생성하는데 있어, 운동 동작 별로 수행된 횟수와 수행되어야 하는 횟수가 모두 동일해질 경우, 재활 운동 콘텐츠에 따른 해당 재활 운동이 완료된 것으로 판단할 수 있다. 이에 운동 스케줄 정보에 해당 재활 운동에 대한 재활 운동 완료 정보를 추가함으로써, 운동 스케줄 정보를 업데이트 할 수 있다.
또한 운동 관리부(23)는 운동 스케줄 정보를 출력부(3)로 전달하여, 사용자가 확인 가능하도록 할 수 있다.
또한 운동 관리부(23)는 트레이너, 의료종사자 등 담당자가 소지하는 담당자 단말로 운동 스케줄 정보를 전송할 수 있다. 이에 원격으로 사용자의 재활 훈련에 대해 관리가 가능하도록 할 수 있다.
포즈 판단부(24)는 재활 운동 콘텐츠를 기반으로 추정된 포즈를 분석하여 포즈 판단 정보를 생성하고, 생성된 포즈 판단 정보를 출력부(3)로 전송할 수 있다.
여기서 포즈 판단 정보는 포즈 정확도 및 포즈 교정 정보 중 하나 이상을 포함할 수 있으나, 이에 한정되지 않으며, 보다 다양한 정보들이 포함될 수도 있다.
구체적으로, 포즈 판단부(24)는 추정된 포즈를 분석할 시, 재활 운동 콘텐츠를 기반으로 포즈 데이터의 키포인트 별로 각각 위치를 판정하여, 각 키포인트의 위치 오차를 종합하여 포즈 정확도를 도출할 수 있다.
이때, 포즈 판단부(24)는 키포인트의 위치 오차가 기설정된 오차 범위를 넘는 키포인트가 있을 경우, 오차 범위를 넘는 키포인트에 따라 해당 신체의 위치를 교정하는 포즈 교정 정보를 생성할 수 있다.
이에 사용자가 자신의 포즈가 정확한지 확인할 수 있으며, 교정이 필요할 경우 그에 대한 피드백을 받을 수 있어 보다 바람직한 자세로 재활 운동을 수행하도록 할 수 있다.
교정 효율성을 위하여, 포즈 판단부(24)는 AR 기술을 기반으로 촬영부(1)로부터 수신 받은 영상 데이터에 포즈 교정 정보를 합성하여, 콘텐츠/영상 제공부(21)를 통해 출력부(3)로 포즈 교정 정보가 합성된 영상 데이터가 전송되도록 하여, 사용자가 보다 쉽게 포즈 교정을 할 수 있도록 한다.
도 5는 본 발명의 제2 실시예에 따른 3D 신체 정밀 추적 기술을 이용한 재활 훈련 시스템의 촬영부를 나타낸 블록도이다.
도 5를 참조하면, 본 발명의 제2 실시예에 따른 3D 신체 정밀 추적 기술을 이용한 재활 훈련 시스템의 촬영부(1)는 3D 촬영장치(10) 외에 열감지 카메라(12)도 더 포함할 수 있다. 이에 포즈 판단부(24)는 포즈 정확도를 도출하는데 있어 다른 과정이 추가적으로 이루어질 수 있다.
즉, 촬영부(1) 및 포즈 판단부(24)를 제외하고, 본 발명의 제2 실시예에 따른 재활 훈련 시스템은 상기에서 설명한 본 발명의 실시예에 따른 재활 훈련 시스템과 실질적으로 동일하다고 할 수 있다.
따라서, 촬영부(1) 및 포즈 판단부(24)에 대해서만 자세하게 설명하기로 한다.
촬영부(1)는 영상 데이터를 획득할 수 있는 3D 촬영장치(10) 외에 열감지 카메라(12)를 더 포함하여, 영상 데이터와 함께 열영상 데이터를 같이 획득 가능하도록 할 수 있다.
열감지 카메라(12)는 사용자를 촬영함으로써, 사용자의 신체 온도 분포에 대한 정보로 열영상 데이터를 획득할 수 있고, 이러한 열영상 데이터를 재활 훈련 서버(2)로 전송할 수 있다.
재활 훈련 서버(2)의 포즈 판단부(24)는 먼저 열영상 데이터에서 생성된 포즈 데이터에 대응되는, 즉 동일 시간대의 열감지 프레임을 추출할 수 있다.
한편, 포즈 판단부(24)는 열영상 데이터에서 사용자가 운동 동작을 수행하기 전 가장 초기에 촬영된 열감지 프레임을 추출하여 대조 데이터로 설정할 수 있다.
또한 데이터베이스(20)는 운동 동작에 따른 바람직한 자극 부위에 대한 정보인 운동 부위 데이터를 저장하고 있을 수 있다.
이에 포즈 판단부(24)는 운동 부위 데이터를 기반으로 추출된 열감지 데이터를 통해 사용자의 신체에서 바람직한 자극 부위에 자극이 가해졌는지를 판단하여 자극 판단 정보를 생성할 수 있다. 재활 운동이 진행됨에 따라 사용자가 운동 동작을 취했을 시 신체에서 어느 부위에 자극이 가해짐에 따라 그 부위의 온도가 높아질 수 있기 때문에, 열감지 데이터를 이용하여 바람직한 부위에 자극이 가해졌는지를 판단하는 것이다.
이때 대조 데이터를 함께 이용함으로써, 재활 운동에 의해 부위에 자극이 가해져 온도가 높아진 것인지 원래 부위 자체 온도가 높아졌는지를 확인할 수 있어 보다 정확하게 판단되도록 할 수 있다.
포즈 판단부(24)는 이와 같이 생성된 자극 판단 정보를 포즈 정확도 도출 시에 적용함으로써, 포즈 정확도를 보다 정확하게 추출할 수 있다.
또한 포즈 판단부(24)는 재활 운동 콘텐츠에서 포즈 데이터에 매칭되는 운동 동작 데이터를 추출하여, 포즈 데이터와 운동 동작 데이터의 IoU를 하기 수학식 1을 통해 계산하여, 포즈 정확도 도출에 적용할 수 있다.
[수학식 1]
IoU = Overlapping Region / Combined Region
여기서, Overlapping Region은 포즈 데이터와 운동 동작 데이터가 서로 겹쳐지는 영역의 크기이고, Combined Region은 포즈 데이터와 운동 동작 데이터를 결합한 영역의 크기이다.
포즈 판단부(24)에서 계산되는 IoU가 크면 클수록 포즈 데이터와 운동 동작 데이터가 서로 겹쳐지는 영역의 크기가 크다는 것으로, 즉 둘의 데이터에 오차가 없다는 것을 의미하기 때문에, 이를 포즈 정확도에 이용할 수 있는 것이다.
즉, 포즈의 정확도를 IoU를 통해 거시적 관점으로 판단하고, 키포인트별로 위치를 판정하는 것으로 미시적 관점으로 판단하여 최종적인 포즈 정확도를 도출함으로써, 보다 정확하게 판정하도록 한다.
상기에서 설명한 바와 같이, 본 발명의 실시예에 따른 3D 신체 정밀 추적 기술을 이용한 재활 훈련 시스템은 홈 트레이닝이 가능하도록 하여 혼자서도 지속적으로 재활 운동을 할 수 있도록 하되, 정확한 포즈로 재활 운동을 수행할 수 있도록 함으로써, 바람직한 재활 훈련 효과를 얻도록 한다.
또한 시각적으로 재활 운동에 대한 가이드라인을 제공하며 키포인트를 통한 포즈 추정으로 포즈에 대해 보다 정확하게 분석하여 피드백을 제공함으로써, 효율적 운동 효과가 증대되도록 할 수 있다.
또한 원격으로 재활 훈련 상황이나 진행 여부를 파악할 수 있어 관리가 가능하도록 할 수 있다.
한편, 본 발명의 기술적 과제는 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
이상으로 첨부된 도면을 참조하여 본 발명의 실시예를 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고 다른 구체적인 형태로 실시할 수 있다는 것을 이해할 수 있을 것이다. 따라서 이상에서 기술한 실시예는 모든 면에서 예시적인 것이며 한정적이 아닌 것이다.
1: 촬영부
10: 3D 촬영장치
11: 열감지 카메라
2: 재활 훈련 서버
20: 데이터베이스
21: 콘텐츠/영상 제공부
22: 포즈 추정부
220: 객체 검출부
221: 키포인트 추출부
222: 포즈 인식부
223: 전처리부
23: 운동 관리부
24: 포즈 판단부
10: 3D 촬영장치
11: 열감지 카메라
2: 재활 훈련 서버
20: 데이터베이스
21: 콘텐츠/영상 제공부
22: 포즈 추정부
220: 객체 검출부
221: 키포인트 추출부
222: 포즈 인식부
223: 전처리부
23: 운동 관리부
24: 포즈 판단부
Claims (9)
- 3D 신체 정밀 추적 기술을 이용한 재활 훈련 시스템에 있어서,
3D 촬영이 가능하여, 재활 운동을 하는 사용자를 촬영하여 영상 데이터를 획득하는 촬영부;
재활 운동에 따라 재활 운동 콘텐츠를 제공하고, 상기 촬영부로부터 상기 영상 데이터를 실시간으로 수신 받아 사용자의 신체에 따른 키포인트를 추출하여 포즈를 추정하고, 추정된 포즈에 따라 운동 진행 정보 및 포즈 판단 정보를 생성하는 재활 훈련 서버 및
상기 재활 운동 콘텐츠를 출력하여 상기 사용자가 상기 재활 운동 콘텐츠를 따라 재활 운동을 진행할 수 있도록 하며, 상기 운동 진행 정보와 포즈 판단 정보를 나타내는 출력부를 포함하되,
상기 재활 훈련 서버는,
재활 운동에 따른 재활 운동 콘텐츠를 저장하는 데이터베이스;
재활 운동에 따라 상기 재활 운동 콘텐츠를 상기 출력부로 전송하고, 상기 촬영부로부터 촬영된 영상 데이터가 상기 출력부를 통해 출력되도록 전송하는 콘텐츠/영상 제공부;
상기 영상 데이터를 수신 받아 복수의 프레임을 추출하고, 각 프레임 별로 상기 키포인트를 추출하여 포즈를 추정하는 포즈 추정부;
추정된 포즈에 따라 운동 동작을 카운팅하여 상기 운동 진행 정보를 생성하고 상기 출력부로 전송하는 운동 관리부 및
상기 재활 운동 콘텐츠를 기반으로 추정된 포즈를 분석하여 상기 포즈 판단 정보를 생성하고 상기 출력부로 전송하는 포즈 판단부를 포함하고,
상기 포즈 추정부는,
복수의 프레임 중 첫 프레임에서 사용자에 대한 2D 바운딩 박스(bounding box)를 추출하는 객체 검출부;
상기 프레임의 상기 2D 바운딩 박스에서 상기 키포인트를 추출하되, 나머지 프레임에서는 첫 프레임에서 추출된 2D 바운딩 박스를 적용하여 상기 키포인트를 추출하는 키포인트 추출부 및
상기 키포인트가 추출된 2D 바운딩 박스를 3D 바운딩 박스로 확장하고, 상기 3D 바운딩 박스로부터 포즈를 추정하여 포즈 데이터를 생성하는 포즈 인식부를 포함하며,
상기 포즈 판단부는,
추정된 포즈를 분석할 시, 상기 재활 운동 콘텐츠를 기반으로 상기 포즈 데이터의 상기 키포인트 별로 위치를 판정하여 포즈 정확도를 도출하고, 오차 범위를 넘는 상기 키포인트가 있을 경우, 해당 키포인트에 따른 신체의 위치를 교정하는 포즈 교정 정보를 생성하며, 상기 촬영부의 열감지카메라로부터 수신 받은 열영상 데이터에서 사용자가 운동 동작을 수행하기 전 가장 초기에 촬영된 열감지 프레임을 추출하여 대조 데이터로 설정하고, 해당 포즈 데이터에 대응되는 열감지 프레임을 추출하며, 운동 동작에 따른 바람직한 자극 부위에 대한 정보인 운동 부위 데이터를 기반으로 추출된 열감지 데이터와 상기 대조 데이터를 통해 바람직한 자극 부위에 자극이 가해졌는지와 재활 운동에 의해 부위에 자극이 가해져 온도가 높아진 것인지 원래 부위 자체 온도가 높은지를 판단하여 자극 판단 정보를 생성하고, 상기 자극 판단 정보를 상기 포즈 정확도 도출에 적용하며,
상기 포즈 판단 정보는,
포즈 정확도 및 포즈 교정 정보 중 하나 이상을 포함하고,
상기 키포인트는,
코 점(P0), 오른쪽 눈 내부 점(P1), 오른쪽 눈 중심 점(P2), 오른쪽 눈 외부 점(P3), 왼쪽 눈 내부 점(P4), 왼쪽 눈 중심 점(P5), 왼쪽 눈 외부 점(P6), 오른쪽 귀 점(P7), 왼쪽 귀 점(P8), 입 오른쪽 점(P9), 입 왼쪽 점(P10), 오른쪽 어깨 점(P11), 왼쪽 어깨 점(P12), 오른쪽 팔꿈치 점(P13), 왼쪽 팔꿈치 점(P14), 오른쪽 손목 점(P15), 왼쪽 손목 점(P16), 오른쪽 새끼손가락 관절 점(P17), 왼쪽 새끼손가락 관절 점(P18), 오른쪽 검지손가락 관절 점(P19), 왼쪽 검지손가락 관절 점(P20), 오른쪽 엄지손가락 관절 점(P21), 왼쪽 엄지손가락 관절 점(P22), 오른쪽 고관절 점(P23), 왼쪽 고관절 점(P24), 오른쪽 무릎 점(P25), 왼쪽 무릎 점(P26), 오른쪽 발목 점(P27), 왼쪽 발목 점(P28), 오른쪽 발뒤꿈치 점(P29), 왼쪽 발뒤꿈치 점(P30), 오른쪽 검지발가락 점(P31), 왼쪽. 검지발가락 점(P32)을 포함하는 재활 훈련 시스템.
- 삭제
- 제1항에 있어서,
상기 운동 관리부는,
시간 순으로 나열된 포즈 데이터들을 이용하여 추정된 포즈의 순서에 따라 운동 동작을 카운팅하여 상기 재활 운동 콘텐츠를 기반으로 운동 진행 정보를 생성하고,
상기 운동 진행 정보는,
운동 동작 별로 수행된 횟수 및 수행되어야 하는 횟수를 포함하는 것을 특징으로 하는 재활 훈련 시스템.
- 제3항에 있어서,
상기 운동 관리부는,
설정된 운동 스케줄 정보에 따라 상기 콘텐츠/영상 제공부에서 상기 재활 운동 콘텐츠를 선택하여 상기 출력부로 전송하도록 하며,
상기 운동 진행 정보에서 운동 동작 별로 수행된 횟수와 수행되어야 하는 횟수가 모두 동일해질 경우, 상기 재활 운동 콘텐츠에 따른 해당 재활 운동이 완료된 것으로 판단하고, 상기 운동 스케줄 정보를 업데이트 하는 것을 특징으로 하는 재활 훈련 시스템.
- 삭제
- 제1항에 있어서,
상기 포즈 판단부는,
상기 촬영부로부터 수신 받은 영상 데이터에 상기 포즈 교정 정보를 합성하여, 상기 포즈 교정 정보가 합성된 영상 데이터가 상기 콘텐츠/영상 제공부를 통해 상기 출력부로 전송되도록 하는 것을 특징으로 하는 재활 훈련 시스템.
- 제1항에 있어서,
상기 포즈 추정부는,
기계 학습을 통해, 영상 데이터의 밝기(brightness)와 대비(contrast)를 자동 조절하는 전처리부를 더 포함하는 재활 훈련 시스템.
- 삭제
- 제1항에 있어서,
상기 포즈 판단부는,
상기 재활 운동 콘텐츠에서 상기 포즈 데이터에 매칭되는 운동 동작 데이터를 추출하여, 상기 포즈 데이터와 상기 운동 동작 데이터의 IoU를 하기 수학식 1을 통해 계산하여, 상기 포즈 정확도 도출에 적용하는 것을 특징으로 하는 재활 훈련 시스템.
[수학식 1]
IoU = Overlapping Region / Combined Region
(여기서, Overlapping Region은 포즈 데이터와 운동 동작 데이터가 서로 겹쳐지는 영역의 크기이고, Combined Region은 포즈 데이터와 운동 동작 데이터를 결합한 영역의 크기이다.)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210175159A KR102704882B1 (ko) | 2021-12-08 | 2021-12-08 | 3d 신체 정밀 추적 기술을 이용한 재활 훈련 시스템 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210175159A KR102704882B1 (ko) | 2021-12-08 | 2021-12-08 | 3d 신체 정밀 추적 기술을 이용한 재활 훈련 시스템 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20230086874A KR20230086874A (ko) | 2023-06-16 |
| KR102704882B1 true KR102704882B1 (ko) | 2024-09-10 |
Family
ID=86948398
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210175159A KR102704882B1 (ko) | 2021-12-08 | 2021-12-08 | 3d 신체 정밀 추적 기술을 이용한 재활 훈련 시스템 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102704882B1 (ko) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117204845B (zh) * | 2023-07-26 | 2024-08-13 | 中国科学院宁波材料技术与工程研究所 | 一种用于步态康复训练的听觉提示方法、装置及系统 |
| CN117854666B (zh) * | 2024-03-07 | 2024-06-04 | 之江实验室 | 一种三维人体康复数据集构建方法及装置 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101221784B1 (ko) * | 2011-07-20 | 2013-01-11 | 장우빈 | 카메라를 이용한 운동 분석평가 시스템 및 그 제어방법 |
| JP2021105887A (ja) * | 2019-12-26 | 2021-07-26 | 国立大学法人 東京大学 | ３ｄポーズ取得方法及び装置 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101576526B1 (ko) * | 2014-02-14 | 2015-12-11 | 부경대학교 산학협력단 | 재활운동 지원 장치 및 방법 |
| KR102097190B1 (ko) * | 2017-10-23 | 2020-04-03 | 남정우 | 스마트 미러를 이용하여 실시간 운동 동작을 분석 및 디스플레이하기 위한 방법 및 이를 위한 스마트 미러 |
-
2021
- 2021-12-08 KR KR1020210175159A patent/KR102704882B1/ko active IP Right Grant
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101221784B1 (ko) * | 2011-07-20 | 2013-01-11 | 장우빈 | 카메라를 이용한 운동 분석평가 시스템 및 그 제어방법 |
| JP2021105887A (ja) * | 2019-12-26 | 2021-07-26 | 国立大学法人 東京大学 | ３ｄポーズ取得方法及び装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20230086874A (ko) | 2023-06-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US12033076B2 (en) | Systems and methods for assessing balance and form during body movement | |
| US11069144B2 (en) | Systems and methods for augmented reality body movement guidance and measurement | |
| US11132533B2 (en) | Systems and methods for creating target motion, capturing motion, analyzing motion, and improving motion | |
| US11745055B2 (en) | Method and system for monitoring and feed-backing on execution of physical exercise routines | |
| CN109191588B (zh) | 运动教学方法、装置、存储介质及电子设备 | |
| KR102704882B1 (ko) | 3d 신체 정밀 추적 기술을 이용한 재활 훈련 시스템 | |
| JP5356690B2 (ja) | ユーザの身体運動の範囲を追跡するための方法、システム、およびプログラム | |
| CN112464918B (zh) | 健身动作纠正方法、装置、计算机设备和存储介质 | |
| US20160048993A1 (en) | Image processing device, image processing method, and program | |
| TWI464696B (zh) | 動作比對方法與動作比對系統 | |
| KR102320960B1 (ko) | 사용자 신체 맞춤형 홈 트레이닝 동작 안내 및 교정 시스템 | |
| JP6801028B2 (ja) | Ｒｇｂ−ｄカメラを利用したリハビリ訓練システム及び方法 | |
| US9418470B2 (en) | Method and system for selecting the viewing configuration of a rendered figure | |
| US20220288451A1 (en) | System and method for a sports-coaching platform | |
| KR102594938B1 (ko) | 인공신경망을 이용한 스포츠 자세를 비교 및 교정하는 장치 및 방법 | |
| US20220245836A1 (en) | System and method for providing movement based instruction | |
| CN114022512B (zh) | 运动辅助方法、装置及介质 | |
| KR102356685B1 (ko) | 온라인 그룹을 기반으로 하는 홈 트레이닝 제공 시스템 및 그 방법 | |
| CN118380096A (zh) | 一种基于算法追踪与虚拟现实的康复训练交互方法及装置 | |
| Yan | Construction and Application of Virtual Reality‐Based Sports Rehabilitation Training Program | |
| CN118172833A (zh) | 一种对羽毛球运动中运动损伤进行筛查的方法、装置及设备 | |
| Lianzhen et al. | Athlete Rehabilitation Evaluation System Based on Internet of Health Things and Human Gait Analysis Algorithm | |
| Wessa et al. | Can pose classification be used to teach Kickboxing? | |
| Kunishima et al. | Gait Condition Assessment Methods for Visualizing Interventional Expertise by Means of Posture Detection | |
| Liebermann et al. | Video-based technologies |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |