KR101416282B1 - Functional measurement and evaluation system for exercising Health and Rehabilitation based on Natural Interaction - Google Patents
Functional measurement and evaluation system for exercising Health and Rehabilitation based on Natural Interaction Download PDFInfo
- Publication number
- KR101416282B1 KR101416282B1 KR1020120020732A KR20120020732A KR101416282B1 KR 101416282 B1 KR101416282 B1 KR 101416282B1 KR 1020120020732 A KR1020120020732 A KR 1020120020732A KR 20120020732 A KR20120020732 A KR 20120020732A KR 101416282 B1 KR101416282 B1 KR 101416282B1
- Authority
- KR
- South Korea
- Prior art keywords
- user
- rehabilitation exercise
- exercise
- information
- rehabilitation
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
- G16H20/30—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to physical therapies or activities, e.g. physiotherapy, acupressure or exercising
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
- G16H10/60—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Epidemiology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Primary Health Care (AREA)
- Medical Informatics (AREA)
- Theoretical Computer Science (AREA)
- Computer Hardware Design (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- Physical Education & Sports Medicine (AREA)
- Computer Graphics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Software Systems (AREA)
- Rehabilitation Tools (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
본 발명은 네추럴 인터렉션 기반 건강 및 재활운동 기능성 측정 평가 시스템에 관한 것으로서, 더욱 상세하게는 건강 및 재활 운동을 위한 훈련방법을 가상 트레이너를 통해 모니터에 출력시키고, 모니터를 보고 운동을 하는 사용자에 대해 실시간으로 비젼촬영 및 분석에 의해 운동정보를 계측하여 미리 구축된 운동 DB의 정보와 비교 평가하여 건강 및 재활 운동의 분석정보를 제공할 수 있도록 한 네추럴 인터렉션 기반 건강 및 재활운동 기능성 측정 평가 시스템이다.The present invention relates to a health and rehabilitation exercise functional measurement and evaluation system based on a natural interaction, and more particularly, to a health and rehabilitation exercise measurement and evaluation system for a health and rehabilitation exercise, Is a natural interaction based health and rehabilitation exercise functional measurement and evaluation system that can provide analysis information of health and rehabilitation exercise by measuring exercise information by vision shooting and analysis and comparing it with information of preformed exercise DB.
Description
본 발명은 네츄럴 인터렉션(Natural Interaction} 기반 건강 및 재활 기능성 측정 평가 시스템에 관한 것으로서, 더욱 상세하게는 건강 및 재활 운동을 위한 시범운동을 모니터에 출력시키고, 모니터를 보고 운동을 따라하는 사용자에 대해 실시간으로 3차원 촬영 및 분석에 의해 운동정보를 계측하여 미리 구축된 운동 DB의 정보와 비교 평가하여 건강 및 재활 운동의 분석정보를 제공할 수 있도록 한 네츄럴 인터렉션 기반 건강 및 재활 기능성 측정 평가 시스템에 관한 것이다.
The present invention relates to a health and rehabilitation functional measurement and evaluation system based on Natural Interaction, and more particularly, to a health and rehabilitation functional measurement and evaluation system based on a natural interaction, To a health and rehabilitation functionality measurement and evaluation system based on a natural interaction that can provide analysis information of a health and rehabilitation exercise by measuring exercise information by three-dimensional photographing and analysis and comparing it with information of a preformed exercise DB .
뇌병변 환자의 재활치료 중 상지운동은 상부신경계의 기능이상 후 회복과정에서 나타나는 독특한 협응패턴을 고려한 운동을 수행하여야 한다.During the rehabilitation of patients with brain lesions, upper extremity exercise should be performed in consideration of the unique coordination pattern that appears in the recovery process after dysfunction of the upper nervous system.
운동과 같은 특수 목적성 운동에서는 재활 대상자가 운동 방법을 잘 모르기 때문에 의사의 조언과 감독 아래 운동을 수행하기는 하지만, 정량화된 수치적 기준이 없어 운동량 체크가 어렵고, 흥미 유발이 어려워 쉽게 지치며, 지루해 하고 잘못된 운동을 하게 되는 등의 어려움이 있었다.In a special purpose exercise such as exercise, the subject of rehabilitation does not know how to exercise, so he carries out exercise under the advice and supervision of the doctor. However, since there is no quantitative standard for quantification, it is difficult to check the exercise amount, And there were difficulties such as wrong exercise.
이러한 맞춤형 운동처방은 환자의 상태에 따라서 달라지기 때문에 환자의 상태를 정확하게 평가하는 것이 기본이 되어야 한다. 평가자는 환자의 상태를 관절가동범위, 근지구력, 상지운동평가도구 등을 이용하여 평가하게 되는데 각각의 평가는 상당한 시간을 소모하게 되며, 평가자의 주관에 따라서 정확도가 떨어지는 단점이 있다.Because this customized exercise regimen depends on the condition of the patient, accurate evaluation of the patient's condition should be the basis. The evaluator evaluates the patient's condition by using the range of motion, muscle endurance, upper extremity exercise evaluation tool, etc. Each evaluation consumes a considerable amount of time and has a disadvantage in that accuracy is poor according to the evaluator's subjective opinion.
또한 관절가동범위를 통해 신체수준을 평가하면 치료사가 동반하여 측정도구를 가지고 수행해야 하는 복잡함과 부수적인 장치를 부착해야 하는 번거로움을 수반한다.Assessing body levels through joint motion ranges also involves the complexity of having a therapist perform with a measuring tool and the cumbersome task of attaching ancillary equipment.
또한 기존의 평가방식은 적게는 5단계에서 보통 10단계 정도의 측정 단위를 가지기 때문에 환자상태가 미세하게 회복될 경우 그 회복 정도를 파악할 수 없다는 단점이 있다.In addition, since the conventional evaluation method has a unit of measurement of about 10 steps in 5 steps, there is a disadvantage in that the degree of recovery can not be grasped when the patient state is finely restored.
또한 뇌병변 환자의 특성상 상지의 움직임은 협응패턴을 나타나게 되고, 극강직으로 인하여 부드러운 움직임이 아니라 왜곡된 움직임을 보이는데 이를 정량적으로 측정하는 방법이 없다.
In addition, due to the nature of the brain lesion, the upper limb movements exhibit coordination patterns, and due to extreme rigidity, there is no way to quantitatively measure distorted movements instead of smooth movements.
본 발명은 뇌졸중 등의 뇌병변 발생 후 운동기능의 회복 단계에 따른 재활 대상 환자의 기능적 회복 정도를 정량적으로 평가하기 위한 것이다.The present invention is to quantitatively evaluate the degree of functional recovery of a subject to be rehabilitated according to the recovery phase of motor function after brain lesion such as stroke.
실제 병원에서 쓰이는 세가지 평면에서의 관절가동범위, 협응패턴, 비정상적인 움직임 패턴, Fugl-meyer Assessment Scale, 및 Motor status scale을 디지털 방식으로, 정량적으로 평가할 수 있도록 한 네추럴 인터렉션 기반 건강 및 재활운동 기능성 측정 평가 시스템을 제공하기 위한 것이다.
Assessment of health and rehabilitation exercise functionality measurement based on natural interaction that enables digital and quantitative evaluation of joint motion range, coordination pattern, abnormal movement pattern, Fugl-meyer Assessment Scale, and motor status scale in three planes used in actual hospital System.
본 발명은, 모니터에서는 운동 및 특정동작을 설명하고, 환자는 이 지시에 따라서 재활운동을 수행한다. 이러한 동작수행은 깊이 카메라를 이용하여 실시간으로 촬영하여 3차원분석에 의한 각 관절의 움직임을 검출하도록 한다. 각 관절별로 세가지 평면에서 기록되는 관절가동범위와 관절의 움직임 패턴은 시계열로 저장한 후, 3차원적으로 재조합하고 일차적으로는 관절의 움직임 자체를 타코미터 및 그래프로 표시한다. The present invention explains motion and specific motion in the monitor, and the patient performs a rehabilitation exercise in accordance with this instruction. This motion is captured in real time using a depth camera and motion of each joint is detected by 3D analysis. Joint movement range and joint movement pattern recorded in three planes for each joint are stored in time series, then reconstructed three-dimensionally, and firstly, the motion of the joint is displayed by a tachometer and a graph.
이후 시계열 관절 움직임 데이터는 미리 구축된 재활단계별 움직임 DB 정보와 비교 평가하여 어떤 단계의 협응 패턴을 나타내는지, 어떤 타입의 왜곡된 움직임이 나타나는지 분석한다.Then, the time series joint motion data is compared with the motion DB information of each rehabilitation step constructed beforehand to analyze what kind of cooperative patterns and what kind of distorted motion appears.
또한 기존에 널리 사용되어 온 Fugl-meyer Assessment Scale, 및 Motor status scale 형식으로 변환되어 표시할 수 있도록 분석한다.In addition, it is analyzed so that it can be transformed into the conventional Fugl-meyer Assessment Scale and Motor Status scale format.
이상의 평가는 개인별로 초기단계, 직전단계와 비교하여 회복양상을 파악할 수 있도록 하며, 유사병변을 가진 그룹 내에서의 회복정도를 비교하여 재활치료의 효율성을 평가하도록 한다.In the above evaluation, the recovery pattern is compared with the initial stage and the immediately preceding stage of the individual, and the efficiency of rehabilitation treatment is evaluated by comparing the degree of recovery within the group having similar lesions.
결론적으로 뇌병변 발생 후 운동회복 단계에 따른 상지 움직임과 재활 치료의 분석정보를 제공할 수 있도록 한 네츄럴 인터렉션 기반 건강 및 재활 기능성 게임 시스템의 디지털 정량화 신체수준 평가 도구이다.In conclusion, this is a digital quantification body level evaluation tool of a health and rehabilitation functional game system based on a natural interaction that can provide analysis information of upper limb movements and rehabilitation after the development of brain lesions after the recovery phase.
본 발명은 재활운동 훈련에 대해서 운동 정보를 정량적으로디지탈 데이터로 DB화 하고, 사용자의 움직임을 3차원 카메라로 촬영하여 뼈대를 모델링하여 운동정보를 추출한 후, 이를 기준이 되는 정량적 데이터와 비교하여 평가함으로써, 정량적 평가가 가능해진다는 효과가 있다.In the present invention, exercise information is quantitatively digitized as digital data for rehabilitation exercise training, motion information is extracted by modeling a skeleton by photographing a user's motion with a three-dimensional camera, and comparing the motion information with quantitative data Thus, there is an effect that quantitative evaluation becomes possible.
또한 본 발명은, 신체평가는 디지털화됨으로 평가자 및 뇌병변 환자에게 지속적으로 정확한 피드백을 제공하고, 이러한 디지털화된 신체평가 결과는 자동적으로 컴퓨터에 저장됨으로써 일일이 수기로 저장하는 불편함과 시간낭비를 줄일 수 있으며, 지루한 평가과정을 게임형식을 이용하게 됨으로써 대상환자가 적극적으로 참여할 수 있는 효과가 있다.In addition, the present invention provides continuous feedback to the evaluator and brain lesion patients by digitizing the body evaluation, and the digitized body evaluation results are automatically stored in the computer, thereby reducing inconvenience and time wasted to be stored manually , And the tedious evaluation process is used in the game format, so that the patient can participate positively.
본 발명은 인체의 골격/근육의 움직임 및 운동에 대한 모델링 정보를 테이블로 저장하여 두고, 사용자가 목표운동정보를 입력하면 자동으로 매칭되는 게임콘텐츠를 선택할 수 있도록 하며, 게임 진행에 따른 운동분석을 통해 운동 부위나 운동종류, 운동량 등의 운동정보를 분석하여 제공함으로서 건강 및 재활을 위한 운동효과를 향상시킬 수 있고, 게임을 이용하기 때문에 흥미를 유발하여 운동 효과를 더욱 향상시킬 수 있는 효과가 있다.
The present invention stores modeling information on skeletal / muscular movements and movements of a human body as a table, allows the user to select automatically matched game contents when the user inputs target exercise information, It is possible to improve the exercise effect for health and rehabilitation by analyzing and providing the exercise information such as the exercise site, the exercise type, and the exercise amount, and it is possible to further enhance the exercise effect by inducing interest because the game is used .
도 1은 본 발명에 의한 네추럴 인터렉션 기반 건강 및 재활운동 기능성 측정 평가 시스템 구성도.
도 2는 본 발명에 의한 재활훈련 모니터의 예시도.
도 3은 본 발명에 의한 재활훈련 시스템의 제어 흐름도.
도 4는 본 발명에 의한 신체 인식 제어 흐름도.1 is a block diagram of a health and rehabilitation exercise functional measurement and evaluation system based on a natural interaction according to the present invention.
2 is an exemplary view of a rehabilitation training monitor according to the present invention.
3 is a control flowchart of a rehabilitation training system according to the present invention.
4 is a flowchart of a body recognition control according to the present invention.
이하 본 발명의 실시 예를 첨부된 도면을 참조해서 상세히 설명하면 다음과 같다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.
도 1은 본 발명에 의한 네추럴 인터렉션 기반 건강 및 재활운동 기능성 측정 평가 시스템의 기본 구성도이다.1 is a basic block diagram of a health and rehabilitation exercise functional measurement and evaluation system based on a natural interaction according to the present invention.
이에 도시된 바와 같이,As shown therein,
사용자의 재활 운동 훈련 스케줄에 따라 가상 트레이너(101)의 시범을 모니터(100)에 출력하고, 가상 트레이너(101)의 시범을 따라하는 사용자를 3차원 카메라(160)로 촬영하여 모니터(100)에 출력하면서, 영상 분석에 의해 사용자의 운동 정보를 추출하고, 가상 트레이너(101)의 운동 정보와 사용자의 운동 정보를 비교 평가하여 모니터(100)에 출력하는 재활운동 측정 시스템(20)과;The demonstration of the
상기 재활운동 측정시스템(20)과 연결되고, 재활운동에 대해서 운동 정보를 디지털 데이터로 정량화시켜 재활운동의 종류, 레벨, 운동방법에 대해 재활운동 DB(110)로 저장해두고, 해당 사용자의 재활운동 훈련 스케줄을 사용자 인식 및 선택에 의해 생성하여 상기 재활운동 측정시스템(20)으로 전송하고, 상기 재활 운동 측정시스템(20)으로부터 사용자의 운동 정보 및 평가 정보를 수신받아 해당 사용자의 재활운동 이력정보로서 저장함과 아울러 운동 상태정보를 관리자 모니터(122)에 표시하여 관리하는 관리 시스템(10)으로 이루어진 것을 특징으로 한다.
The rehabilitation
상기 재활운동 측정시스템(20)은,The rehabilitation exercise measurement system (20)
상기 관리 시스템(10)으로부터 사용자의 재활운동 훈련 스케줄을 수신받아 사용자 재활운동 훈련 스케줄에 의거하여 사용자가 따라하도록 모니터(100)에 가상 트레이너(101)에 의한 재활운동 시범을 보이면서 자막 및 음성으로 안내하는 재활운동 플레이 제어부(150)와;And receives a rehabilitation exercise training schedule from the
상기 모니터(100)에 플레이 되는 가상트레이너(101)의 운동을 따라하는 사용자를 촬영하는 3차원(depth) 카메라(160)와;A
상기 3차원 카메라(160)에 의해 촬영된 사용자 영상을 분석하여 사용자 운동 정보를 생성하고, 상태 정보 및 사용자 운동 영상을 모니터(100)에 표시하는 사용자 운동 분석부(170)와;A
상기 가상트레이너(101)의 운동정보와, 사용자의 운동정보를 비교하여 유사성에 따른 비교 평가를 하고, 평가 결과를 모니터(100)에 출력함과 아울러 사용자 운동 교정지시를 음성 및 모니터 메시지로 출력하는 재활운동 평가부(180)를 포함하여 이루어짐을 특징으로 한다.The motion information of the
또한, 사용자의 재활운동 종류와 재활운동 레벨 및 사용자 재활운동 훈련 스케줄에 따라 해당되는 재활 운동에 맞도록 사용자의 움직임에 의해 게임이 구현되도록 게임기능을 제공함과 아울러 사용자 레벨에 맞춤식으로 게임기능을 제어하는 게임 제어부(190)를 더 포함하여 구성된다.
In addition, a game function is provided so that a game is realized according to a user's movement according to a rehabilitation exercise according to a rehabilitation exercise type, a rehabilitation exercise level, and a user rehabilitation exercise training schedule, and a game function is controlled And a game controller 190 for controlling the game machine.
상기 관리 시스템(10)은,The management system (10)
재활운동에 대해서 운동 정보를 디지털 데이터로 정량화시켜 재활운동의 종류, 레벨, 운동방법에 대해 게임 및 훈련 스케줄 형태로 저장해둔 재활운동 DB(110)와;A
사용자의 인식 및 선택에 의해 상기 재활운동 DB(110)로부터 추출되는 사용자 맞춤 재활운동 훈련 스케줄을 생성하고, 사용자의 재활운동 스케줄을 관리하는 사용자 재활운동 훈련 스케줄부(120)와;A user rehabilitation exercise
상기 측정 시스템(20)으로부터 사용자의 재활운동정보 및 평가결과와 재활운동에 대한 이력정보를 저장하여 다음 재활 운동의 훈련 스케줄 및 스케줄을 관리하는 사용자 재활운동 이력관리부(140)를 포함하여 구성됨을 특징으로 한다.And a user rehabilitation exercise
상기 재활운동 훈련 스케줄부(120)의 사용자 인식을 위한 사용자 인식부(121)를 더 포함하고, 사용자 인식부(121)는 사용자 정보 입력수단 또는 사용자 식별 RF카드를 인식하는 RF카드 인식수단으로 구성됨을 특징으로 한다.The
상기 관리 시스템(10)에는 관리 제어부(130) 및 관리자 모니터(122)를 더 포함하고, 관리 제어부(130)는, 측정 시스템(20)으로부터 수신되는 사용자 재활운동 정보에 의거하여 재활운동 DB(110)의 기준정보와 사용자 운동정보를 함께 비교 그래프로 관리자 모니터(122)에 표시하고, 사용자 재활운동 스케줄 및 재활운동 이력 상태를 검색 조회하여 관리하도록 구성됨을 특징으로 한다.The
도 2는 본 발명의 실시예에 의한 모니터상의 화면 예시도이다. 이에 도시된 바와 같이, 본 발명은, 모니터(100)에 가상 트레이너(101)가 시범을 보이고, 이를 사용자(102)가 따라하는 방식으로 재활운동을 하게 한다.2 is a diagram illustrating a screen on a monitor according to an embodiment of the present invention. As shown therein, the present invention demonstrates a
사용자(102)를 모니터(100)에 표시할 때, 3차원 카메라(160)에 의해 촬영한 영상을 분석하여 재활운동과 관련된 신체의 뼈대 정보를 모델링 한 관절 바(103)로 중첩 표시하고, 관절 바(103)의 운동 정보를 운동정보 표시부(104)에 실시간으로 표시하도록 구성되며, 해당되는 운동의 횟수와 명칭을 모니터(100) 상에 표시한다.When the
이와 같이 구성되는 본 발명은,According to the present invention configured as described above,
관리 시스템(10)과, 측정 시스템(20)을 연결하고, 3차원 카메라(160)와 함께 구동시킨다. 측정시스템(20)은 사용자가 모니터(100)를 보면서 가상 트레이너(101)의 동작을 따라하는 방법으로 재활운동을 하거나, 게임을 플레이시켜 재활운동을 하게 된다.The
본 발명은 재활운동에 대하여 디지털 데이터로 운동정보를 정량화시켜 재활운동정보로서 DB화 시키고, 재활운동 사용자의 조건에 맞게 재활운동을 훈련 스케줄로 구성한다. 예를 들어, 팔을 수평으로 들어올리는 동작을 하는 경우, 팔을 들어 올릴때의 어깨의 각도, 팔꿈치 각도, 몸통의 각도 등을 움직임 데이터로서 정량화시키는 것이다.In the present invention, the exercise information is quantified as digital data for rehabilitation exercise to make it a DB as rehabilitation exercise information, and a rehabilitation exercise is configured as a training schedule according to the condition of the rehabilitation user. For example, when the arm is lifted horizontally, the angle of the shoulder, the angle of the elbow, and the angle of the body when lifting the arm are quantified as motion data.
그리고 훈련 스케줄이란, 재활운동을 위한 동작들, 및 해당 사용자의 조건에 따른 움직임 정도, 반복 횟수 등등의 재활운동 방법에 대해서 순서대로 훈련 프로그램을 생성하여 이를 가상 트레이너에 의해 시범을 보이고 사용자가 따라하는 방식으로 재활운동을 하게 된다. 사용자의 움직임을 영상 분석에 의해 뼈대정보를 관절바(103)로 모델링하여 표시하고, 움직임 상태정보에 의해 기준이 되는 정보와 비교하여 평가하는 것이다.The training schedule is created by sequentially generating a training program for the rehabilitation exercise methods such as the motions for the rehabilitation exercise, the degree of motion according to the condition of the user, the repetition frequency, etc., I do the rehabilitation exercise in the way. The motion of the user is modeled by the joint analysis of the skeleton information by the image analysis, and the skeleton information is compared with the reference information by the motion state information and evaluated.
도 3은 본 발명에 의한 재활훈련 시스템의 제어 흐름도이고, 도 4는 본 발명에 의한 신체 인식 제어 흐름도이다.FIG. 3 is a control flowchart of a rehabilitation training system according to the present invention, and FIG. 4 is a flowchart of body recognition control according to the present invention.
본 발명은 먼저, 사용자 인증 과정(S10)이 필요하다. 사용자 인증(S10) 과정이란, 해당 사용자의 정보를 입력하여 등록하고, 해당 사용자의 조건에 맞는 재활운동 훈련 스케줄을 자동설정하여 재활운동을 진행할 수 있도록 하기 위한 것이다.First, the user authentication process (S10) is required. The user authentication (S10) process is for inputting and registering the information of the user, and automatically setting a rehabilitation exercise training schedule in accordance with the condition of the user so that the rehabilitation exercise can be performed.
사용자 인증 방법으로는 관리 시스템(10)에서 사용자 등록을 하여 입력 또는 전체 사용자 정보에서 해당 사용자를 선택하거나, 사용자 RF카드를 이용하여 인증하는 방법을 사용할 수 있다.As the user authentication method, a method may be used in which a user is registered in the
사용자 인증 과정(S10)에서 사용자 등록 및 등록된 사용자 정보를 인식하게 되면, 사용자 신체를 스캔하는 신체 인식 과정(S20)을 수행한다.When the user registration and the registered user information are recognized in the user authentication process (S10), a body recognition process (S20) for scanning the user's body is performed.
신체 인식 과정(S20)은, The body recognizing process (S20)
3차원 카메라(160)에 의해 사용자를 촬영하여 배경이나 주변 물체를 제외시켜 사용자만을 분리하고, 사용자의 뼈대 움직임을 관절 바(103)로 모델링하는 준비과정이다. 이는 3차원 카메라(160)가 촬영하여 분석하기 위한 인식 범위(105)를 그래픽 상으로 표시하고, 사용자(102) 영상을 모니터(100)에 출력함으로써, 사용자(102)가 그래픽으로 표시된 인식 범위(105) 내에 위치 되게 위치를 이동하여 준비하고, 사용자의 신체 스캔을 위하여 사용자 움직임을 요청한다.A preparation process of photographing a user by the three-
움직임 요청은 자막과, 음성으로 안내하여 손을 흔들거나 앉았다 일어서거나 등등으로 사용자 움직임을 요청하여 사용자가 움직이는 상태를 촬영하고, 3차원 카메라(160)의 신체 인식이 완료되었는지를 판단한다. 사용자의 움직임이 인식 범위(105) 내에 있는지를 판단하여 인식하게 된다. 재활운동을 해야 하는 신체부분의 움직임을 유도하여 사용자의 신체 분석을 한다. 가상 트레이너(101)가 시범으로 보이고, 사용자(102)가 따라하는 방법으로 수행될 수 있다. 이러한 사용자 움직임을 촬영하고, 뼈대 정보를 모델링하여 운동정보를 추출할 수 있도록 한다.The motion request requests the user to move by capturing a caption, a voice, waving a hand, sitting and standing, etc., capturing a moving state of the user, and determining whether the body recognition of the
신체 인식 과정(S20)이 완료되면, 이전 사용자는 사용자(유저) 프로파일을 불러와서 이를 화면에 출력하고, 처음 사용하는 사용자는 신체 평가 과정(S30)을 거친다. When the body recognizing process S20 is completed, the previous user loads the user profile and outputs it to the screen, and the user who is using it for the first time goes through the body evaluation process S30.
신체 평과 과정(S30)은 재활운동이 필요한 부분에 대해서 움직임을 유도하고, 사용자 움직임을 평가하여 재활운동의 레벨을 자동 설정한다. 신체 평가를 위해 미리 설정된 복수의 측정 항목의 동작을 가상 트레이너가 시범을 보이고, 이를 사용자가 따라 하게 하며, 사용자의 움직임 정보를 모델링된 뼈대의 관절바(103)의 상태정보로서 추출하여 DB상의 기준 정보와 비교하여 평가한다. 각 측정 항목별로 만점을 기준으로 사용자 움직임의 유사도에 따라 점수를 부여하고, 전체 측정항목의 취득 점수의 합계에 의해 사용자의 재활운동 레벨을 설정한다. 사용자의 재활운동이 필요한 부위에 대해서만 수행할 수도 있다. 제활운동 레벨은 예를 들어 1 ~ 5 레벨로 구분할 수 있으며, 팔을 수평으로 90도 들어올리는 경우, 각 관절 부위의 움식임 상태를 비교분석하여 평가하여 점수를 부여하고, 각 측정항목의 합산 점수에 의해 레벨을 설정(S40)한다.The body evaluation process (S30) induces the motion for the part requiring rehabilitation, and automatically sets the level of the rehabilitation exercise by evaluating the user's motion. The virtual trainer demonstrates the operation of a plurality of measurement items previously set for the body evaluation, allows the user to follow the motion, extracts the motion information of the user as state information of the articulated
신체 평가과정(S30)을 거쳐 사용자의 재활훈련 레벨이 설정(S40)되거나, 이전 재활훈련 이력에 의해 해당 사용자의 프로파일을 불러오기(S41)를 하여 재활운동 훈련 스케줄을 생성하는 재활운동 훈련 스케줄 생성과정(S50)을 수행한다.A rehabilitation exercise training schedule for generating a rehabilitation exercise training schedule is generated by setting a rehabilitation training level of a user through a body evaluation process S30 or by loading a profile of a user by a previous rehabilitation training history (S50).
재활훈련 스케줄 생성 과정(S50)은, 사용자의 재활레벨과, 운동 종류, 운동방법 등을 훈련 프로그램으로 생성하는 것으로서, 기존 사용자는 재활훈련 이력 정보에 의거하여 지금까지의 훈련 성과에 따라 레벨 재설정이나 추가 운동 또는 변형 운동 또는 게임 을 포함하는 운동 등으로 설정하며, 이는 의료진의 코멘트에 의해 재활 훈련 스케줄을 생성하는 것이 바람직하나, 기본적으로는 미리 디폴트로 설정된 기본 훈련 프로그램들에 의해 사용자 조건 및 사용자 레벨 및 사용자의 현재 상태등을 이력정보로부터 불러와서 자동으로 기본 프로그램을 자동생성한다.The rehabilitation training schedule generation process (S50) is a process of generating a rehabilitation level, a kind of exercise, a method of exercise, and the like by a training program, and the existing user can perform a level reset according to the training results so far based on the rehabilitation training history information Exercise, or exercise involving the game. It is preferable to generate the rehabilitation training schedule by the comment of the medical staff, but basically, the basic training programs set in advance by default set the user condition and the user level And the user's current state from the history information and automatically generates the basic program automatically.
재활훈련 스케줄이 생성되면, 재활 훈련 과정(S60)을 수행하며, 재활 훈련 과정은 스케줄에 따라 가상 트레이너(101)의 시범 및 지시에 의거하여 사용자가 따라하면서 훈련을 한다. 훈련에 대한 운동 정보는 실시간으로 모니터(100)에 표시되고, 각 훈련 동작마다 평가에 의해서 점수를 부여하여 표시하고, 이를 이용하여 사용자의 훈련 결과를 평가하여 레벨 변경에도 반영하며, 훈련정보 이력저장관리(S70)를 수행하여 다음번 훈련에 반영하도록 한다.
When the rehabilitation training schedule is generated, a rehabilitation training process (S60) is performed, and the rehabilitation training process is performed by the user based on the demonstration and the instruction of the
10 : 관리 시스템 20 : 측정 시스템
100 : 모니터 110 : 재활운동 DB
120 : 재활운동 훈련 스케줄부 121 : 사용자 인식부
122 : 관리자 모니터 130 : 관리 제어부
140 : 사용자 재활운동 이력관리부 150 : 재활운동 플레이 제어부
160 : 3차원 카메라 170 : 사용자 운동 분석부
180 : 재활운동 평가부10: Management System 20: Measurement System
100: Monitor 110: Rehabilitation Exercise DB
120: rehabilitation exercise training schedule section 121: user recognition section
122: manager monitor 130: management control section
140: user rehabilitation exercise history management unit 150: rehabilitation exercise play control unit
160: Three-dimensional camera 170: User motion analysis unit
180: rehabilitation exercise evaluation unit
Claims (7)
상기 재활운동 측정시스템(20)과 연결되고, 재활운동에 대해서 운동 정보를 디지털 데이터로 정량화시켜 재활운동의 종류, 레벨, 운동방법에 대해 재활운동 DB(110)로 저장해두고, 해당 사용자의 재활운동 훈련 스케줄을 사용자 인식 및 선택에 의해 생성하여 상기 재활운동 측정시스템(20)으로 전송하고, 상기 재활 운동 측정시스템(20)으로부터 사용자의 운동 정보 및 평가 정보를 수신받아 해당 사용자의 재활운동 이력정보로서 저장함과 아울러 운동 상태정보를 관리자 모니터(122)에 표시하여 관리하는 관리 시스템(10)으로 이루어지되,
상기 재활운동 측정시스템(20)은,
상기 관리 시스템(10)으로부터 사용자의 재활운동 훈련 스케줄을 수신받아 사용자 재활운동 훈련 스케줄에 의거하여 사용자가 따라하도록 모니터(100)에 가상 트레이너(101)에 의한 재활운동 시범을 보이면서 자막 및 음성으로 안내하는 재활운동 플레이 제어부(150)와;
상기 모니터(100)에 플레이 되는 가상트레이너(101)의 운동을 따라하는 사용자를 촬영하는 3차원(depth) 카메라(160)와;
상기 3차원 카메라(160)에 의해 촬영된 사용자 영상을 분석하여 사용자 운동 정보를 생성하고, 상태 정보 및 사용자 운동 영상을 모니터(100)에 표시하는 사용자 운동 분석부(170)와;
상기 가상트레이너(101)의 운동정보와, 사용자의 운동정보를 비교하여 유사성에 따른 비교 평가를 하고, 평가 결과를 모니터(100)에 출력함과 아울러 사용자 운동 교정지시를 음성 및 모니터 메시지로 출력하는 재활운동 평가부(180)를 포함하여 이루어지고,
상기 관리 시스템(10)은,
재활운동에 대해서 운동 정보를 디지털 데이터로 정량화시켜 재활운동의 종류, 레벨, 운동방법에 대해 게임 및 훈련 스케줄 형태로 저장해둔 재활운동 DB(110)와;
상기 재활운동 DB(110)로부터 추출되는 사용자의 움직임 정보를 모델링한 뼈대의 관절바의 상태정보로서 추출하여 상기 재활운동 DB(110) 상의 기준 정보와 비교하여 평가하여 움직임의 유사도에 따라 점수를 부여하고, 전체 측정항목의 취득 점수의 합계에 의해 사용자의 재활운동 레벨을 설정하고, 사용자 인식 및 설정된 재활운동 레벨에 의거하여 사용자 맞춤 재활운동 훈련 스케줄을 생성하고, 사용자의 재활운동 스케줄을 관리하는 사용자 재활운동 훈련 스케줄부(120)와;
상기 측정 시스템(20)으로부터 사용자의 재활운동정보 및 평가결과를 입력받아 재활운동에 대한 이력정보로 저장하여 다음 재활 운동의 훈련 스케줄을 관리하는 사용자 재활운동 이력관리부(140)를 포함하여 구성된 것을 특징으로 하는 네추럴 인터렉션 기반 건강 및 재활운동 기능성 측정 평가 시스템.
The demonstration of the virtual trainer 101 is output to the monitor 100 according to the user's rehabilitation exercise training schedule and the user who follows the demonstration of the virtual trainer 101 is photographed by the three- A rehabilitation exercise measuring system 20 for extracting a user's exercise information by image analysis while outputting and outputting the comparison result to the monitor 100 by comparing the exercise information of the virtual trainer 101 with the user's exercise information;
The rehabilitation exercise measurement system 20 is connected to the rehabilitation exercise DB 110. The rehabilitation exercise measurement system 20 quantifies exercise information as digital data for rehabilitation exercise, stores the type, level, and exercise method of the rehabilitation exercise in the rehabilitation exercise DB 110, The training schedule is generated by user recognition and selection and transmitted to the rehabilitation exercise measurement system 20. The user receives exercise information and evaluation information of the user from the rehabilitation exercise measurement system 20, And a management system (10) for displaying and managing the exercise status information on the manager monitor (122)
The rehabilitation exercise measurement system (20)
And receives a rehabilitation exercise training schedule from the management system 10 and displays a demonstration of rehabilitation exercise by the virtual trainer 101 on the monitor 100 so that the user can follow the user rehabilitation exercise training schedule, A rehabilitation exercise play control unit 150;
A depth camera 160 photographing a user following a motion of the virtual trainer 101 played on the monitor 100;
A user movement analyzer 170 for analyzing a user image captured by the 3D camera 160 to generate user movement information, and displaying status information and a user movement image on the monitor 100;
The motion information of the virtual trainer 101 is compared with the motion information of the user to perform comparison and evaluation according to similarity, and outputs the evaluation result to the monitor 100 and outputs a user movement correction instruction as a voice and monitor message And a rehabilitation exercise evaluating unit 180,
The management system (10)
A rehabilitation exercise DB 110 for quantifying exercise information as digital data for a rehabilitation exercise and storing the type, level, and exercise method of the rehabilitation exercise in the form of a game and a training schedule;
The motion information of the user extracted from the rehabilitation exercise DB 110 is extracted as the state information of the jointed bars of the skeleton modeled and compared with the reference information on the rehabilitation exercise DB 110 and the score is given according to the degree of motion similarity And sets the rehabilitation exercise level of the user based on the sum of the acquired scores of all the measurement items, generates a user customized rehabilitation exercise training schedule based on the user recognition and the rehabilitation exercise level set, A rehabilitation exercise training schedule unit 120;
And a user rehabilitation exercise history management unit 140 for receiving the rehabilitation activity information and the evaluation result of the user from the measurement system 20 and storing the rehabilitation activity information and the evaluation result as history information about the rehabilitation exercise to manage the training schedule of the next rehabilitation exercise Health and rehabilitation exercise functional measurement and evaluation system based on natural interaction.
사용자의 재활운동 종류와 재활운동 레벨 및 사용자 재활운동 훈련 스케줄에 따라 해당되는 재활 운동에 맞도록 사용자의 움직임에 의해 게임이 구현되도록 게임기능을 제공함과 아울러 사용자 레벨에 맞춤식으로 게임기능을 제어하는 게임 제어부(190)를 더 포함하여 구성된 것을 특징으로 하는 네추럴 인터렉션 기반 건강 및 재활운동 기능성 측정 평가 시스템.
2. The system of claim 1, wherein the rehabilitation exercise measurement system (20)
A game function for providing a game function so that a game is realized according to a user's movement according to a rehabilitation exercise according to a rehabilitation exercise type, a rehabilitation exercise level and a user rehabilitation exercise training schedule, and a game And a control unit (190). The health and rehabilitation exercise functional measurement and evaluation system based on the natural interaction.
The management system according to claim 1, further comprising a user recognition unit (121) for recognizing a user of the rehabilitation exercise training schedule unit (120), wherein the user recognition unit (121) Or RF card recognition means for recognizing the user identification RF card.
관리제어부(130)는, 측정 시스템(20)으로부터 수신되는 사용자 재활운동 정보에 의거하여 재활운동 DB(110)의 기준정보와 사용자 운동정보를 함께 비교 그래프로 표시 제어함과 아울러 사용자 재활운동 스케줄 및 재활운동 이력 상태를 검색 조회하여 관리자 모니터(122)로 출력하도록 구성된 것을 특징으로 하는 네추럴 인터렉션 기반 건강 및 재활운동 기능성 측정 평가 시스템.The system according to claim 1, wherein the management system further comprises a management controller (130) and a manager monitor (122)
The management control unit 130 displays and controls the reference information of the rehabilitation exercise DB 110 and the user exercise information in a comparative graph based on the user rehabilitation exercise information received from the measurement system 20, And outputs the retrieved rehabilitation exercise history to the administrator monitor (122).
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020120020732A KR101416282B1 (en) | 2012-02-29 | 2012-02-29 | Functional measurement and evaluation system for exercising Health and Rehabilitation based on Natural Interaction |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020120020732A KR101416282B1 (en) | 2012-02-29 | 2012-02-29 | Functional measurement and evaluation system for exercising Health and Rehabilitation based on Natural Interaction |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20130099321A KR20130099321A (en) | 2013-09-06 |
KR101416282B1 true KR101416282B1 (en) | 2014-08-12 |
Family
ID=49450647
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020120020732A KR101416282B1 (en) | 2012-02-29 | 2012-02-29 | Functional measurement and evaluation system for exercising Health and Rehabilitation based on Natural Interaction |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101416282B1 (en) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20170037035A (en) | 2015-09-25 | 2017-04-04 | 주식회사 나노바이오라이프 | System And Method For Smart Recumbent Rehabilitation Exercise |
KR101937040B1 (en) * | 2017-07-20 | 2019-01-09 | 윤흥식 | Online method of estimating a user's quantity of motion |
KR20190019824A (en) | 2017-08-18 | 2019-02-27 | 강다겸 | Method for providing posture guide and apparatus thereof |
KR102019157B1 (en) * | 2018-05-30 | 2019-09-09 | (주)휴먼아이티솔루션 | Virtual reality based cognitive rehabilitation training management system |
WO2019231263A1 (en) * | 2018-05-30 | 2019-12-05 | Choi Dong Hoon | Virtual reality-based rehabilitation system and method |
KR20200036838A (en) * | 2020-03-30 | 2020-04-07 | 최동훈 | System for rehabilitation treatment based on virtual reality(vr) and how to provide virtual reality-based rehabilitation contents to rehabilitation patients using the same system |
WO2021020667A1 (en) * | 2019-07-29 | 2021-02-04 | 주식회사 네오펙트 | Method and program for providing remote rehabilitation training |
US10931880B2 (en) | 2018-12-21 | 2021-02-23 | Samsung Electronics Co., Ltd. | Electronic device and method for providing information thereof |
KR20230032284A (en) | 2021-08-30 | 2023-03-07 | 주식회사 앨리스헬스케어 | Method for determiing motion and apparatus thereof |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102286043B1 (en) * | 2016-01-05 | 2021-08-05 | 한국전자통신연구원 | Apparatus and method for managing rehabilitation exercise |
KR102425255B1 (en) * | 2016-04-18 | 2022-07-27 | (주)아이들 | Apparatus and Method for Processing of Exercise Information |
KR102430305B1 (en) * | 2016-04-18 | 2022-08-09 | (주)아이들 | Apparatus and Method for Processing of Exercise Information |
KR102500621B1 (en) * | 2016-04-18 | 2023-02-17 | (주)아이들 | Apparatus and Method for Processing of Exercise Information |
KR20170119337A (en) * | 2016-04-18 | 2017-10-27 | (주)아이들 | Apparatus and Method for Processing of Exercise Information |
CN108653928B (en) * | 2018-04-09 | 2020-01-03 | 广东斐瑞智能技术有限公司 | Sports physical therapy apparatus, method and device beneficial to improving sports interest |
CN113128283A (en) * | 2019-12-31 | 2021-07-16 | 沸腾时刻智能科技(深圳)有限公司 | Evaluation method, model construction method, teaching machine, teaching system and electronic equipment |
KR102652525B1 (en) | 2022-02-15 | 2024-03-29 | 경복대학교 산학협력단 | Artificial intelligence coaching system for motion correction |
KR102644942B1 (en) * | 2022-03-24 | 2024-03-07 | 고려대학교 산학협력단 | Apparatus and method for recommending exercise program for upper extremity rehabilitation |
KR102516079B1 (en) * | 2022-09-05 | 2023-03-30 | 히즈케어스 주식회사 | Rehabilitation recovery exercise recommendation system and method based on living environment sensing using digital image recoginition |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08215177A (en) * | 1995-02-08 | 1996-08-27 | Fujitsu Ltd | Exercise support system and exercise support method |
KR20110116381A (en) * | 2010-04-19 | 2011-10-26 | 울산대학교 산학협력단 | Context-aware parallel walking bars and patient-rehabilitation training system |
-
2012
- 2012-02-29 KR KR1020120020732A patent/KR101416282B1/en active IP Right Grant
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08215177A (en) * | 1995-02-08 | 1996-08-27 | Fujitsu Ltd | Exercise support system and exercise support method |
KR20110116381A (en) * | 2010-04-19 | 2011-10-26 | 울산대학교 산학협력단 | Context-aware parallel walking bars and patient-rehabilitation training system |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20170037035A (en) | 2015-09-25 | 2017-04-04 | 주식회사 나노바이오라이프 | System And Method For Smart Recumbent Rehabilitation Exercise |
KR101937040B1 (en) * | 2017-07-20 | 2019-01-09 | 윤흥식 | Online method of estimating a user's quantity of motion |
KR20190019824A (en) | 2017-08-18 | 2019-02-27 | 강다겸 | Method for providing posture guide and apparatus thereof |
KR102019157B1 (en) * | 2018-05-30 | 2019-09-09 | (주)휴먼아이티솔루션 | Virtual reality based cognitive rehabilitation training management system |
WO2019231263A1 (en) * | 2018-05-30 | 2019-12-05 | Choi Dong Hoon | Virtual reality-based rehabilitation system and method |
US10931880B2 (en) | 2018-12-21 | 2021-02-23 | Samsung Electronics Co., Ltd. | Electronic device and method for providing information thereof |
WO2021020667A1 (en) * | 2019-07-29 | 2021-02-04 | 주식회사 네오펙트 | Method and program for providing remote rehabilitation training |
KR20200036838A (en) * | 2020-03-30 | 2020-04-07 | 최동훈 | System for rehabilitation treatment based on virtual reality(vr) and how to provide virtual reality-based rehabilitation contents to rehabilitation patients using the same system |
KR102212334B1 (en) * | 2020-03-30 | 2021-02-03 | 최동훈 | System for rehabilitation treatment based on virtual reality(vr) and how to provide virtual reality-based rehabilitation contents to rehabilitation patients using the same system |
KR20230032284A (en) | 2021-08-30 | 2023-03-07 | 주식회사 앨리스헬스케어 | Method for determiing motion and apparatus thereof |
Also Published As
Publication number | Publication date |
---|---|
KR20130099321A (en) | 2013-09-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101416282B1 (en) | Functional measurement and evaluation system for exercising Health and Rehabilitation based on Natural Interaction | |
KR20130099323A (en) | Functional measurement and evaluation method for exercising health and rehabilitation based on natural interaction | |
WO2020249855A1 (en) | An image processing arrangement for physiotherapy | |
Zhao et al. | A Kinect-based rehabilitation exercise monitoring and guidance system | |
KR102093522B1 (en) | Systems, apparatus and methods for non-invasive motion tracking to augment patient administered physical rehabilitation | |
Melero et al. | Upbeat: Augmented Reality‐Guided Dancing for Prosthetic Rehabilitation of Upper Limb Amputees | |
US20140371633A1 (en) | Method and system for evaluating a patient during a rehabilitation exercise | |
US20180184947A1 (en) | Integrated Goniometry System and Method for Use of Same | |
WO2019079489A1 (en) | Measuring body movement in movement disorder disease | |
JP2015514467A (en) | System for acquiring and analyzing muscle activity and method of operation thereof | |
CN109994175A (en) | Health detecting method and system based on artificial intelligence | |
KR101446653B1 (en) | Health and rehabilitation game apparatus, system and game method | |
CN109219426B (en) | Rehabilitation training assistance control device and computer-readable recording medium | |
KR20200095195A (en) | Rehabilitation training system and method using rgb-d camera | |
CN107115102A (en) | A kind of osteoarticular function appraisal procedure and device | |
CN114022512B (en) | Exercise assisting method, apparatus and medium | |
US20210244317A1 (en) | Walking mode display method, walking mode display system and walking mode analyzer | |
CN104412269A (en) | Method and apparatus for neuromotor rehabilitation using interactive setting systems | |
US20140039353A1 (en) | Apparatus and Method of Analyzing Biomechanical Movement of an Animal/Human | |
JP2018503413A (en) | Cardiopulmonary adaptability assessment | |
KR20160076488A (en) | Apparatus and method of measuring the probability of muscular skeletal disease | |
JP2016035651A (en) | Home rehabilitation system | |
JP6439106B2 (en) | Body strain checker, body strain check method and program | |
JP2002063579A (en) | Device and method for analyzing image | |
CN110458076A (en) | A kind of teaching method based on computer vision and system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
FPAY | Annual fee payment |
Payment date: 20170628 Year of fee payment: 4 |
|
FPAY | Annual fee payment |
Payment date: 20180618 Year of fee payment: 5 |
|
FPAY | Annual fee payment |
Payment date: 20190618 Year of fee payment: 6 |