KR20240086288A

KR20240086288A - Method of operating rehabilitation exercise analysis device providing guide information

Info

Publication number: KR20240086288A
Application number: KR1020220171686A
Authority: KR
Inventors: 방효찬; 김재철; 한미경; 김지연; 박노삼; 장윤섭; 전부선
Original assignee: 한국전자통신연구원
Filing date: 2022-12-09
Publication date: 2024-06-18

Abstract

본 개시의 일 실시 예에 따른 재활 운동 분석 장치의 동작하는 방법은, 복수의 단위 동작들을 포함하는 재활 운동을 수행하는 사용자를 모니터링하여 비디오 데이터를 획득하는 단계, 비디오 데이터로부터 3차원 공간 상의 사용자의 관절의 움직임을 나타내는 관절 분석 정보를 생성하는 단계, 관절 분석 정보에 기초하여, 복수의 단위 동작들 중 타겟 단위 동작에 대응하는 실제 단위 동작 정보를 생성하는 단계, 타겟 단위 동작에 대응하는 이상적인 단위 동작 정보 및 실제 단위 동작 정보의 유사성에 기초하여, 타겟 단위 동작의 유효성을 나타내는 가이드 정보를 생성하는 단계, 및 인터페이스 장치를 통해 사용자에게 가이드 정보를 제공하는 단계를 포함한다.A method of operating a rehabilitation exercise analysis device according to an embodiment of the present disclosure includes obtaining video data by monitoring a user performing rehabilitation exercise including a plurality of unit movements, and obtaining video data of the user in a three-dimensional space from the video data. Generating joint analysis information representing the movement of a joint, based on the joint analysis information, generating actual unit motion information corresponding to a target unit motion among a plurality of unit motions, ideal unit motion corresponding to the target unit motion It includes generating guide information indicating the effectiveness of the target unit operation based on similarity between the information and the actual unit operation information, and providing the guide information to the user through an interface device.

Description

How to operate a rehabilitation exercise analysis device that provides guide information {METHOD OF OPERATING REHABILITATION EXERCISE ANALYSIS DEVICE PROVIDING GUIDE INFORMATION}

본 개시는 재활 운동 분석 장치에 관한 것으로, 좀 더 상세하게는 가이드 정보를 제공하는 재활 운동 분석 장치의 동작하는 방법에 관한 것이다.The present disclosure relates to a rehabilitation exercise analysis device, and more specifically, to a method of operating a rehabilitation exercise analysis device that provides guide information.

재활 환자는 신체적 기능 손상 또는 장애로 인해 일상 생활에 어려움이 있으며, 건강한 일상 생활을 위해 지속적인 재활 운동이 필요하다. 재활 환자는 재활 환자의 상태를 고려하여 재활 환자에게 적합하고 안전한 재활 운동을 수행할 필요성이 있다. 다만, 재활 환자가 재활 운동 전문가, 의사, 건강 운동 관리사 등의 전문가에게 재활 운동의 분석을 의존하는 것은 정확성, 인력 부족, 비용 과다 등의 한계가 있다.Rehabilitation patients have difficulty in daily life due to physical function impairment or disability, and continuous rehabilitation exercise is necessary for a healthy daily life. There is a need for rehabilitation patients to perform rehabilitation exercises that are suitable and safe for the rehabilitation patient, taking into account the rehabilitation patient's condition. However, rehabilitation patients relying on experts such as rehabilitation exercise experts, doctors, and health exercise managers for analysis of rehabilitation exercises has limitations such as accuracy, lack of manpower, and excessive costs.

따라서, 재활 환자의 신체적 기능 손상 및 장애를 극복하면서, 안전하고 효율적인 재활 운동을 지속적으로 수행하기 위해, 재활 환자에게 맞춤형으로 재활 운동 컨텐츠를 제공하고, 재활 운동의 유효성 및 안전성을 보장하는 재활 운동 분석 장치가 요구될 수 있다.Therefore, in order to continuously perform safe and efficient rehabilitation exercises while overcoming physical functional impairment and disability of rehabilitation patients, we provide customized rehabilitation exercise content to rehabilitation patients and analyze rehabilitation exercises to ensure the effectiveness and safety of rehabilitation exercises. Equipment may be required.

본 개시의 일 실시 예에 따르면, 가이드 정보를 제공하는 재활 운동 분석 장치의 동작하는 방법이 제공된다.According to an embodiment of the present disclosure, a method of operating a rehabilitation exercise analysis device that provides guide information is provided.

본 개시의 일 실시 예에 따르면, 재활 운동 분석 장치의 동작하는 방법은, 복수의 단위 동작들을 포함하는 재활 운동을 수행하는 사용자를 모니터링하여 비디오 데이터를 획득하는 단계, 상기 비디오 데이터로부터 3차원 공간 상의 상기 사용자의 관절의 움직임을 나타내는 관절 분석 정보를 생성하는 단계, 상기 관절 분석 정보에 기초하여, 상기 복수의 단위 동작들 중 타겟 단위 동작에 대응하는 실제 단위 동작 정보를 생성하는 단계, 상기 타겟 단위 동작에 대응하는 이상적인 단위 동작 정보 및 상기 실제 단위 동작 정보의 유사성에 기초하여, 상기 타겟 단위 동작의 유효성을 나타내는 가이드 정보를 생성하는 단계, 및 인터페이스 장치를 통해 상기 사용자에게 상기 가이드 정보를 제공하는 단계를 포함한다.According to an embodiment of the present disclosure, a method of operating a rehabilitation exercise analysis device includes obtaining video data by monitoring a user performing rehabilitation exercise including a plurality of unit operations, and obtaining video data in a three-dimensional space from the video data. Generating joint analysis information indicating movement of the user's joints, based on the joint analysis information, generating actual unit motion information corresponding to a target unit motion among the plurality of unit motions, the target unit motion Generating guide information indicating effectiveness of the target unit operation based on the similarity of the corresponding ideal unit operation information and the actual unit operation information, and providing the guide information to the user through an interface device. Includes.

또한, 단위 동작마다 재활 환자의 실제 운동 동작과 이상적인 운동 동작을 비교함으로써, 재활 운동의 유효성을 정확하게 평가하고, 재활 환자의 위험 상황을 정확하게 인지하고, 단위 동작마다 실시간으로 사용자에게 가이드 정보를 제공하는 재활 운동 분석 장치의 동작하는 방법이 제공된다.In addition, by comparing the rehabilitation patient's actual exercise movement and the ideal exercise movement for each unit movement, the effectiveness of the rehabilitation exercise is accurately evaluated, the rehabilitation patient's risk situation is accurately recognized, and guide information is provided to the user in real time for each unit movement. A method of operating a rehabilitation exercise analysis device is provided.

도 1은 본 개시의 실시 예에 따른 재활 운동 분석 장치를 설명하는 블록도이다.
도 2는 본 개시의 일부 실시 예들에 따른 재활 운동 가이드 실행 제어 장치, 재활 운동 가이드 정보 관리자, 및 재활 운동 자동 측정 제어 장치를 구체화한 도면이다.
도 3은 본 개시의 일부 실시 예들에 따른 관절 포인트들을 도시한 도면이다.
도 4는 본 개시의 일부 실시 예들에 따른 재활 운동 컨텐츠를 설명하는 도면이다.
도 5는 본 개시의 일부 실시 예들에 따른 가이드 영상을 설명하는 도면이다.
도 6은 본 개시의 일부 실시 예들에 따른 재활 운동 단위 동작 정보를 설명하는 표이다.
도 7은 본 개시의 일부 실시 예들에 따른 재활 운동 참조 모델 정보를 설명하는 표이다.
도 8은 본 개시의 일부 실시 예들에 따른 재활 운동 컨텐츠 인덱스 및 재활 운동 참조 모델 정보의 관계를 설명하는 표이다.
도 9는 본 개시의 실시 예에 따른 재활 운동 분석 장치의 동작하는 방법을 설명하는 순서도이다.
도 10은 본 개시의 일부 실시 예에 따른 재활 운동 가동 범위를 생성하는 과정을 설명하는 도면이다.
도 11은 본 개시의 일부 실시 예에 따른 재활 운동 수행 카운트 장치의 동작하는 방법을 설명하는 순서도이다.
도 12는 본 개시의 일부 실시 예에 따른 재활 운동 수행 카운트 장치가 시작 상태에서 동작하는 방법을 설명하는 순서도이다.
도 13은 본 개시의 일부 실시 예에 따른 재활 운동 수행 카운트 장치가 순행 상태에서 동작하는 방법을 설명하는 순서도이다.
도 14는 본 개시의 일부 실시 예에 따른 재활 운동 수행 카운트 장치가 역행 상태에서 동작하는 방법을 설명하는 순서도이다.
도 15는 본 개시의 일부 실시 예에 따른 재활 운동 수행 카운트 장치가 완료 상태에서 동작하는 방법을 설명하는 순서도이다.
도 16는 본 개시의 일부 실시 예들에 따른 재활 운동 분석 장치를 설명하는 도면이다.1 is a block diagram illustrating a rehabilitation exercise analysis device according to an embodiment of the present disclosure.
FIG. 2 is a diagram illustrating a rehabilitation exercise guide execution control device, a rehabilitation exercise guide information manager, and a rehabilitation exercise automatic measurement control device according to some embodiments of the present disclosure.
FIG. 3 is a diagram illustrating joint points according to some embodiments of the present disclosure.
FIG. 4 is a diagram illustrating rehabilitation exercise content according to some embodiments of the present disclosure.
FIG. 5 is a diagram illustrating a guide image according to some embodiments of the present disclosure.
FIG. 6 is a table explaining rehabilitation exercise unit operation information according to some embodiments of the present disclosure.
7 is a table explaining rehabilitation exercise reference model information according to some embodiments of the present disclosure.
FIG. 8 is a table explaining the relationship between a rehabilitation exercise content index and rehabilitation exercise reference model information according to some embodiments of the present disclosure.
9 is a flowchart explaining a method of operating a rehabilitation exercise analysis device according to an embodiment of the present disclosure.
FIG. 10 is a diagram illustrating a process for generating a rehabilitation exercise range of motion according to some embodiments of the present disclosure.
FIG. 11 is a flowchart illustrating a method of operating a rehabilitation exercise performance count device according to some embodiments of the present disclosure.
FIG. 12 is a flowchart illustrating how a rehabilitation exercise performance count device operates in a starting state according to some embodiments of the present disclosure.
FIG. 13 is a flowchart illustrating a method of operating a rehabilitation exercise performance count device in a traveling state according to some embodiments of the present disclosure.
FIG. 14 is a flowchart illustrating a method in which a rehabilitation exercise performance count device operates in a retrograde state according to some embodiments of the present disclosure.
FIG. 15 is a flowchart illustrating how a rehabilitation exercise performance counting device operates in a completed state according to some embodiments of the present disclosure.
FIG. 16 is a diagram illustrating a rehabilitation exercise analysis device according to some embodiments of the present disclosure.

아래에서는, 본 발명의 기술 분야에서 통상의 지식을 가진 자가 본 발명을 쉽게 실시할 수 있을 정도로, 본 발명의 실시 예들이 명확하고 상세하게 기재될 것이다.Below, embodiments of the present invention will be described clearly and in detail so that a person skilled in the art can easily practice the present invention.

이하에서 사용되는 "유닛(unit)", "모듈(module)" 등의 용어들 또는 도면에 도시된 기능 블록들은 소프트웨어 구성, 하드웨어 구성 또는 그것들의 조합의 형태로 구현될 수 있다. 이하에서, 본 발명의 기술적 사상을 명확하게 설명하기 위하여, 중복되는 구성 요소들에 대한 상세한 설명은 생략된다.Terms such as “unit” and “module” used below or functional blocks shown in the drawings may be implemented in the form of software configuration, hardware configuration, or a combination thereof. Hereinafter, in order to clearly explain the technical idea of the present invention, detailed descriptions of overlapping components are omitted.

도 1은 본 개시의 실시 예에 따른 재활 운동 분석 장치를 설명하는 블록도이다. 도 1을 참조하면, 재활 운동 분석 장치(100)가 도시된다.1 is a block diagram illustrating a rehabilitation exercise analysis device according to an embodiment of the present disclosure. Referring to Figure 1, a rehabilitation exercise analysis device 100 is shown.

사용자는 근골격계 질환 환자, 장애인, 노인 등과 같이 재활 운동을 수행하는 재활 환자일 수 있다. 사용자는 객체(object)로도 지칭될 수 있다. 즉, 사용자는, 실세계 공간(즉, 3차원 공간)에서 시간적으로 연속하여 재활 운동을 수행할 수 있다.The user may be a rehabilitation patient performing rehabilitation exercises, such as a patient with a musculoskeletal disease, a disabled person, an elderly person, etc. Users may also be referred to as objects. That is, the user can perform rehabilitation exercises temporally and continuously in real-world space (i.e., three-dimensional space).

재활 운동 분석 장치(100)는 인터페이스 장치(110), 재활 운동 가이드 실행 제어 장치(120), 재활 운동 가이드 정보 관리자(130), 재활 운동 자동 측정 제어 장치(140), 및 연결 인터페이스(150)를 포함할 수 있다.The rehabilitation exercise analysis device 100 includes an interface device 110, a rehabilitation exercise guide execution control device 120, a rehabilitation exercise guide information manager 130, a rehabilitation exercise automatic measurement control device 140, and a connection interface 150. It can be included.

인터페이스 장치(110)는 사용자의 재활 운동에 대응하는 비디오 데이터를 생성하고, 사용자의 재활 운동을 분석한 결과를 사용자에게 제공할 수 있다. 인터페이스 장치(110)는 디스플레이 장치(111) 및 모니터링 장치(112)를 포함할 수 있다.The interface device 110 may generate video data corresponding to the user's rehabilitation exercise and provide the result of analyzing the user's rehabilitation exercise to the user. The interface device 110 may include a display device 111 and a monitoring device 112.

디스플레이 장치(111)는 가이드 영상을 사용자에게 시작적인 형태로 제공할 수 있다. 가이드 영상은 재활 운동 컨텐츠, 사용자의 비디오 데이터 및 가이드 정보를 포함할 수 있다. 가이드 정보는 사용자의 재활 운동 동작의 위험 여부, 동선, 정확도 등을 포함할 수 있다. 비디오 데이터는 재활 운동을 수행하는 사용자를 촬영함으로써 획득될 수 있고, 모니터링 장치(112)로부터 제공받을 수 있다. 디스플레이 장치(111)의 가이드 영상에 대한 보다 상세한 설명은 도 5를 참조하여 후술될 것이다.The display device 111 may provide a guide image to the user in a starting form. The guide image may include rehabilitation exercise content, user video data, and guide information. Guide information may include whether the user's rehabilitation exercise movement is dangerous, movement direction, accuracy, etc. Video data may be obtained by filming a user performing rehabilitation exercises and may be provided from the monitoring device 112. A more detailed description of the guide image of the display device 111 will be described later with reference to FIG. 5 .

모니터링 장치(112)는 사용자의 재활 운동에 대응하는 비디오 데이터를 획득할 수 있다. 사용자의 재활 운동은 복수의 단위 동작들을 포함할 수 있다. 예를 들어, 재활 운동은 재활 환자의 통증을 치료하거나 개선하는 목적을 가질 수 있고, 동일한 목적을 달성하기 위한 일련의 동작들은 단위 동작들로 지칭될 수 있다. 단위 동작은 재활 운동의 유효성을 평가하는 기준이 되는 최소 단위의 동작일 수 있다. 단위 동작에 대한 보다 상세한 설명은 도 6을 참조하여 후술될 것이다.The monitoring device 112 may acquire video data corresponding to the user's rehabilitation exercise. The user's rehabilitation exercise may include a plurality of unit movements. For example, rehabilitation exercise may have the purpose of treating or improving pain in a rehabilitation patient, and a series of movements to achieve the same purpose may be referred to as unit movements. A unit movement may be a minimum unit of movement that serves as a standard for evaluating the effectiveness of rehabilitation exercise. A more detailed description of the unit operation will be described later with reference to FIG. 6.

재활 운동 가이드 실행 제어 장치(120)는 재활 운동 가이드 정보 관리자(130)의 제어에 따라 디스플레이 장치(111)에 표시할 정보들을 저장하고 제어할 수 있다.The rehabilitation exercise guide execution control device 120 may store and control information to be displayed on the display device 111 under the control of the rehabilitation exercise guide information manager 130.

재활 운동 가이드 정보 관리자(130)는 통합적인 재활 운동 정보 및 개인별 맞춤 정보 등을 관리한다. 재활 운동 가이드 정보 관리자(130)는 통합적인 재활 운동 정보 및 개인별 맞춤 정보 등을 재활 운동 가이드 실행 제어 장치(120) 및 재활 운동 자동 측정 제어 장치(140)에 제공할 수 있다.The rehabilitation exercise guide information manager 130 manages comprehensive rehabilitation exercise information and personalized information. The rehabilitation exercise guide information manager 130 may provide integrated rehabilitation exercise information and personalized information to the rehabilitation exercise guide execution control device 120 and the rehabilitation exercise automatic measurement control device 140.

통합적인 재활 운동 정보는 단위 동작 정보, 참조 모델 정보, 및 이상적인 단위 동작 정보를 포함할 수 있다. 단위 동작 정보는, 사용자의 비디오 데이터가 포함하는 단위 동작들, 단위 동작들 각각의 측정 방법을 가리킬 수 있다. 단위 동작 정보에 대한 보다 상세한 설명은 도 6을 참조하여 후술될 것이다. Integrated rehabilitation exercise information may include unit motion information, reference model information, and ideal unit motion information. Unit operation information may indicate unit operations included in the user's video data and measurement methods for each unit operation. A more detailed description of the unit operation information will be described later with reference to FIG. 6.

참조 모델 정보는, 재활 운동 컨텐츠들을 단위 동작 정보에 기초하여 그룹핑하고, 각 그룹들의 주요 단위 동작들을 그룹핑한 정보일 수 있다. 참조 모델 정보에 대한 보다 상세한 설명은 도 7 및 도 8을 참조하여 후술될 것이다.The reference model information may be information that groups rehabilitation exercise contents based on unit operation information and groups major unit operations of each group. A more detailed description of the reference model information will be described later with reference to FIGS. 7 and 8.

이상적인 단위 동작 정보는 재활 운동 컨텐츠를 단위 동작 별로 분석한 것을 가리킬 수 있다. 이상적인 단위 동작 정보는 이상적인 가동 범위 정보를 포함할 수 있다. 이상적인 가동 범위 정보는 재활 운동의 단위 동작들마다 재활 운동의 유효성 및 안정성이 확보되는 관절의 가동 범위를 가리킬 수 있다. 예를 들어, 이상적인 가동 범위 정보는 운동 전문가에 의해 시연된 재활 운동의 단위 동작들을 분석함으로써 획득된 관절 포인트들의 가동 각도, 가동 폭 등을 포함할 수 있다.Ideal unit motion information may refer to rehabilitation exercise content analyzed by unit motion. Ideal unit operation information may include ideal motion range information. Ideal range of motion information may indicate the range of motion of a joint that ensures the effectiveness and stability of the rehabilitation exercise for each unit movement of the rehabilitation exercise. For example, the ideal range of motion information may include the angle of motion and width of motion of joint points obtained by analyzing unit movements of rehabilitation exercises demonstrated by an exercise expert.

개인별 맞춤 정보는 사용자의 통증 한계 정보 및 과거 재활 운동 정보를 포함할 수 있다. 사용자의 통증 한계 정보는 사용자가 통증을 느끼는 가동 범위를 가리킬 수 있다. 사용자의 과거 재활 운동 정보는 사용자가 재활 운동을 수행한 이력, 및 재활 운동을 수행하는 과정에서 인식된 사용자의 움직임들이 축적된 데이터 베이스를 가리킬 수 있다.Personalized information may include the user's pain limit information and past rehabilitation exercise information. The user's pain limit information may indicate the range of motion in which the user feels pain. The user's past rehabilitation exercise information may refer to a database in which the user's history of performing rehabilitation exercises and the user's movements recognized in the process of performing rehabilitation exercises are accumulated.

재활 운동 자동 측정 제어 장치(140)는 재활 운동 가이드 정보 관리자(130)로부터 통합적인 재활 운동 정보 및 개인별 맞춤 정보 등을 수신할 수 있다. 재활 운동 자동 측정 제어 장치(140)는 사용자의 비디오 데이터 및 단위 동작 정보에 기초하여 실제 단위 동작 정보를 생성할 수 있다. The rehabilitation exercise automatic measurement and control device 140 may receive integrated rehabilitation exercise information and personalized information from the rehabilitation exercise guide information manager 130. The rehabilitation exercise automatic measurement and control device 140 may generate actual unit motion information based on the user's video data and unit motion information.

실제 단위 동작 정보는 사용자의 비디오 데이터를 단위 동작 별로 분석한 것일 수 있다. 실제 단위 동작 정보는, 사용자의 비디오 데이터, 및 비디오 데이터로부터 생성된 재활 운동 가동 범위 정보를 포함할 수 있다. 재활 운동 가동 범위 정보는 사용자가 단위 동작들 각각을 수행함에 있어서, 단위 동작 별로 계산된 가동 범위 값들을 가리킬 수 있다.Actual unit motion information may be analysis of the user's video data for each unit motion. The actual unit motion information may include the user's video data and rehabilitation exercise range of motion information generated from the video data. Rehabilitation exercise range of motion information may indicate range of motion values calculated for each unit motion when the user performs each unit motion.

재활 운동 자동 측정 제어 장치(140)는 실제 단위 동작 정보를 이상적인 단위 동작 정보와 단위 동작 별로 비교하여 유사도 및 정확도를 판단하고, 그리고 유효한 재활 운동 수행 횟수를 카운트할 수 있다. The automatic rehabilitation exercise measurement control device 140 may compare actual unit motion information with ideal unit motion information for each unit motion to determine similarity and accuracy, and count the number of effective rehabilitation exercise performances.

연결 인터페이스(150)는 인터페이스 장치(110), 재활 운동 가이드 실행 제어 장치(120), 재활 운동 가이드 정보 관리자(130), 및 재활 운동 자동 측정 제어 장치(140) 사이의 통신을 지원할 수 있다. 예를 들어, 연결 인터페이스(150)는 동일한 전자 장치 내에 서로 다른 회로들, 모듈들, 또는 칩들 사이의 유선 통신을 지원하거나, 또는 이격된 전자 장치들 사이의 무선 통신을 지원할 수 있다.The connection interface 150 may support communication between the interface device 110, the rehabilitation exercise guide execution control device 120, the rehabilitation exercise guide information manager 130, and the rehabilitation exercise automatic measurement control device 140. For example, the connection interface 150 may support wired communication between different circuits, modules, or chips within the same electronic device, or may support wireless communication between electronic devices that are separated from each other.

일부 실시 예들에서, 재활 운동 분석 장치(100)는 스마트폰, 태블릿 등과 같은 개인용 단말기 상에 구현될 수 있다. 예를 들어, 모니터링 장치(112)는 스마트폰의 카메라 모듈로 구현될 수 있고, 디스플레이 장치(111)는 스마트폰의 디스플레이 패널 상에 구현될 수 있고, 재활 운동 가이드 실행 제어 장치(120), 재활 운동 가이드 정보 관리자(130), 및 재활 운동 자동 측정 제어 장치(140)는 스마트 폰 내의 프로세서에 의해 실행되는 애플리케이션으로 구현될 수 있다.In some embodiments, the rehabilitation exercise analysis device 100 may be implemented on a personal terminal such as a smartphone, tablet, etc. For example, the monitoring device 112 may be implemented as a camera module of a smartphone, the display device 111 may be implemented on a display panel of a smartphone, the rehabilitation exercise guide execution control device 120, rehabilitation The exercise guide information manager 130 and the rehabilitation exercise automatic measurement control device 140 may be implemented as an application executed by a processor in a smart phone.

그러나, 본 개시의 범위가 반드시 이에 제한되는 것은 아니며, 재활 운동 가이드 실행 제어 장치(120), 재활 운동 가이드 정보 관리자(130), 및 재활 운동 자동 측정 제어 장치(140) 개인용 단말기와 통신하는 별도의 서버 장치 상에 구현될 수 있다.However, the scope of the present disclosure is not necessarily limited thereto, and the rehabilitation exercise guide execution control device 120, the rehabilitation exercise guide information manager 130, and the rehabilitation exercise automatic measurement control device 140 are separate devices that communicate with the personal terminal. It can be implemented on a server device.

도 2는 본 개시의 일부 실시 예들에 따른 재활 운동 가이드 실행 제어 장치, 재활 운동 가이드 정보 관리자, 및 재활 운동 자동 측정 제어 장치를 구체화한 도면이다. 도 2를 참조하면, 재활 운동 가이드 실행 제어 장치(120), 재활 운동 가이드 정보 관리자(130), 및 재활 운동 자동 측정 제어 장치(140)의 세부구성이 도시된다.FIG. 2 is a diagram illustrating a rehabilitation exercise guide execution control device, a rehabilitation exercise guide information manager, and a rehabilitation exercise automatic measurement control device according to some embodiments of the present disclosure. Referring to FIG. 2, the detailed configuration of the rehabilitation exercise guide execution control device 120, the rehabilitation exercise guide information manager 130, and the rehabilitation exercise automatic measurement control device 140 are shown.

재활 운동 가이드 실행 제어 장치(120)는 자세추정 관절 포인트 추출 장치(121), 재활 운동 컨텐츠 관리자(122), 재활 운동 동작 가이드 제어 장치(123), 재활 운동 안전 가이드 제어 장치(124), 및 재활 운동 아바타 재현 장치(125)를 포함할 수 있다. The rehabilitation exercise guide execution control device 120 includes a posture estimation joint point extraction device 121, a rehabilitation exercise content manager 122, a rehabilitation exercise motion guide control device 123, a rehabilitation exercise safety guide control device 124, and a rehabilitation exercise guide control device 124. It may include an exercise avatar reproduction device 125.

자세추정 관절 포인트 추출 장치(121)는 사용자의 비디오 데이터로부터 3차원 공간 상의 사용자의 관절 포인트들을 추출할 수 있고, 시간에 따른 관절 포인트들의 위치 변화를 분석함으로써 사용자의 관절의 움직임을 나타내는 관절 분석 정보를 생성할 수 있다. 자세추정 관절 포인트 추출 장치(121)는 재활 운동 컨텐츠로부터 3차원 공간 상의 운동 전문가 등의 관절의 움직임을 나타내는 관절 분석 정보를 생성할 수 있다. 관절 포인트들에 대한 보다 상세한 설명은 도 3을 참조하여 후술될 것이다.The posture estimation joint point extraction device 121 is capable of extracting the user's joint points in a three-dimensional space from the user's video data, and analyzing the change in position of the joint points over time to provide joint analysis information representing the movement of the user's joints. can be created. The posture estimation joint point extraction device 121 can generate joint analysis information representing the movement of the joints of an exercise expert or the like in three-dimensional space from rehabilitation exercise content. A more detailed description of the joint points will be described later with reference to FIG. 3.

재활 운동 컨텐츠 관리자(122)는 재활 운동 컨텐츠들을 저장할 수 있다. 재활 운동 컨텐츠들은 영상 형태 데이터 및 텍스트 형태 데이터를 포함할 수 있다. 영상 형태 데이터는 운동 전문가 등의 재활 운동을 시간에 따라, 단위 동작 별로 다양한 방향에서 촬영한 컨텐츠들을 가리킬 수 있다. 운동 전문가 등의 재활 운동을 정면에서 촬영한 영상, 측면에서 촬영한 영상을 포함할 수 있다. 텍스트 형태 데이터는 영상 형태 데이터가 포함하는 단위 동작 정보일 수 있다. 재활 운동 컨텐츠에 대한 보다 상세한 설명은 도 4를 참조하여 후술될 것이다.The rehabilitation exercise content manager 122 may store rehabilitation exercise content. Rehabilitation exercise contents may include video-type data and text-type data. Video type data may refer to content filmed from various directions for each unit action and over time of rehabilitation exercises performed by exercise experts, etc. It may include images taken from the front or the side of rehabilitation exercises performed by exercise experts, etc. Text-type data may be unit operation information included in video-type data. A more detailed description of the rehabilitation exercise content will be described later with reference to FIG. 4.

재활 운동 컨텐츠 관리자(122)는 디스플레이 장치가 재활 운동 컨텐츠들을 표시하는 동작을 제어할 수 있다. The rehabilitation exercise content manager 122 may control the operation of the display device to display rehabilitation exercise content.

재활 운동 동작 가이드 제어 장치(123)는 동작 가이드 정보를 생성할 수 있다. 동작 가이드 정보는 타겟 단위 동작의 동선을 가리킬 수 있다. 재활 운동 컨텐츠 관리자(122)는 디스플레이 장치가 동작 가이드 정보를 표시하는 동작을 제어할 수 있다.The rehabilitation exercise motion guide control device 123 may generate motion guide information. The operation guide information may indicate the movement line of the target unit operation. The rehabilitation exercise content manager 122 may control the operation of the display device to display motion guide information.

재활 운동 안전 가이드 제어 장치(124)는 재활 운동 가이드 정보 관리자(134)로부터 개인별 맞춤 정보를 수신할 수 있다. 재활 운동 안전 가이드 제어 장치(124)는 개인별 맞춤 정보에 기초하여 사용자의 재활 운동의 위험 여부를 평가할 수 있다. 예를 들어, 재활 운동 안전 가이드 제어 장치(124)는 사용자가 통증 한계 범위를 초과하여 동작하거나 또는 위험한 동작을 수행한다고 판단하면, 디스플레이 장치 또는 별도의 스피커 장치를 통해 경고 알람을 사용자에게 제공할 수 있다.The rehabilitation exercise safety guide control device 124 may receive personalized information from the rehabilitation exercise guide information manager 134. The rehabilitation exercise safety guide control device 124 may evaluate whether the user's rehabilitation exercise is risky based on individually tailored information. For example, if the rehabilitation exercise safety guide control device 124 determines that the user operates beyond the pain limit range or performs a dangerous movement, it may provide a warning alarm to the user through a display device or a separate speaker device. there is.

재활 운동 아바타 재현 장치(125)는 재활 운동 정보 관리자(130)로부터 사용자의 과거 재활 운동 정보를 수신할 수 있다. 재활 운동 아바타 재현 장치(125)는 사용자의 과거 재활 운동 정보에 기초하여 과거 재활 운동 동작을 재현하는 아바타를 생성할 수 있다. 재활 운동 아바타 재현 장치(125)는 디스플레이 장치가 아바타를 표시하는 동작을 제어할 수 있다.The rehabilitation exercise avatar reproduction device 125 may receive the user's past rehabilitation exercise information from the rehabilitation exercise information manager 130. The rehabilitation exercise avatar reproduction device 125 may generate an avatar that reproduces past rehabilitation exercise movements based on the user's past rehabilitation exercise information. The rehabilitation exercise avatar reproduction device 125 may control the operation of the display device to display the avatar.

재활 운동 가이드 정보 관리자(130)는 재활 운동 단위 동작 관리자(131), 재활 운동 참조 모델 관리자(132), 운동 전문가 재활 운동 가동 범위 관리자(133), 개인별 재활 운동 통증 한계 정보 관리자(134), 및 재활 운동 정보 관리자(135)를 포함할 수 있다.The rehabilitation exercise guide information manager 130 includes a rehabilitation exercise unit motion manager 131, a rehabilitation exercise reference model manager 132, an exercise expert rehabilitation exercise range of motion manager 133, an individual rehabilitation exercise pain limit information manager 134, and It may include a rehabilitation exercise information manager 135.

재활 운동 단위 동작 관리자(131)는 단위 동작 정보를 저장하고 관리할 수 있다. 예를 들어, 재활 운동 단위 동작 관리자(131)는 단위 동작 정보를 재활 운동 가이드 실행 제어 장치(120) 및 재활 운동 자동 측정 제어 장치(140)에 제공할 수 있다.The rehabilitation exercise unit operation manager 131 may store and manage unit operation information. For example, the rehabilitation exercise unit operation manager 131 may provide unit operation information to the rehabilitation exercise guide execution control device 120 and the rehabilitation exercise automatic measurement control device 140.

재활 운동 참조 모델 관리자(132)는 참조 모델 정보를 저장하고 관리할 수 있다. 예를 들어, 재활 운동 참조 모델 관리자(132)는 참조 모델 정보를 이상적인 재활 운동 가동 범위 관리자 및 재활 운동 가동 범위 관리자(141)에게 제공할 수 있다. The rehabilitation exercise reference model manager 132 can store and manage reference model information. For example, the rehabilitation exercise reference model manager 132 may provide reference model information to the ideal rehabilitation exercise range of motion manager and the rehabilitation exercise range of motion manager 141.

운동 전문가 재활 운동 가동 범위 관리자(133)는 재활 운동 컨텐츠의 관절 분석 정보 및 재활 운동 단위 동작 정보에 기초하여 이상적인 가동 범위 정보를 생성할 수 있다.The exercise expert rehabilitation exercise range of motion manager 133 may generate ideal range of motion information based on joint analysis information and rehabilitation exercise unit motion information of rehabilitation exercise content.

개인별 재활 운동 통증 한계 정보 관리자(134)는 사용자의 통증 한계 정보를 저장하고 관리할 수 있다. 예를 들어, 개인별 재활 운동 통증 한계 정보 관리자(134)는 통증 한계 정보를 재활 운동 안전 가이드 제어 장치(124)에 제공할 수 있다.The individual rehabilitation exercise pain limit information manager 134 can store and manage the user's pain limit information. For example, the individual rehabilitation exercise pain limit information manager 134 may provide pain limit information to the rehabilitation exercise safety guide control device 124.

재활 운동 정보 관리자(135)는 과거 재활 운동 정보를 저장하고 관리할 수 있다. 예를 들어, 재활 운동 정보 관리자(135)는 과거 재활 운동 정보를 재활 운동 아바타 재현 장치(125)에 제공할 수 있다. 재활 운동 정보 관리자(135)는 사용자의 재활 운동 정보를 축적하여 대용량 데이터 베이스 형태로 저장할 수 있다. The rehabilitation exercise information manager 135 can store and manage past rehabilitation exercise information. For example, the rehabilitation exercise information manager 135 may provide past rehabilitation exercise information to the rehabilitation exercise avatar reproduction device 125. The rehabilitation exercise information manager 135 can accumulate the user's rehabilitation exercise information and store it in the form of a large database.

재활 운동 자동 측정 제어 장치(140)는 재활 운동 가동 범위 관리자(141), 재활 운동 유사도 판단 장치(142), 재활 운동 정확도 판단 장치(143), 및 재활 운동 수행 카운트 장치(144)를 포함할 수 있다.The rehabilitation exercise automatic measurement control device 140 may include a rehabilitation exercise range of motion manager 141, a rehabilitation exercise similarity judgment device 142, a rehabilitation exercise accuracy judgment device 143, and a rehabilitation exercise performance count device 144. there is.

재활 운동 가동 범위 관리자(141)는 자세 추정 관절 포인트 추출 장치(121)로부터 사용자의 관절 분석 정보를 수신할 수 있다. 재활 운동 가동 범위 관리자(141)는 사용자의 관절 분석 정보를 기반으로 실제 가동 범위 정보를 생성할 수 있다.The rehabilitation exercise range of motion manager 141 may receive the user's joint analysis information from the posture estimation joint point extraction device 121. The rehabilitation exercise range of motion manager 141 may generate actual range of motion information based on the user's joint analysis information.

재활 운동 유사도 판단 장치(142)는 실제 단위 동작 정보 및 이상적인 단위 동작 정보를 비교함으로써 유사도를 판단할 수 있다. 재활 운동 유사도 판단 장치(142)는 유사도를 재활 운동 정확도 판단 장치(143)에 제공할 수 있다.The rehabilitation exercise similarity determination device 142 may determine the similarity by comparing actual unit motion information and ideal unit motion information. The rehabilitation exercise similarity determination device 142 may provide the similarity to the rehabilitation exercise accuracy determination device 143.

일부 실시 예들에서, 재활 운동 유사도 판단 장치(142)는 단위 동작들 각각에 대해서, 유사도를 사용자의 재활 운동 가동 범위의 최댓값을 이상적인 재활 운동 가동 범위의 최댓값으로 나누고 100을 곱하거나 또는 사용자의 재활 운동 가동 범위의 최솟값을 이상적인 재활 운동 가동 범위의 최솟값으로 나누고 100을 곱함으로써 계산할 수 있다. 유사도를 사용자의 재활 운동 가동 범위의 최댓값을 기반으로 계산할지 또는 사용자의 재활 운동 가동 범위의 최솟값을 기반으로 계산할지 여부는 재활 운동 참조 모델 관리자(132)가 결정할 수 있다.In some embodiments, the rehabilitation exercise similarity determination device 142 divides the maximum value of the user's rehabilitation exercise range of motion by the maximum value of the ideal rehabilitation exercise range of motion and multiplies the similarity by 100 for each unit operation. It can be calculated by dividing the minimum value of the range of motion by the minimum value of the ideal rehabilitation exercise range of motion and multiplying by 100. The rehabilitation exercise reference model manager 132 may determine whether to calculate similarity based on the maximum value of the user's rehabilitation exercise range of motion or the minimum value of the user's rehabilitation exercise range of motion.

재활 운동 정확도 판단 장치(143)는 재활 운동 유사도 판단 장치(142)로부터 유사도를 수신할 수 있다. 재활 운동 정확도 판단 장치(143)는 단위 동작들 각각의 가중치 및 유사도에 기초하여 사용자 재활 운동의 정확도를 계산할 수 있다. 단위 동작들 각각의 가중치는 재활 운동 참조 모델 관리자(132)가 단위 동작들 각각을 역할에 따라 분류한 것에 기초하여 정해질 수 있다. 예를 들어, 재활 운동 내에서 중요도가 높은 단위 동작의 가중치의 값은 높게 설정될 수 있고, 재활 운동 내에서 중요도가 낮은 단위 동작의 가중치의 값은 낮게 설정될 수 있다. 가중치의 값은 0이상 1이하의 실수일 수 있다.The rehabilitation exercise accuracy determination device 143 may receive similarity from the rehabilitation exercise similarity determination device 142. The rehabilitation exercise accuracy determination device 143 may calculate the accuracy of the user's rehabilitation exercise based on the weight and similarity of each unit operation. The weight of each unit operation may be determined based on the rehabilitation exercise reference model manager 132 classifying each unit operation according to role. For example, the weight value of a unit operation of high importance within a rehabilitation exercise may be set high, and the weight value of a unit operation of low importance within a rehabilitation exercise may be set low. The weight value can be a real number between 0 and 1.

일부 실시 예들에서, 재활 운동 정확도 판단 장치(143)는 를 사용하여 재활 운동의 정확도를 계산할 수 있다. 이때, N은 재활 운동 컨텐츠가 포함하는 단위 동작들의 개수를 가리키고, Sn은 n 번째 단위 동작의 유사도를 가리키고, 그리고 Wn은 n번째 단위 동작의 가중치를 가리킬 수 있다.In some embodiments, the rehabilitation exercise accuracy determination device 143 You can use to calculate the accuracy of rehabilitation exercises. At this time, N may indicate the number of unit movements included in the rehabilitation exercise content, Sn may indicate the similarity of the nth unit movement, and Wn may indicate the weight of the nth unit movement.

재활 운동 수행 카운트 장치(144)는 사용자가 설정한 재활 운동 반복 횟수에 따라, 사용자의 유효한 재활 운동 횟수를 카운트할 수 있다. 유효한 재활 운동 횟수는 카운트 값으로도 지칭될 수 있다. 유효한 재활 운동 횟수는 사용자가 재활 운동 수행을 적절하게 완료한 것으로 판단되는 운동 횟수를 가리킬 수 있다. 재활 운동 수행 카운트 장치(144)의 카운트 동작에 관한 보다 상세한 설명은 도 11 내지 15를 참조하여 후술될 것이다. 재활 운동 수행 카운트 장치(144)는 디스플레이 장치가 카운트 값을 표시하는 동작을 제어할 수 있다. The rehabilitation exercise performance count device 144 may count the number of effective rehabilitation exercises of the user according to the number of repetitions of the rehabilitation exercises set by the user. The number of effective rehabilitation exercises may also be referred to as a count value. The effective number of rehabilitation exercises may refer to the number of exercises for which it is determined that the user has appropriately completed the rehabilitation exercise. A more detailed description of the counting operation of the rehabilitation exercise performance counting device 144 will be described later with reference to FIGS. 11 to 15. The rehabilitation exercise performance count device 144 may control the operation of the display device to display the count value.

도 3은 본 개시의 일부 실시 예들에 따른 관절 포인트들을 도시한 도면이다. 도 3을 참조하면, 도 2의 자세추정 관절 포인트 추출 장치(121)가 사용하는 관절 포인트들이 설명될 수 있다.FIG. 3 is a diagram illustrating joint points according to some embodiments of the present disclosure. Referring to FIG. 3, joint points used by the posture estimation joint point extraction device 121 of FIG. 2 can be described.

도 3을 참조하면, 실선은 골격을 가리키고, 검은색 점들은 관절 포인트들을 가리킬 수 있다. 관절 포인트들은 코(0), 왼쪽 눈 안쪽(1), 왼쪽 눈(2), 왼쪽 눈 바깥쪽(3), 오른쪽 눈 안쪽(4), 오른쪽 눈(5), 오른쪽 눈 바깥쪽(6), 왼쪽 귀(7), 오른쪽 귀(8), 왼쪽 입(9), 오른쪽 입(10), 왼쪽 어깨(11), 오른쪽 어깨(12), 왼쪽 팔꿈치(13), 오른쪽 팔꿈치(14), 왼쪽 손목(15), 오른쪽 손목(16), 왼쪽 새끼손가락(17), 오른쪽 새끼손가락(18), 왼쪽 집게손가락(19), 오른쪽 집게손가락(20), 왼쪽 엄지 손가락(21), 오른쪽 엄지 손가락(22), 왼쪽 엉덩이(24), 오른쪽 엉덩이(25), 왼쪽 발목(27), 오른쪽 발목(28), 왼쪽 뒤꿈치(29), 오른쪽 뒤꿈치(30), 왼쪽 집게 발가락(31), 및 오른쪽 집게 발가락(32)의 관절들을 각각 가리킬 수 있다. 도 3을 참조하면, 32개의 관절 포인트들로 도시되어 있으나, 본 개시의 범위는 이에 제한되지 않는다.Referring to Figure 3, the solid line may indicate the skeleton, and the black dots may indicate joint points. The joint points are nose (0), inside left eye (1), left eye (2), outside left eye (3), inside right eye (4), right eye (5), outside right eye (6), Left ear (7), right ear (8), left mouth (9), right mouth (10), left shoulder (11), right shoulder (12), left elbow (13), right elbow (14), left wrist (15), right wrist (16), left little finger (17), right little finger (18), left index finger (19), right index finger (20), left thumb (21), right thumb (22) ), left hip (24), right hip (25), left ankle (27), right ankle (28), left heel (29), right heel (30), left index toe (31), and right index toe ( You can point to each of the joints in 32). Referring to FIG. 3, 32 joint points are shown, but the scope of the present disclosure is not limited thereto.

도 4는 본 개시의 일부 실시 예들에 따른 재활 운동 컨텐츠를 설명하는 도면이다. 도 4를 참조하면, 재활 운동 컨텐츠의 영상 형태 데이터가 설명된다.FIG. 4 is a diagram illustrating rehabilitation exercise content according to some embodiments of the present disclosure. Referring to FIG. 4, video form data of rehabilitation exercise content is described.

사용자는 인터페이스 장치을 통해 재활 운동 컨텐츠를 선택할 수 있다. 사용자는 재활 운동 컨텐츠를 보면서 재활 운동을 수행할 수 있다. The user can select rehabilitation exercise content through the interface device. A user can perform rehabilitation exercises while watching rehabilitation exercise content.

도 4를 참조하면, 재활 운동 컨텐츠는 운동 전문가 등의 재활 운동을 시간에 따라, 단위 동작 별로 측면 방향에서 촬영하거나 또는 정면 방향에서 촬영한 컨텐츠들을 가리킬 수 있다. 다만, 본 개시의 범위는 이에 제한되지 않는다. 재활 운동 컨텐츠는 재활 운동에 사용되는 도구, 설명, 제작 날짜, 및 측정 방향에 관한 정보를 포함할 수 있다.Referring to FIG. 4, rehabilitation exercise content may refer to content that is filmed from the side or front direction for each unit movement over time while performing rehabilitation exercise by an exercise expert. However, the scope of the present disclosure is not limited thereto. Rehabilitation exercise content may include information about tools used in rehabilitation exercise, description, production date, and measurement direction.

도 5는 본 개시의 일부 실시 예들에 따른 가이드 영상을 설명하는 도면이다. 도 5를 참조하면, 도 1의 디스플레이 장치(111)가 사용자에게 제공하는 가이드 영상의 예시가 도시된다.FIG. 5 is a diagram illustrating a guide image according to some embodiments of the present disclosure. Referring to FIG. 5, an example of a guide image provided to a user by the display device 111 of FIG. 1 is shown.

디스플레이 장치(111)에는, 예를 들어 디스플레이 패널, 재활 운동 컨텐츠, 및 사용자의 비디오 데이터가 나란히 표시되고, 사용자의 비디오 데이터 위에는 위험 경고(WA) 또는 동작 가이드 정보(MT)가 표시될 수 있다. 디스플레이 장치(111)에는, 사용자의 재활 운동 수행 카운트 값이 표시되고, 정확도 값이 백분율로 표시될 수 있다.On the display device 111, for example, a display panel, rehabilitation exercise content, and the user's video data may be displayed side by side, and a hazard warning (WA) or operation guide information (MT) may be displayed on the user's video data. The display device 111 may display the user's rehabilitation exercise performance count value and the accuracy value may be displayed as a percentage.

사용자는 디스플레이 장치(111)에 표시된 가이드 영상을 보고 재활 운동을 수행할 수 있다. 사용자는 재활 운동 컨텐츠 및 동작 가이드 정보(MT)에 따라 동작을 적절한 방향으로 수행할 수 있다. 사용자는 위험 경고(WA)를 인식하면, 동작을 멈추거나 가동 범위 내로 동작을 변경할 수 있다.The user can perform rehabilitation exercises by viewing the guide image displayed on the display device 111. The user can perform movements in an appropriate direction according to rehabilitation exercise content and movement guide information (MT). When the user recognizes a hazard warning (WA), he or she can stop the movement or change the movement within the range of motion.

도 6은 본 개시의 일부 실시 예들에 따른 재활 운동 단위 동작 정보를 설명하는 표이다. 도 6을 참조하면, 단위 동작 정보가 설명될 수 있다.Figure 6 is a table explaining rehabilitation exercise unit operation information according to some embodiments of the present disclosure. Referring to FIG. 6, unit operation information can be described.

단위 동작 정보는 단위 동작들 각각의 단위 동작 인덱스, 단위 동작 설명, 측정 타입, 측정 대상 관절 포인트, 측정 단위, 이론 값, 측정 값을 포함할 수 있다.Unit operation information may include a unit operation index, unit operation description, measurement type, measurement target joint point, measurement unit, theoretical value, and measurement value for each unit operation.

단위 동작 인덱스(u1~u9)는 단위 동작들 각각을 가리킬 수 있다. 단위 동작 설명은 각 단위 동작에서 수행할 동작을 설명한 것일 수 있다. 예를 들어, 단위 동작 설명은 '서있는 자세에서 무릎을 곧게 폅니다', '서있는 자세에서 허리를 곧게 폅니다', '의자에 앉아 허벅지와 종아리가 직각이 되도록 합니다', '의자에 앉은 자세에서 허리를 곧게 폅니다', '바닥에 누운 자세로 발바닥을 바닥에 붙이고 무릎은 세웁니다', '팔꿈치를 펴면서 앞으로 쭉 뻗습니다', '팔꿈치를 편 상태에서 어깨높이까지 들어올립니다', '팔과 등이 수직이 되도록 팔꿈치를 앞으로 뻗습니다'. '팔을 앞쪽으로 머리 위까지 180도 들어 올립니다' 등 중 하나일 수 있다. The unit operation index (u1 to u9) may indicate each of the unit operations. The unit operation description may be a description of the operation to be performed in each unit operation. For example, unit action descriptions include: 'Straighten your knees in a standing position', 'Straighten your back in a standing position', 'Sit on a chair so that your thighs and calves are at right angles', 'In a sitting position on a chair' Straighten your back’, ‘Lie down on the floor with the soles of your feet on the floor and straighten your knees’, ‘Stretch forward while straightening your elbows’, ‘Lift up to shoulder height with your elbows straight’, ‘Arms and back. Extend your elbows forward so that they are vertical.' It can be one of the following: ‘Raise your arms forward 180 degrees above your head.’

측정 타입은 측정 여부를 가리킬 수 있다. 예를 들어, 측정 타입이 1인 경우, 측정 대상 관절 포인트들에 대해 측정 단위에 따라 단위 동작을 측정해야 한다. 측정 타입이 2인 경우, 단위 동작은 자세를 가리킬 뿐, 별도로 측정을 수행하지 않을 수 있다.Measurement type can indicate whether measurement is performed. For example, if the measurement type is 1, unit motion must be measured according to the measurement unit for the joint points to be measured. If the measurement type is 2, the unit movement only indicates the posture, and separate measurement may not be performed.

측정 대상 관절 포인트는 도 2의 관절 포인트들 중 복수의 관절 포인트들의 집합일 수 있다. 예를 들어, 제1 단위 동작(u1)에서, '[[24, 26, 28], [23, 25, 27]]'는 오른쪽 힙(24), 오른쪽 무릎(26), 오른쪽 발목(28) 사이 및 왼쪽 힙(23), 왼쪽 무릎(25), 왼쪽 발목(27) 사이를 측정하는 것을 가리킬 수 있다. 예를 들어, 제7 단위 동작(u7)에서, '[[16, 12], [15, 11]]'는 오른쪽 손목(16) 및 오른쪽 어깨(12) 사이, 및 왼쪽 손목(15) 및 왼쪽 어깨(11) 사이를 측정하는 것을 가리킬 수 있다. 제2 내지 제4 단위 동작들 및 제8 내지 제9 단위 동작들도 이와 유사하게 설명될 수 있다.The joint point to be measured may be a set of a plurality of joint points among the joint points of FIG. 2 . For example, in the first unit movement (u1), '[[24, 26, 28], [23, 25, 27]]' is the right hip (24), right knee (26), and right ankle (28). It can refer to measurements between and between the left hip (23), left knee (25), and left ankle (27). For example, in the seventh unit action (u7), '[[16, 12], [15, 11]]' is between the right wrist (16) and the right shoulder (12), and the left wrist (15) and the left It may refer to measuring between the shoulders (11). The second to fourth unit operations and the eighth to ninth unit operations can also be explained similarly.

측정 단위는 측정 대상 관절 포인트 사이를 측정하는 기준 단위를 가리킬 수 있다. 예를 들어, 제1 단위 동작(u1)에서, 오른쪽 힙(24), 오른쪽 무릎(26), 오른쪽 발목(28) 사이의 각도를 측정하고, 왼쪽 힙(23), 왼쪽 무릎(25), 왼쪽 발목(27) 사이의 각도를 측정하는 것을 가리킬 수 있다. 예를 들어, 제7 단위 동작(u7)에서, 오른쪽 손목(16) 및 오른쪽 어깨(12) 사이의 높이를 측정하고, 왼쪽 손목(15) 및 왼쪽 어깨(11) 사이의 높이를 측정하는 것을 가리킬 수 있다. 도 6에서는 도시되지 않았으나, 측정 단위는 무게도 포함할 수 있다. 무게는 두 개의 관절 포인트들을 측정 대상 관절 포인트들로 하여, 두 개의 관절 포인트들의 거리의 차분을 가리킬 수 있다. 제2 내지 제4 단위 동작들 및 제8 내지 제9 단위 동작들도 이와 유사하게 설명될 수 있다.The measurement unit may refer to a standard unit for measuring between joint points to be measured. For example, in the first unit movement (u1), measure the angle between the right hip 24, right knee 26, and right ankle 28, and the left hip 23, left knee 25, and left It may refer to measuring the angle between the ankles 27. For example, in the seventh unit operation u7, it refers to measuring the height between the right wrist 16 and the right shoulder 12, and measuring the height between the left wrist 15 and the left shoulder 11. You can. Although not shown in FIG. 6, the unit of measurement may also include weight. Weight may refer to the difference in the distance between the two joint points by using the two joint points as the joint points to be measured. The second to fourth unit operations and the eighth to ninth unit operations can also be explained similarly.

이론 값은 단위 동작들 각각의 이론적 목표값을 가리킬 수 있다. 측정 값은 도 6에서는 도시되지 않았으나, 실세계에서 운동 전문가 등이 단위 동작들 각각을 수행함으로써 측정한 값을 가리킬 수 있다. 측정 값은 도 2의 이상적인 재활 운동 가동 범위 관리자로부터 생성될 수 있다.The theoretical value may indicate the theoretical target value of each unit operation. Although the measured value is not shown in FIG. 6, it may refer to a value measured by an exercise expert or the like by performing each unit movement in the real world. Measurements may be generated from the Ideal Rehabilitation Exercise Range of Motion Manager of FIG. 2.

도 6을 참조하면, 9개의 단위 동작들이 도시되나, 본 개시의 범위는 이에 제한되지 않는다.Referring to FIG. 6, nine unit operations are shown, but the scope of the present disclosure is not limited thereto.

도 7은 본 개시의 일부 실시 예들에 따른 재활 운동 참조 모델 정보를 설명하는 표이다. 도 7을 참조하면, 재활 운동 컨텐츠들을 그룹핑한 재활 운동 참조 모델 정보가 도시된다.7 is a table explaining rehabilitation exercise reference model information according to some embodiments of the present disclosure. Referring to FIG. 7, rehabilitation exercise reference model information grouping rehabilitation exercise contents is shown.

재활 운동 참조 모델 정보는 참조 모델 인덱스, 참조 모델 설명, 참조 모델들 각각이 포함하는 재활 운동 컨텐츠 설명, 참조 모델들 각각이 포함하는 단위 동작 설명, 단위 동작들 각각의 특징 종류를 포함한다.Rehabilitation exercise reference model information includes a reference model index, a reference model description, a rehabilitation exercise content description included in each of the reference models, a unit operation description included in each of the reference models, and feature types of each unit operation.

참조 모델 인덱스(m1, m2)는, 참조 모델들 각각을 가리킬 수 있다. 참조 모델 설명은 참조 모델이 포함하는 재활 운동의 주요 구성을 가리킬 수 있다. 예를 들어 제1 참조 모델(m1)은 어깨 굽힘, 선자세, 팔꿈치폄, 90도 등을 주요 구성으로 포함할 수 있다. 제1 참조 모델(m1)은 6개의 재활 운동 컨텐츠들을 포함한 재활 운동 컨텐츠 그룹을 가리킬 수 있다. The reference model index (m1, m2) may indicate each of the reference models. The reference model description may point to the main components of the rehabilitation exercise that the reference model includes. For example, the first reference model (m1) may include shoulder bending, standing posture, elbow extension, 90 degrees, etc. as main components. The first reference model (m1) may indicate a rehabilitation exercise content group including 6 rehabilitation exercise contents.

재활 운동 컨텐츠 설명은 재활 운동의 주요 구성, 재활 운동에 사용되는 도구, 측정 방향을 포함할 수 있다. 예를 들어, 제1 참조 모델(m1)은 '어깨 굽힘/선자세/팔꿈치폄/90도/맨손/오른쪽','어깨굽힘/선자세/팔꿈치폄/90도/맨손/왼쪽','어깨굽힘/선자세/팔꿈치폄/90도/덤벨/오른쪽','어깨굽힘/선자세/팔꿈치폄/90도/덤벨/왼쪽','어깨굽힘/선자세/팔꿈치폄/90도/밴드/오른쪽','어깨굽힘/선자세/팔꿈치폄/90도/밴드/왼쪽'의 재활 운동 컨텐츠 설명들을 포함하는 재활 운동 컨텐츠 그룹을 가리킬 수 있다.The rehabilitation exercise content description may include the main components of the rehabilitation exercise, tools used in the rehabilitation exercise, and measurement direction. For example, the first reference model (m1) is 'shoulder flexion/standing posture/elbow extension/90 degrees/bare hand/right', 'shoulder flexion/standing posture/elbow extension/90 degrees/bare hand/left', 'shoulder Bending/standing posture/elbow extension/90 degrees/dumbbell/right','Shoulder flexion/standing posture/elbow extension/90 degrees/dumbbell/left','Shoulder flexion/standing posture/elbow extension/90 degrees/band/right It may refer to a rehabilitation exercise content group including rehabilitation exercise content descriptions of ', 'shoulder flexion/standing posture/elbow extension/90 degrees/band/left'.

도 7을 참조하면, 참조 모델 정보는, 제1 참조 모델(m1)이 가리키는 재활 운동 컨텐츠들이 공통적으로 포함하는 단위 동작 설명들을 포함한다. 예를 들어, 제1 참조 모델(m1)은 '양발을 어깨 너비로 벌립니다', '서있는 자세에서 허리를 곧게 폅니다', '서있는 자세에서 무릎을 곧게 폅니다', '발꿈치를 곧게 폅니다', '팔을 안쪽으로 어깨높이까지 들어올립니다', '등과 팔이 90도가 되도록 들어올립니다'를 포함하는 재활 운동 컨텐츠 그룹을 가리킬 수 있다.Referring to FIG. 7, the reference model information includes unit operation descriptions commonly included in rehabilitation exercise contents indicated by the first reference model (m1). For example, the first reference model (m1) is ‘Spread your feet shoulder-width apart’, ‘Straighten your back in a standing position’, ‘Straighten your knees in a standing position’, ‘Keep your heels straight’ ', 'Raise your arms inward to shoulder height', 'Raise your back and arms to 90 degrees'.

특징 종류는 참조 모델들 각각이 포함하는 단위 동작들의 종류를 가리킬 수 있다. 단위 동작들은 특징 종류는 자세, 영향특징, 및 주요특징으로 구별될 수 있다. '자세'는 재활 운동 동안 유지되는 정적인 동작을 가리킬 수 있다. '주요특징'은 단위 동작들 중에서 재활 운동에 주요한 영향을 주는 동작을 가리키고, '영향특징'은 재활 운동에 영향을 주지만 주요한 정도에 미치지 않는 동작을 가리킬 수 있다. The feature type may indicate the type of unit operations included in each of the reference models. Unit operations can be divided into three types: posture, influence feature, and main feature. ‘Posture’ can refer to static movements maintained during rehabilitation exercises. 'Main features' may refer to movements among unit movements that have a major impact on rehabilitation exercises, and 'influence features' may refer to movements that have an impact on rehabilitation exercises but do not reach a major extent.

예를 들어, '양발을 어깨 너비로 벌립니다'는 제1 참조 모델(m1)의 자세를 가리키는 단위 동작 설명이고, '서있는 자세에서 허리를 곧게 폅니다'는 제1 참조 모델(m1)의 영향특징을 가리키는 단위 동작 설명이고, '발꿈치를 곧게 폅니다'는 제1 참조 모델(m1)의 주요특징을 가리키는 단위 동작 설명일 수 있다.For example, ‘Spread your feet shoulder-width apart’ is a unit action description that refers to the posture of the first reference model (m1), and ‘Straighten your back in a standing posture’ is an influence of the first reference model (m1). It is a unit operation description indicating a feature, and 'straighten the heel' may be a unit operation description indicating a main feature of the first reference model (m1).

제2 참조모델(m2)도 이와 유사하게 설명될 수 있다. 예를 들어, 제2 참조모델(m2)은 두 개의 재활 운동 컨텐츠들을 포함하는 재활 운동 컨텐츠 그룹을 가리킬 수 있으며, 두 개의 재활 운동 컨텐츠들은 6개의 공통된 단위 동작들을 포함할 수 있다.The second reference model (m2) can also be explained similarly. For example, the second reference model (m2) may indicate a rehabilitation exercise content group including two rehabilitation exercise contents, and the two rehabilitation exercise contents may include six common unit operations.

도 7 참조하면, 제1 참조모델(m1) 및 제2 참조모델(m2)가 도시됐으나, 본 개시의 범위는 이에 제한되지 않는다.Referring to FIG. 7, a first reference model (m1) and a second reference model (m2) are shown, but the scope of the present disclosure is not limited thereto.

도 8은 본 개시의 일부 실시 예들에 따른 재활 운동 컨텐츠 인덱스 및 재활 운동 참조 모델 정보의 관계를 설명하는 표이다. 도 8을 참조하면, 재활 운동 참조 모델의 예시가 도시된다.FIG. 8 is a table explaining the relationship between a rehabilitation exercise content index and rehabilitation exercise reference model information according to some embodiments of the present disclosure. Referring to Figure 8, an example of a rehabilitation exercise reference model is shown.

도 8을 참조하면, 참조 모델 정보는 재활 운동 컨텐츠의 재활 운동 컨텐츠 인덱스, 재활 운동 컨텐츠가 속한 참조 모델 인덱스 및 재활 운동 컨텐츠의 세부 설명을 포함할 수 있다.Referring to FIG. 8, the reference model information may include a rehabilitation exercise content index of the rehabilitation exercise content, a reference model index to which the rehabilitation exercise content belongs, and a detailed description of the rehabilitation exercise content.

재활 운동 컨텐츠 인덱스는 재활 운동 컨텐츠 각각을 가리킬 수 있다. 재활 운동 컨텐츠 설명은 재활 운동 컨텐츠의 측정 방향 및 운동 도구에 관한 정보를 포함할 수 있다.The rehabilitation exercise content index may refer to each rehabilitation exercise content. The rehabilitation exercise content description may include information about the measurement direction and exercise tool of the rehabilitation exercise content.

예를 들어, 제1 재활 운동 컨텐츠(c1)는 제1 참조 모델(m1)에 포함되며, 오른쪽에서 측정되고, 맨손 운동이다. 제2 재활 운동 컨텐츠(c2)는 제1 참조 모델(m1)에 포함되며, 오른쪽에서 측정되고, 덤벨로 운동한다. 제3 내지 제6 재활 운동 컨텐츠들(c3~c6)도 이와 유사하게 설명될 수 있다.For example, the first rehabilitation exercise content c1 is included in the first reference model m1, is measured from the right, and is a bare-handed exercise. The second rehabilitation exercise content (c2) is included in the first reference model (m1), is measured from the right side, and is exercised with a dumbbell. The third to sixth rehabilitation exercise contents c3 to c6 can also be explained similarly.

도 8을 참조하면, 제1 내지 제6 재활 운동 컨텐츠들(c1~c6)에 대해서만 도시됐으나, 본 개시의 범위는 이에 제한되지 않는다.Referring to FIG. 8, only the first to sixth rehabilitation exercise contents c1 to c6 are shown, but the scope of the present disclosure is not limited thereto.

일부 실시 예들에서, 참조모델 정보는 재활 운동 컨텐츠의 재활 운동 컨텐츠 설명, 재활 운동 컨텐츠가 속한 참조모델 인덱스, 재활 운동 컨텐츠에 포함된 단위 동작들, 및 재활 운동 컨텐츠에 포함된 주요특징 동작들 및 영향특징 동작들을 포함할 수 있다. 이때, 단위 동작들은 단위 동작 설명 또는 단위 동작 인덱스 중 적어도 하나로 표시될 수 있다.In some embodiments, the reference model information includes a description of the rehabilitation exercise content, a reference model index to which the rehabilitation exercise content belongs, unit operations included in the rehabilitation exercise content, and key feature operations and effects included in the rehabilitation exercise content. May include feature operations. At this time, unit operations may be displayed as at least one of a unit operation description or a unit operation index.

도 9는 본 개시의 실시 예에 따른 재활 운동 분석 장치의 동작하는 방법을 설명하는 순서도이다. 도 9를 참조하면, 도 1의 재활 운동 분석 장치(100)의 동작하는 방법이 도시된다.9 is a flowchart explaining a method of operating a rehabilitation exercise analysis device according to an embodiment of the present disclosure. Referring to FIG. 9, a method of operating the rehabilitation exercise analysis device 100 of FIG. 1 is shown.

S110 단계에서, 재활 운동 분석 장치는 사용자의 재활 운동을 모니터링하여 비디오 데이터를 생성할 수 있다.In step S110, the rehabilitation exercise analysis device may generate video data by monitoring the user's rehabilitation exercise.

S120 단계에서, 재활 운동 분석 장치는 비디오 데이터로부터 관절 분석 정보를 생성할 수 있다.In step S120, the rehabilitation exercise analysis device may generate joint analysis information from video data.

S130 단계에서, 재활 운동 분석 장치는 관절 분석 정보에 기초하여 실제 단위 동작 정보를 생성할 수 있다.In step S130, the rehabilitation exercise analysis device may generate actual unit motion information based on the joint analysis information.

일부 실시 예들에서, 재활 운동 분석 장치는 관절 분석 정보 및 단위 동작 정보에 기초하여 사용자의 재활 운동 가동 범위 정보를 생성하는 것, 사용자의 재활 운동 가동 범위 정보를 기반으로 실제 단위 동작 정보를 생성하는 것을 포함할 수 있다.In some embodiments, the rehabilitation exercise analysis device generates the user's rehabilitation exercise range of motion information based on joint analysis information and unit motion information, and generates actual unit motion information based on the user's rehabilitation exercise range of motion information. It can be included.

S140 단계에서, 재활 운동 분석 장치는 이상적인 단위 동작 정보 및 실제 단위 동작 정보의 유사성에 기초하여 가이드 정보를 생성할 수 있다.In step S140, the rehabilitation exercise analysis device may generate guide information based on the similarity between ideal unit motion information and actual unit motion information.

일부 실시 예들에서, S140 단계는, 재활 운동 분석 장치는, 재활 운동 컨텐츠로부터 관절 분석 정보를 추출하는 것, 관절 분석 정보 및 단위 동작 정보에 기초하여 이상적인 단위 동작 정보를 생성하는 것, 이상적인 단위 동작 정보 및 실제 단위 동작 정보의 유사성에 기초하여 가이드 정보를 생성하는 것을 포함할 수 있다.In some embodiments, in step S140, the rehabilitation exercise analysis device extracts joint analysis information from rehabilitation exercise content, generates ideal unit motion information based on the joint analysis information and unit motion information, and ideal unit motion information. and generating guide information based on similarity of actual unit operation information.

S150 단계에서, 재활 운동 분석 장치는 가이드 정보를 사용자에게 제공할 수 있다.In step S150, the rehabilitation exercise analysis device may provide guide information to the user.

도 10은 본 개시의 일부 실시 예에 따른 재활 운동 가동 범위를 생성하는 과정을 설명하는 도면이다. 도 10을 참조하면, 도 2의 재활 운동 가동 범위 관리자(141)가 사용자의 재활 운동 가동 범위 정보를 생성하는 동작이 설명된다. FIG. 10 is a diagram illustrating a process for generating a rehabilitation exercise range of motion according to some embodiments of the present disclosure. Referring to FIG. 10, the operation of the rehabilitation exercise range of motion manager 141 of FIG. 2 to generate the user's rehabilitation exercise range of motion information will be described.

도 10의 자세추정 관절 포인트 추출 장치(121), 재활 운동 단위 동작 관리자(131), 재활 운동 참조 모델 관리자(132), 재활 운동 정보 관리자(135), 및 재활 운동 가동 범위 관리자(141)는 도 2의 자세추정 관절 포인트 추출 장치(121), 재활 운동 단위 동작 관리자(131), 재활 운동 참조 모델 관리자(132), 재활 운동 정보 관리자(135), 및 재활 운동 가동 범위 관리자(141)에 대응될 수 있다.The posture estimation joint point extraction device 121, the rehabilitation exercise unit motion manager 131, the rehabilitation exercise reference model manager 132, the rehabilitation exercise information manager 135, and the rehabilitation exercise range of motion manager 141 of FIG. 10 are shown in FIG. 2, which will correspond to the posture estimation joint point extraction device 121, the rehabilitation exercise unit motion manager 131, the rehabilitation exercise reference model manager 132, the rehabilitation exercise information manager 135, and the rehabilitation exercise range of motion manager 141. You can.

S210 단계에서, 재활 운동 컨텐츠 관리자(122)는 재활 운동 컨텐츠를 자세추정 관절 포인트 추출 장치(121)에 제공할 수 있다. 이때, 재활 운동 컨텐츠는 사용자가 선택한 재활 운동 컨텐츠일 수 있다.In step S210, the rehabilitation exercise content manager 122 may provide rehabilitation exercise content to the posture estimation joint point extraction device 121. At this time, the rehabilitation exercise content may be rehabilitation exercise content selected by the user.

S220 단계에서, 재활 운동 컨텐츠 관리자(122)는 재활 운동 컨텐츠를 재활 운동 가동 범위 관리자(141)에게 제공할 수 있다. 재활 운동 컨텐츠는 단위 동작들을 포함할 수 있다.In step S220, the rehabilitation exercise content manager 122 may provide rehabilitation exercise content to the rehabilitation exercise range of motion manager 141. Rehabilitation exercise content may include unit movements.

S230 단계에서, 재활 운동 가동 범위 관리자(141)는 재활 운동 참조 모델 관리자(132)에게 재활 운동 컨텐츠에 대응하는 참조 모델 정보를 요청할 수 있다. 재활 운동 참조 모델 관리자(132)는 재활 운동 가동 범위 관리자(141)에게 재활 운동 컨텐츠에 대응하는 참조 모델 정보를 제공할 수 있다.In step S230, the rehabilitation exercise range of motion manager 141 may request reference model information corresponding to rehabilitation exercise content from the rehabilitation exercise reference model manager 132. The rehabilitation exercise reference model manager 132 may provide the rehabilitation exercise range of motion manager 141 with reference model information corresponding to rehabilitation exercise content.

S240 단계에서, 재활 운동 가동 범위 관리자(141)는 재활 운동 단위 동작 관리자(131)에게 참조 모델 정보가 포함하는 단위 동작 정보를 요청할 수 있다. In step S240, the rehabilitation exercise range of motion manager 141 may request unit motion information included in the reference model information from the rehabilitation exercise unit motion manager 131.

S250 단계에서, 자세추정 관절 포인트 추출 장치(121)는 사용자의 재활 운동에 대응하는 비디오 데이터의 관절 포인트들의 움직임을 시간에 따라 추출한 사용자의 관절 분석 정보를 재활 운동 정보 관리자(135)에게 제공할 수 있다.In step S250, the posture estimation joint point extraction device 121 may provide the rehabilitation exercise information manager 135 with the user's joint analysis information that extracts the movement of joint points of the video data corresponding to the user's rehabilitation exercise over time. there is.

S260 단계에서, 자세추정 관절 포인트 추출 장치(121)는 사용자의 관절 분석 정보를 재활 운동 가동 범위 관리자(141)에게 제공할 수 있다.In step S260, the posture estimation joint point extraction device 121 may provide the user's joint analysis information to the rehabilitation exercise range of motion manager 141.

재활 운동 가동 범위 관리자(141)는 재활 운동 컨텐츠, 참조 모델 정보, 단위 동작 정보 및 사용자의 관절 분석 정보에 기초하여 사용자의 재활 운동 가동 범위 정보를 생성할 수 있다. The rehabilitation exercise range of motion manager 141 may generate the user's rehabilitation exercise range of motion information based on rehabilitation exercise content, reference model information, unit motion information, and user's joint analysis information.

도 11은 본 개시의 일부 실시 예에 따른 재활 운동 수행 카운트 장치의 동작하는 방법을 설명하는 순서도이다. 도 11을 참조하면, 재활 운동 수행 카운트 장치의 동작하는 방법이 설명된다. 도 11의 재활 운동 수행 카운트 장치는 도 2의 재활 운동 수행 카운트 장치(144)에 대응될 수 있다.FIG. 11 is a flowchart illustrating a method of operating a rehabilitation exercise performance count device according to some embodiments of the present disclosure. Referring to Figure 11, a method of operating the rehabilitation exercise performance count device is described. The rehabilitation exercise performance count device of FIG. 11 may correspond to the rehabilitation exercise performance count device 144 of FIG. 2 .

사용자는 인터페이스 장치를 통해 재활 운동 영상 컨텐츠, 재활 운동 수행 반복 횟수, 및 재활 운동 수행 세트 수를 선택할 수 있다. 사용자의 선택에 따라, 재활 운동 컨텐츠 관리자는 재활 운동 수행 카운트 장치에 재활 운동 카운트 개시 신호를 제공할 수 있다. The user can select rehabilitation exercise image content, the number of repetitions of rehabilitation exercise, and the number of sets of rehabilitation exercise through the interface device. Depending on the user's selection, the rehabilitation exercise content manager may provide a rehabilitation exercise count start signal to the rehabilitation exercise performance count device.

S310 단계에서, 재활 운동 수행 카운트 장치는 재활 운동 카운트를 개시할 수 있다.In step S310, the rehabilitation exercise performance count device may start counting the rehabilitation exercise.

S320 단계에서, 재활 운동 수행 카운트 장치는 카운트 상태를 판별할 수 있다. 카운트 상태는 엔드 상태, 시작 상태, 순행 상태, 역행 상태, 및 완료 상태 중 하나를 가리킬 수 있다.In step S320, the rehabilitation exercise performance count device may determine the count state. The count state may refer to one of an end state, a start state, a forward state, a retrograde state, and a completion state.

엔드 상태는 사용자가 단위 동작을 종료한 것을 가리킬 수 있다. 시작 상태는 사용자가 단위 동작 수행을 시작한 것을 가리킬 수 있다. 순행 상태는 사용자의 단위 동작이 가동 범위의 최대 지점을 향하는 방향으로 진행되는 것을 가리킬 수 있고, 순방향 진행 상태로도 지칭될 수 있다. 역행 상태는 사용자의 단위 동작이 가동 범위의 최대 지점을 향하는 방향의 반대 방향으로 진행되는 상태를 가리킬 수 있고, 역방향 진행 상태로도 지칭될 수 있다. 완료 상태는 사용자가 단위 동작을 완료한 것을 가리킬 수 있다.The end state may indicate that the user has completed a unit operation. The start state may indicate that the user has started performing a unit operation. The forward state may indicate that the user's unit movement progresses in a direction toward the maximum point of the range of motion, and may also be referred to as a forward progress state. The retrograde state may refer to a state in which the user's unit movement progresses in the opposite direction to the direction toward the maximum point of the range of motion, and may also be referred to as a reverse progress state. The completion status may indicate that the user has completed a unit operation.

S330 단계는, 재활 운동 수행 카운트 장치가 카운트 상태를 엔드 상태로 판별한 것에 기초하여, 동작 카운트 값을 단위 크기만큼 증가시키고 카운트 상태를 시작 상태로 변경할 수 있다.In step S330, based on the rehabilitation exercise performance count device determining the count state as the end state, the operation count value may be increased by a unit size and the count state may be changed to the start state.

도 12는 본 개시의 일부 실시 예에 따른 재활 운동 수행 카운트 장치가 시작 상태에서 동작하는 방법을 설명하는 순서도이다. 도 12를 참조하면, 재활 운동 수행 카운트 장치가 시작 상태에서 동작하는 방법이 설명된다. 도 12의 재활 운동 수행 카운트 장치는 도 2의 재활 운동 수행 카운트 장치(144)에 대응될 수 있다.FIG. 12 is a flowchart illustrating how a rehabilitation exercise performance counting device operates in a starting state according to some embodiments of the present disclosure. Referring to Figure 12, how the rehabilitation exercise performance count device operates in the starting state is described. The rehabilitation exercise performance count device of FIG. 12 may correspond to the rehabilitation exercise performance count device 144 of FIG. 2 .

S410 단계에서, 재활 운동 수행 카운트 장치는 사용자의 이전 가동 범위 값이 현재 가동 범위 값보다 작은지 여부를 결정할 수 있다. 가동 범위 값은 사용자의 재활 운동 가동 범위 정보에서, 가동 범위의 최소 지점을 최소 가동 범위 값으로, 가동 범위의 최대 지점을 최대 가동 범위 값으로 할 때, 최대 가동 범위 값과 최소 가동 범위 사이의 값일 수 있다. 현재 가동 범위 값은, 사용자의 단위 동작을 분석하는 시점의 가동 범위 값을 가리킬 수 있다. 이전 가동 범위 값은 사용자의 단위 동작을 분석하는 시점의 바로 직전 시점의 가동 범위 값을 가리킬 수 있다.In step S410, the rehabilitation exercise performance count device may determine whether the user's previous range of motion value is smaller than the current range of motion value. The range of motion value is a value between the maximum range of motion value and the minimum range of motion when the minimum point of the range of motion is set as the minimum range of motion value and the maximum point of the range of motion is set as the maximum range of motion value in the user's range of motion information for rehabilitation exercise. You can. The current range of motion value may refer to the range of motion value at the time of analyzing the user's unit motion. The previous range of motion value may refer to the range of motion value immediately before the point at which the user's unit motion is analyzed.

사용자의 이전 가동 범위 값이 현재 가동 범위 값보다 큰 것으로 결정되면, 재활 운동 수행 카운트 장치의 시작 상태에서의 동작은 종료된다. 사용자의 이전 가동 범위 값이 현재 가동 범위 값보다 작은 것으로 결정되면, 재활 운동 카운트 장치는 S420 단계를 수행할 수 있다.If the user's previous range of motion value is determined to be greater than the current range of motion value, the operation in the starting state of the rehabilitation exercise performance count device is terminated. If the user's previous range of motion value is determined to be smaller than the current range of motion value, the rehabilitation exercise count device may perform step S420.

S420 단계에서, 재활 운동 수행 카운트 장치는 카운트 상태를 순행 상태로 변경할 수 있다.In step S420, the rehabilitation exercise performance count device may change the count state to the forward state.

도 13은 본 개시의 일부 실시 예에 따른 재활 운동 수행 카운트 장치가 순행 상태에서 동작하는 방법을 설명하는 순서도이다. 도 13을 참조하면, 재활 운동 수행 카운트 장치가 순행 상태에서 동작하는 방법이 설명될 수 있다, 도 13의 재활 운동 수행 카운트 장치는 도 2의 재활 운동 수행 카운트 장치(144)에 대응될 수 있다.FIG. 13 is a flowchart illustrating how the rehabilitation exercise performance count device operates in a traveling state according to some embodiments of the present disclosure. Referring to FIG. 13 , a method of operating a rehabilitation exercise performance counting device in a cruise state can be described. The rehabilitation exercise performance counting device of FIG. 13 may correspond to the rehabilitation exercise performance count device 144 of FIG. 2 .

S510 단계에서, 재활 운동 수행 카운트 장치는 사용자가 역방향으로 운동하고 있고 현재 가동범위 값은 최대 가동 범위 값의 10% 범위 내인지 결정할 수 있다. 사용자가 역방향으로 운동하고 있고 현재 가동범위 값은 최대 가동 범위 값의 10% 범위 내인 것으로 결정되면, 재활 운동 수행 카운트 장치는 S520 단계를 수행할 수 있다. 사용자가 역방향으로 운동하고 있지 않거나 또는 현재 가동범위 값은 최대 가동 범위 값의 10% 범위 내가 아니라고 결정되면, 재활 운동 수행 카운트 장치는 S530 단계를 수행할 수 있다.In step S510, the rehabilitation exercise performance count device may determine whether the user is exercising in the reverse direction and the current range of motion value is within 10% of the maximum range of motion value. If the user is exercising in the reverse direction and the current range of motion value is determined to be within 10% of the maximum range of motion value, the rehabilitation exercise performance count device may perform step S520. If it is determined that the user is not exercising in the reverse direction or that the current range of motion value is not within 10% of the maximum range of motion value, the rehabilitation exercise performance count device may perform step S530.

S520 단계에서, 재활 운동 수행 카운트 장치는 카운트 상태를 역행 상태로 변경할 수 있다.In step S520, the rehabilitation exercise performance count device may change the count state to the retrograde state.

S530 단계에서, 재활 운동 수행 카운트 장치는 사용자가 역방향으로 운동하고 있고 현재 가동 범위 값은 최소 가동 범위 값의 30% 범위 내인지 여부를 결정할 수 있다. In step S530, the rehabilitation exercise performance count device may determine whether the user is exercising in the reverse direction and the current range of motion value is within 30% of the minimum range of motion value.

사용자가 역방향으로 운동하고 있고 현재 가동 범위 값은 최소 가동 범위 값의 30% 범위 내인 것으로 결정되면, 재활 운동 수행 카운트 장치는 S540 단계를 수행할 수 있다. 사용자가 역방향으로 운동하고 있지 않거나 또는 현재 가동 범위 값은 최소 가동 범위 값의 30% 범위 내가 아닌 것으로 결정되면, 재활 운동 수행 카운트 장치는 순행 상태 동작을 종료한다.If the user is exercising in the reverse direction and the current range of motion value is determined to be within 30% of the minimum range of motion value, the rehabilitation exercise performance count device may perform step S540. If it is determined that the user is not exercising in the reverse direction or that the current range of motion value is not within 30% of the minimum range of motion value, the rehabilitation exercise performance count device ends the forward state operation.

S540 단계에서, 재활 운동 수행 카운트 장치는 카운트 상태를 엔드 상태로 변경할 수 있다.In step S540, the rehabilitation exercise performance count device may change the count state to the end state.

도 14는 본 개시의 일부 실시 예에 따른 재활 운동 수행 카운트 장치가 역행 상태에서 동작하는 방법을 설명하는 순서도이다. 도 14를 참조하면, 재활 운동 수행 카운트 장치가 역행 상태에서 동작하는 방법이 설명된다. 도 14의 재활 운동 수행 카운트 장치는 도 2의 재활 운동 수행 카운트 장치(144)에 대응될 수 있다.FIG. 14 is a flowchart illustrating a method in which a rehabilitation exercise performance counting device operates in a retrograde state according to some embodiments of the present disclosure. Referring to Figure 14, how the rehabilitation exercise performance count device operates in the retrograde state is explained. The rehabilitation exercise performance count device of FIG. 14 may correspond to the rehabilitation exercise performance count device 144 of FIG. 2 .

S610 단계에서, 재활 운동 수행 카운트 장치는 사용자가 역방향으로 운동하고 있고 가동 범위 값은 최소 가동 범위 값의 10% 범위 이내인지 여부를 결정할 수 있다. In step S610, the rehabilitation exercise performance count device may determine whether the user is exercising in the reverse direction and the range of motion value is within 10% of the minimum range of motion value.

사용자가 역방향으로 운동하고 있고 가동 범위 값은 최소 가동 범위 값의 10% 범위 이내인 것으로 결정되면, 재활 운동 수행 카운트 장치는 S620 단계를 수행할 수 있다. 사용자가 역방향으로 운동하고 있지 않거나 또는 가동 범위 값은 최소 가동 범위 값의 10% 범위 이내가 아닌 것으로 결정되면, 재활 운동 수행 카운트 장치는 S630 단계를 수행할 수 있다.If it is determined that the user is exercising in the reverse direction and the range of motion value is within 10% of the minimum range of motion value, the rehabilitation exercise performance count device may perform step S620. If it is determined that the user is not exercising in the reverse direction or that the range of motion value is not within 10% of the minimum range of motion value, the rehabilitation exercise performance count device may perform step S630.

S620 단계에서, 재활 운동 수행 카운트 장치는 카운트 상태를 완료 상태로 변경할 수 있다.In step S620, the rehabilitation exercise performance count device may change the count state to the completed state.

S630 단계에서, 재활 운동 수행 카운트 장치는 사용자가 순방향으로 운동하고 있고 현재 가동 범위 값은 최대 가동 범위 값의 30% 범위 이내인지 여부를 결정할 수 있다.In step S630, the rehabilitation exercise performance count device may determine whether the user is exercising in the forward direction and the current range of motion value is within 30% of the maximum range of motion value.

사용자가 순방향으로 운동하고 있고 현재 가동 범위 값은 최대 가동 범위 값의 30% 범위 이내인 것으로 결정되면, 재활 운동 수행 카운트 장치는 S640 단계를 수행할 수 있다. 사용자가 순방향으로 운동하고 있지 않거나 또는 현재 가동 범위 값은 최대 가동 범위 값의 30% 범위 이내가 아닌 것으로 결정되면, 재활 운동 수행 카운트 장치는 역행 상태 동작을 종료할 수 있다.If it is determined that the user is exercising in the forward direction and the current range of motion value is within 30% of the maximum range of motion value, the rehabilitation exercise performance count device may perform step S640. If it is determined that the user is not exercising in the forward direction or that the current range of motion value is not within 30% of the maximum range of motion value, the rehabilitation exercise performance count device may end the retrograde state motion.

도 15는 본 개시의 일부 실시 예에 따른 재활 운동 수행 카운트 장치가 완료 상태에서 동작하는 방법을 설명하는 순서도이다. 도 15를 참조하면, 재활 운동 수행 카운트 장치가 완료 상태에서 동작하는 방법이 설명된다. 도 15의 재활 운동 수행 카운트 장치는 도 2의 재활 운동 수행 카운트 장치(144)에 대응될 수 있다.FIG. 15 is a flowchart illustrating how a rehabilitation exercise performance counting device operates in a completed state according to some embodiments of the present disclosure. Referring to FIG. 15, a method of operating a rehabilitation exercise performance count device in a completed state is described. The rehabilitation exercise performance count device of FIG. 15 may correspond to the rehabilitation exercise performance count device 144 of FIG. 2 .

S710 단계에서, 재활 운동 수행 카운트 장치는 유효 카운트 값을 단위 크기만큼 증가시킬 수 있다. 유효 카운트 값은 사용자가 수행한 단위 동작의 가동 범위 값이 최대 가동 범위 값의 10% 이내 값에 도달한 후, 최소 가동 범위 값의 10% 이내 값에 도달한 단위 동작의 횟수를 가리킬 수 있다. 다시 말해서, 적절한 방향으로 적정 가동 범위 내에서 단위 동작 수행이 완료된 횟수를 가리킬 수 있다. In step S710, the rehabilitation exercise performance count device may increase the effective count value by a unit size. The effective count value may indicate the number of unit operations in which the range of motion value of the unit operation performed by the user reaches a value within 10% of the maximum range of motion, and then reaches a value within 10% of the minimum range of motion. In other words, it can indicate the number of times a unit operation has been completed in an appropriate direction and within an appropriate range of motion.

S720 단계에서, 재활 운동 수행 카운트 장치는 사용자의 단위 동작 정확도가 70% 보다 큰지 여부를 결정할 수 있다. In step S720, the rehabilitation exercise performance count device may determine whether the user's unit movement accuracy is greater than 70%.

재활 운동 수행 카운트 장치는 사용자의 단위 동작 정확도가 70% 보다 큰 것으로 결정되면, 재활 운동 수행 카운트 장치는 S730 단계를 수행할 수 있다. 재활 운동 수행 카운트 장치는 사용자의 단위 동작 정확도가 70% 보다 크지 않는 것으로 결정되면, 재활 운동 수행 카운트 장치는 S740 단계를 수행할 수 있다.If the rehabilitation exercise performance counting device determines that the user's unit motion accuracy is greater than 70%, the rehabilitation exercise performance counting device may perform step S730. If the rehabilitation exercise performance counting device determines that the user's unit motion accuracy is not greater than 70%, the rehabilitation exercise performance counting device may perform step S740.

S730 단계에서, 재활 운동 동작 카운트 장치는 정말 카운트 값을 단위 크기만큼 증가 시킬 수 있다. 정밀 카운트 장치는 유효 카운트 중에서 사용자의 동작의 정확도가 70% 보다 큰 횟수를 가리킬 수 있다.In step S730, the rehabilitation exercise movement counting device may actually increase the count value by a unit size. The precision count device may indicate the number of times the accuracy of the user's motion is greater than 70% among the valid counts.

S740 단계에서, 재활 운동 동작 카운트 장치는 기준 카운트 값이 동작 카운트 값과 동일한지 여부를 결정할 수 있다. 기준 카운트 값은 사용자가 결정한 재활 운동 수행 반복 횟수를 가리킬 수 있다.In step S740, the rehabilitation exercise motion count device may determine whether the reference count value is equal to the motion count value. The reference count value may indicate the number of repetitions of rehabilitation exercise determined by the user.

기준 카운트 값이 동작 카운트 값과 동일한 것으로 결정되면, 재활 운동 동작 카운트 장치는 S750 단계를 수행할 수 있다. 기준 카운트 값이 동작 카운트 값과 동일하지 않은 것으로 결정되면, 재활 운동 동작 카운트 장치는 완료 상태 동작을 종료할 수 있다.If the reference count value is determined to be equal to the motion count value, the rehabilitation exercise motion count device may perform step S750. If it is determined that the reference count value is not equal to the action count value, the rehabilitation exercise action count device may terminate the completion state action.

S750 단계에서, 재활 운동 수행 카운트 장치는 재활 운동 속도가 70% 보다 빠른지 여부를 결정할 수 있다. 재활 운동 속도는 사용자의 최대 재활 운동 속도에 대한 백분율 값일 수 있다.In step S750, the rehabilitation exercise performance count device may determine whether the rehabilitation exercise speed is faster than 70%. The rehabilitation exercise speed may be a percentage value of the user's maximum rehabilitation exercise speed.

재활 운동 속도가 70% 보다 빠른 것으로 결정되면, 재활 운동 수행 카운트 장치는 S760 단계를 수행할 수 있다. 재활 운동 속도가 70% 보다 빠른 것으로 결정되면, 재활 운동 수행 카운트 장치는 완료 상태 동작을 종료할 수 있다.If the rehabilitation exercise speed is determined to be faster than 70%, the rehabilitation exercise performance count device may perform step S760. If the rehabilitation exercise speed is determined to be faster than 70%, the rehabilitation exercise performance count device may end the completion state operation.

도 16는 본 개시의 일부 실시 예들에 따른 재활 운동 분석 장치를 설명하는 도면이다. 도 16을 참조하면, 재활 운동 분석 장치(200)는 사용자의 재활 운동을 아바타를 통해 재현할 수 있다.FIG. 16 is a diagram illustrating a rehabilitation exercise analysis device according to some embodiments of the present disclosure. Referring to FIG. 16, the rehabilitation exercise analysis device 200 can reproduce the user's rehabilitation exercise through an avatar.

재활 운동 분석 장치(200)는 사용자의 재활 운동을 분석하고 사용자에게 가이드 영상을 시작적으로 제공할 수 있다. 사용자는 재활 운동을 수행하는 주체일 수 있다.The rehabilitation exercise analysis device 200 may analyze the user's rehabilitation exercise and initially provide a guide image to the user. The user may be a subject performing rehabilitation exercise.

재활 운동 분석 장치(200)는 인터페이스 장치(210), 아바타 재현 장치(220), 재활 운동 가이드 정보 관리자(230), 및 재활 운동 자동 측정 제어 장치(240)를 포함할 수 있다.The rehabilitation exercise analysis device 200 may include an interface device 210, an avatar representation device 220, a rehabilitation exercise guide information manager 230, and a rehabilitation exercise automatic measurement and control device 240.

인터페이스 장치(230)는 사용자에 의해 제어될 수 있다. 예를 들어, 사용자는 재활 운동 컨텐츠를 선택할 수 있다.The interface device 230 may be controlled by a user. For example, a user can select rehabilitation exercise content.

인터페이스 장치(210)는 재활 운동 컨텐츠 및 사용자의 재활 운동에 대응하는 비디오 데이터로부터 관절 포인트들들 추출함으로써 생성된 관절 분석 정보를 수신하고, 이를 재활 운동 가이드 정보 관리자(230)에게 제공할 수 있다. The interface device 210 may receive joint analysis information generated by extracting joint points from rehabilitation exercise content and video data corresponding to the user's rehabilitation exercise, and provide this to the rehabilitation exercise guide information manager 230.

인터페이스 장치(210)는 재활 운동 자동 측정 제어 장치(240)로부터 실제 단위 동작 정보, 사용자 재활 운동의 정확도, 및 재활 운동 수행 카운트 값을 수신하고, 이를 시각적으로 사용자에게 제공할 수 있다.The interface device 210 may receive the actual unit motion information, the accuracy of the user's rehabilitation exercise, and the rehabilitation exercise performance count value from the rehabilitation exercise automatic measurement control device 240 and visually provide the information to the user.

재활 운동 가이드 정보 관리자(230)는 인터페이스 장치(210)로부터 사용자의 관절 분석 정보를 수신할 수 있다. 재활 운동 가이드 정보 관리자(230)는 사용자의 관절 분석 정보를 저장하고, 이를 아바타 재현 장치(220)에 제공할 수 있다. The rehabilitation exercise guide information manager 230 may receive the user's joint analysis information from the interface device 210. The rehabilitation exercise guide information manager 230 may store the user's joint analysis information and provide it to the avatar reproduction device 220.

아바타 재현 장치(220)는 재활 운동 가이드 정보 관리자(230)로부터 사용자의 관절 분석 정보를 수신할 수 있다. 아바타 재현 장치(220)는 사용자의 관절 분석 정보를 기반으로 아바타를 생성할 수 있다. 아바타 재현 장치(220)는 사용자의 재활 운동을 재현하는 아바타 재활 운동 정보를 생성할 수 있다. 아바타 재현 장치(220)는 아바타 재활 운동 정보를 건강 운동 관리사에게 제공할 수 있다.The avatar reproduction device 220 may receive the user's joint analysis information from the rehabilitation exercise guide information manager 230. The avatar reproduction device 220 may generate an avatar based on the user's joint analysis information. The avatar reproduction device 220 may generate avatar rehabilitation exercise information that reproduces the user's rehabilitation exercise. The avatar reproduction device 220 may provide avatar rehabilitation exercise information to a health exercise manager.

건강 운동 관리사는 아바타 재활 운동 정보를 기반으로 사용자의 재활 운동을 평가할 수 있거나 또는 재활 운동 평가를 보조할 수 있고, 재활 운동 자동 측정 제어 장치(240)에게 전문 평가 정보를 제공할 수 있다. 예를 들어, 건강 운동 관리사는 아바타 재활 운동 정보를 참조하여 사용자의 가동 범위를 수동적으로 측정함으로써, 실제 가동 범위 정보를 생성할 수 있다. 또 다른 예로서, 건강 운동 관리사는 재활 운동 자동 측정 제어 장치(240)에 의해 자동적으로 측정된 가동 범위가 부적절한 경우, 재활 운동 자동 측정 제어 장치(240)의 정확성 향상을 위한 보조적인 정보(예를 들어, 조절된 함수 파라미터 등)를 재활 운동 자동 측정 제어 장치(240)에게 제공할 수 있다.The health exercise manager may evaluate the user's rehabilitation exercise or assist in evaluating the rehabilitation exercise based on the avatar rehabilitation exercise information, and may provide professional evaluation information to the rehabilitation exercise automatic measurement control device 240. For example, a health exercise manager may generate actual range of motion information by passively measuring the user's range of motion with reference to the avatar rehabilitation exercise information. As another example, if the range of motion automatically measured by the rehabilitation exercise automatic measurement control device 240 is inadequate, the health exercise manager may provide auxiliary information (e.g., For example, adjusted function parameters, etc.) may be provided to the rehabilitation exercise automatic measurement control device 240.

재활 운동 자동 측정 제어 장치(240)는 사용자의 관절 분석 정보를 기반으로 사용자의 재활 운동의 정확도 및 위험 여부를 평가할 수 있고, 인터페이스 장치(210)에게 정확도 및 위험 정보를 제공할 수 있다. 예를 들어, 재활 운동 자동 측정 제어 장치(240)는 사용자의 관절 분석 정보를 기반으로 사용자의 가동 범위를 자동적으로 측정함으로써, 실제 가동 범위 정보를 생성할 수 있고, 실제 가동 범위 정보를 기반으로 재활 운동을 평가할 수 있다. The rehabilitation exercise automatic measurement and control device 240 may evaluate the accuracy and risk of the user's rehabilitation exercise based on the user's joint analysis information, and may provide the accuracy and risk information to the interface device 210. For example, the rehabilitation exercise automatic measurement control device 240 can generate actual range of motion information by automatically measuring the user's range of motion based on the user's joint analysis information, and can perform rehabilitation based on the actual range of motion information. Exercise can be evaluated.

상술된 내용은 본 발명을 실시하기 위한 구체적인 실시 예들이다. 본 발명은 상술된 실시 예들뿐만 아니라, 단순하게 설계 변경되거나 용이하게 변경할 수 있는 실시 예들 또한 포함할 것이다. 또한, 본 발명은 실시 예들을 이용하여 용이하게 변형하여 실시할 수 있는 기술들도 포함될 것이다. 따라서, 본 발명의 범위는 상술된 실시 예들에 국한되어 정해져서는 안되며 후술하는 특허청구범위뿐만 아니라 이 발명의 특허청구범위와 균등한 것들에 의해 정해져야 할 것이다.The above-described details are specific embodiments for carrying out the present invention. The present invention will include not only the above-described embodiments, but also embodiments that can be simply changed or easily changed in design. In addition, the present invention will also include technologies that can be easily modified and implemented using the embodiments. Therefore, the scope of the present invention should not be limited to the above-described embodiments, but should be determined by the claims and equivalents of the present invention as well as the claims described later.

100: 재활 운동 분석 장치
110: 인터페이스 장치
120: 재활 운동 가이드 실행 제어 장치
130: 재활 운동 가이드 정보 관리자
140: 재활 운동 자동 측정 제어 장치
200: 재활 운동 분석 장치100: Rehabilitation exercise analysis device
110: interface device
120: Rehabilitation exercise guide execution control device
130: Rehabilitation exercise guide information manager
140: Rehabilitation exercise automatic measurement control device
200: Rehabilitation exercise analysis device

Claims

In the method of operating the rehabilitation exercise analysis device:
Obtaining video data by monitoring a user performing rehabilitation exercise including a plurality of unit movements;
generating joint analysis information representing movement of the user's joints in three-dimensional space from the video data;
Based on the joint analysis information, generating actual unit motion information corresponding to a target unit motion among the plurality of unit motions;
generating guide information indicating effectiveness of the target unit operation based on similarity between ideal unit operation information corresponding to the target unit operation and the actual unit operation information; and
A method comprising providing the guide information to the user through an interface device.