KR102525236B1 - Sensor-based cognitive and motor rehabilitation service provision system using metaverse - Google Patents
Sensor-based cognitive and motor rehabilitation service provision system using metaverse Download PDFInfo
- Publication number
- KR102525236B1 KR102525236B1 KR1020220172843A KR20220172843A KR102525236B1 KR 102525236 B1 KR102525236 B1 KR 102525236B1 KR 1020220172843 A KR1020220172843 A KR 1020220172843A KR 20220172843 A KR20220172843 A KR 20220172843A KR 102525236 B1 KR102525236 B1 KR 102525236B1
- Authority
- KR
- South Korea
- Prior art keywords
- rehabilitation
- cognitive
- client
- metaverse
- unit
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
- G16H20/30—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to physical therapies or activities, e.g. physiotherapy, acupressure or exercising
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/003—Navigation within 3D models or images
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B2220/00—Measuring of physical parameters relating to sporting activity
- A63B2220/40—Acceleration
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B2220/00—Measuring of physical parameters relating to sporting activity
- A63B2220/50—Force related parameters
- A63B2220/56—Pressure
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B2220/00—Measuring of physical parameters relating to sporting activity
- A63B2220/80—Special sensors, transducers or devices therefor
- A63B2220/83—Special sensors, transducers or devices therefor characterised by the position of the sensor
- A63B2220/836—Sensors arranged on the body of the user
Abstract
본 발명은 메타버스를 이용한 센서 기반의 인지 및 운동 재활 서비스 제공 시스템에 관한 것이다.
구체적으로는, 사용자(내담자)의 신체적 환경 상태를 고려한 운동재활, 인지재황, 인지-운동 통합 재활, 심리 재활 서비스를 제공할 수 있되, 센서를 통한 사용자 보행자세, 동작 상태 정보를 기반으로 운동재활, 인지재활, 인지-운동 통합 재활, 심리재활 맞춤형 디지털 콘텐츠 서비스 제공하고, 나아가, 메타버스 기술을 활용하여 상담자는 사용자(내담자)에게 맞춤형 운동재활, 인지재활, 인지-운동 통합 재활 코칭 및 상담 서비스 제공할 수 있는, 메타버스를 이용한 센서 기반의 인지 및 운동 재활 서비스 제공 시스템에 관한 것이다.The present invention relates to a sensor-based cognitive and motor rehabilitation service providing system using a metaverse.
Specifically, it is possible to provide exercise rehabilitation, cognitive status, integrated cognitive-motor rehabilitation, and psychological rehabilitation services considering the physical environment of the user (client). , Cognitive rehabilitation, cognitive-motor integrated rehabilitation, psychological rehabilitation customized digital content services are provided, and furthermore, using metaverse technology, counselors provide customized motor rehabilitation, cognitive rehabilitation, cognitive-motor integrated rehabilitation coaching and counseling services to users (clients). It relates to a sensor-based cognitive and motor rehabilitation service providing system using a metaverse that can be provided.
Description
본 발명은 메타버스를 이용한 센서 기반의 인지 및 운동 재활 서비스 제공 시스템에 관한 것이다.The present invention relates to a sensor-based cognitive and motor rehabilitation service providing system using a metaverse.
구체적으로는, 사용자(내담자)의 신체적 환경 상태를 고려한 운동재활, 인지재황, 인지-운동 통합 재활, 심리 재활 서비스를 제공할 수 있되, 센서를 통한 사용자 보행자세, 동작 상태 정보를 기반으로 운동재활, 인지재활, 인지-운동 통합 재활, 심리재활 맞춤형 디지털 콘텐츠 서비스 제공하고, 나아가, 메타버스 기술을 활용하여 상담자는 사용자(내담자)에게 맞춤형 운동재활, 인지재활, 인지-운동 통합 재활 코칭 및 상담 서비스 제공할 수 있는, 메타버스를 이용한 센서 기반의 인지 및 운동 재활 서비스 제공 시스템에 관한 것이다.Specifically, it is possible to provide exercise rehabilitation, cognitive status, integrated cognitive-motor rehabilitation, and psychological rehabilitation services considering the physical environment of the user (client). , Cognitive rehabilitation, cognitive-motor integrated rehabilitation, psychological rehabilitation customized digital content services are provided, and furthermore, using metaverse technology, counselors provide customized motor rehabilitation, cognitive rehabilitation, cognitive-motor integrated rehabilitation coaching and counseling services to users (clients). It relates to a sensor-based cognitive and motor rehabilitation service providing system using a metaverse that can be provided.
일반적으로 재활치료나 체력단련을 위해서는 치료나 단련을 위한 신체의 각부위별로 운동을 수행할 필요가 있으며, 이러한 운동으로는 다양한 종류의 운동이 개발되어 사용되고 있다.In general, for rehabilitation treatment or physical training, it is necessary to perform exercises for each part of the body for treatment or training, and various types of exercises have been developed and used as such exercises.
재활치료 운동에는, 양팔로 중량(웨이트)을 들어올리는 상체 근력운동, 양팔의 가로방향 유연성을 높이는 양팔가로방향 운동, 양팔의 회전 유연성을 높이기 위한 양팔회전 운동, 하체의 단련을 위한 싸이클링이나 스텝핑(steppoing), 하체의 유연성을 높이기 위한 걷기나 러닝 외에도 다양한 운동이 개발 및 사용되고 있으며, 체력단련을 위한 운동의 종류도 다양한 방식의 운동이 개발되어 사용되고 있으며, 이러한 재활치료나 체력단련운동은 주로 각 부위별 운동장치가 1개 이상 설치된 운동기구를 사용하는 것에 의해 수행된다.Rehabilitation exercise includes upper body strength exercise to lift weights with both arms, transverse motion for both arms to increase flexibility in the lateral direction of both arms, rotation exercise for both arms to increase rotational flexibility of both arms, and cycling or stepping to train the lower body ( In addition to steppoing) and walking or running to increase the flexibility of the lower body, various exercises have been developed and used, and various types of exercises for physical fitness have been developed and used. It is performed by using exercise equipment with one or more separate exercise devices installed.
이러한 재활훈련은, 상술된 바와 같이 여러 목적으로 수행됨에도 불구하고, 전문가가 옆에 상주하지 않으면 실질적으로 수행하기 어려운 문제점이 존재한다.Although such rehabilitation training is performed for various purposes as described above, there is a problem in that it is practically difficult to perform unless an expert resides next to.
한편, 근래 코로나-19 등 감염병이 유행함에 따라, 대면방식의 재활훈련을 기피하기도 한다.On the other hand, with the recent epidemic of infectious diseases such as COVID-19, face-to-face rehabilitation training is sometimes avoided.
다른 한편, 현실세계와 같은 사회·경제·문화 활동이 이뤄지는 3차원 가상세계를 일컫는 의미(네이버 시사상식사전 참조)인 메타버스가 유행하고 있다.On the other hand, the metaverse, which refers to a three-dimensional virtual world in which social, economic, and cultural activities are performed like the real world (refer to Naver's Common Sense Dictionary), is in vogue.
이는 1992년 미국 SF 작가 닐 스티븐슨의 소설 《스노 크래시》에 처음 등장한 개념이다. 메타버스는 5G 상용화에 따른 정보통신기술 발달과 코로나-19 팬더민에 따른 비대면 추세 가속화로 점차 주목받고 있다.This concept first appeared in the 1992 novel Snow Crash by American science fiction writer Neil Stephenson. Metabus is gradually attracting attention due to the development of information and communication technology following the commercialization of 5G and the acceleration of the non-face-to-face trend following the COVID-19 pandemic.
본 출원인은 이러한 메타버스 환경을 이용하여, 재활훈련을 수행할 수 있는 시스템을 구축하고자 한다.The present applicant intends to build a system capable of performing rehabilitation training using this metaverse environment.
관련하여, 공개특허공보 제10-2022-0044364호에는 신경학적 재활을 위한 시스템 및 방법이 기재되어 있다.In this regard, a system and method for neurological rehabilitation are disclosed in Laid-Open Patent Publication No. 10-2022-0044364.
상기 기술은, 음악 치료를 제공하는 것에 의한 신체 장애가 있는 환자를 위한 재활을 위한 방법 및 시스템에 있어서, 방법은, 실행될 때 방법을 수행하는, 기계 판독가능한 명령에 의해 구성되는 하나 이상의 물리적 프로세서를 갖는 컴퓨터 시스템 상에서 구현되며, 방법은 환자의 반복 운동에 관한 생체역학적 데이터를 환자로부터 수신하고 기준 조건을 결정하는 것; 기준 조건에 기초하여 일정 주파수를 갖는 기준 비트 템포를 결정하는 것; 환자에게 기준 비트 템포에서 비트 신호를 갖는 음악을 제공하는 것; 연관된 기준 비트 신호와 시간을 맞추어 각각의 반복 운동을 수행하도록 환자에게 큐를 제공하는 것; 기준 비트 신호와 시간을 맞추어 환자에 의해 수행되는 반복 운동에 관한 환자의 타임스탬프된 생체역학적 데이터를 수신하는 것; 반복 운동의 하나 이상의 사이클의 개시 시간을 식별하기 위해 타임스탬프된 생체역학적 데이터를 분석하는 것; 개시 시간 및 연관된 비트 신호에 기초하여 동조 파라미터를 결정하는 것; 동조 파라미터에 기초하여 기준 비트 템포를 수정하는 것; 및 목표 비트 템포에 도달했는지 여부를 결정하는 것을 포함한다.The technology relates to a method and system for rehabilitation for a patient with a physical disability by providing music therapy, the method having one or more physical processors configured by machine readable instructions that, when executed, perform the method. Implemented on a computer system, the method includes receiving biomechanical data from a patient regarding repetitive movements of the patient and determining a baseline condition; determining a reference beat tempo having a constant frequency based on a reference condition; providing the patient with music with a beat signal at a reference beat tempo; cueing the patient to perform each repetition in time with an associated reference beat signal; receiving time-stamped biomechanical data of the patient relating to repetitive movements performed by the patient in time with the reference beat signal; analyzing the timestamped biomechanical data to identify an onset time of one or more cycles of repetitive motion; determining a tuning parameter based on the start time and the associated beat signal; modifying the reference beat tempo based on the tuning parameter; and determining whether a target beat tempo has been reached.
또한, 등록특허공보 제10-2289804호에는 3D센서를 이용한 재활운동 분석시스템이 기재되어 있다.In addition, Patent Registration No. 10-2289804 discloses a rehabilitation exercise analysis system using a 3D sensor.
상기 기술은, 재활운동의 단계별 진행과정을 3D센서로 측정하여 척추측만증, 사지기형 및 비만정도의 진행정도를 측정하고, 체형에 맞는 운동을 지속적으로 처방함으로써, 운동기구를 통한 재활운동으로 체형에 변화를 주고 지속적인 3D측정으로 정확한 진단 및 체형의 교정이 이뤄지도록 한 3D센서를 이용한 재활운동 분석시스템에 관한 것이다.The technology measures the step-by-step progress of rehabilitation exercise with a 3D sensor, measures the progress of scoliosis, limb deformity, and obesity, and continuously prescribes exercises suitable for the body type, thereby improving the body shape through rehabilitation exercise through exercise equipment. It is about a rehabilitation exercise analysis system using a 3D sensor that allows accurate diagnosis and correction of body shape through constant 3D measurement.
본 발명의 목적은, 사용자(내담자)의 신체적 환경 상태를 고려한 운동재활, 인지재황, 인지-운동 통합 재활, 심리 재활 서비스를 제공할 수 있되, 센서를 통한 사용자 보행자세, 동작 상태 정보를 기반으로 운동재활, 인지재활, 인지-운동 통합 재활, 심리재활 맞춤형 디지털 콘텐츠 서비스 제공하고, 나아가, 메타버스 기술을 활용하여 상담자는 사용자(내담자)에게 맞춤형 운동재활, 인지재활, 인지-운동 통합 재활 코칭 및 상담 서비스 제공할 수 있는, 메타버스를 이용한 센서 기반의 인지 및 운동 재활 서비스 제공 시스템을 제공하는데 있다.An object of the present invention is to provide motor rehabilitation, cognitive status, cognitive-movement integrated rehabilitation, and psychological rehabilitation services in consideration of the user's (client's) physical environmental state, based on the user's gait and motion state information through sensors. We provide exercise rehabilitation, cognitive rehabilitation, cognitive-motor integrated rehabilitation, and psychological rehabilitation customized digital content services, and furthermore, by using metaverse technology, the counselor provides customized exercise rehabilitation, cognitive rehabilitation, cognitive-motor integrated rehabilitation coaching and It is to provide a sensor-based cognitive and motor rehabilitation service providing system using metaverse that can provide counseling service.
상술된 목적을 달성하기 위하여 안출된 것으로 본 발명에 따른 메타버스를 이용한 센서 기반의 인지 및 운동 재활 서비스 제공 시스템은, 인솔센서 및 카메라 센서로 이루어진 센서집단; 상기 센서집단으로부터 센서값을 수신하는 상담자단말; 상기 제어플랫폼에 의해 상담자단말과 연결접속되도록 하는 내담자단말; 통신망을 통해 상담자단말 및 내담자단말로 메타버스 공간을 제공하는 메타버스 서버와; 통신망을 통해 상담자단말 및 내담자단말이 재활 서비스 제공용 인터페이스를 수행할 수 있도록 하는 제어플랫폼;을 포함하여 구성된 것을 특징으로 한다.The sensor-based cognitive and motor rehabilitation service providing system using the metaverse according to the present invention, which was devised to achieve the above object, includes a sensor group consisting of an insole sensor and a camera sensor; A counselor terminal that receives sensor values from the sensor group; a client terminal connected to the counselor terminal by the control platform; A metaverse server that provides a metaverse space to counselor terminals and client terminals through a communication network; It is characterized in that it is configured to include; a control platform that allows the counselor terminal and the client terminal to perform an interface for providing rehabilitation services through a communication network.
이때, 상기 제어플랫폼은,At this time, the control platform,
메타공간에서 사용되는 사용자(내담자) 및 상담자의 아바타를 생성하고 관리 및 삭제의 기능을 수행하는 아바타 관리부와; 상담자단말 또는 내담자단말에서 제어플랫폼에 접속하고 메타공간을 이용할 수 있으며, 상담 및 콘텐츠의 제공이 가능하도록 하는 사용자 인터페이스와; 메타버스 서버에 연계하여 메타버스 공간을 생성하는 메타버스 공간 생성부와; 센서집단으로부터 센서값을 수신하여 수집하여 센싱 데이터 수집부와; 상기 센싱 데이터 수집부로부터 수신된 센서값을 분석하여 내담자의 운동상태, 인지상태, 심리상태를 분석하는 센싱 데이터 분석부와; 상기 센싱 데이터 분석부의 분석결과와 재활결과에 기반하여 내담자의 상태정보를 저장하고 관리하는 내담자 상태정보 관리부와; 상기 메타버스 공간 생성부에 의해 생성된 메타버스 공간의 관리를 수행하는 메타버스 관리부와; 상기 내담자 상태정보 관리에 의해 저장된 내담자의 상태정보를 내담자별로 구분하여 통합저장하는 내담자별 상태정보 데이터베이스;를 포함하는 것을 특징으로 한다.an avatar management unit that creates, manages, and deletes avatars of users (clients) and counselors used in the metaspace; a user interface that enables a counselor terminal or client terminal to access a control platform, use a metaspace, and provide counseling and content; A metaverse space generating unit that creates a metaverse space in conjunction with a metaverse server; a sensing data collection unit that receives and collects sensor values from the sensor group; a sensing data analyzer for analyzing the sensor values received from the sensing data collection unit to analyze the client's motor state, cognitive state, and psychological state; a client state information management unit that stores and manages state information of the client based on the analysis result of the sensing data analysis unit and the rehabilitation result; a metaverse management unit that manages the metaverse space created by the metaverse space creation unit; and a state information database for each client that classifies the state information of the client stored by the management of the client state information and stores the state information for each client in an integrated manner.
또한, 상기 제어플랫폼은,In addition, the control platform,
상기 센싱 데이터 분석부의 분석결과와 내담자 상태정보에 기반하여, 내담자에게 인지재활이 필요하다고 판단되는 경우, 인지재활을 결정하는 인지 재활 결정부와;a cognitive rehabilitation decision unit for determining cognitive rehabilitation if it is determined that the client needs cognitive rehabilitation based on the analysis result of the sensing data analysis unit and the client state information;
상기 인지 재활 결정부에 의해 인지재활이 필요하다고 결정된 경우, 콘텐츠를 제공하고, 제공될 콘텐츠를 저장해두는 인지 재활 콘텐츠부;를 포함하는 것을 특징으로 한다.When it is determined by the cognitive rehabilitation determination unit that cognitive rehabilitation is necessary, a cognitive rehabilitation content unit providing content and storing the content to be provided; characterized in that it includes.
또한, 상기 제어플랫폼은,In addition, the control platform,
상기 센싱 데이터 분석부의 분석결과와 내담자 상태정보에 기반하여, 내담자에게 운동재활이 필요하다고 판단되는 경우, 운동재활을 결정하는 운동 재활 결정부와;an exercise rehabilitation determination unit which determines exercise rehabilitation if it is determined that the client needs exercise rehabilitation based on the analysis result of the sensing data analysis unit and the client state information;
상기 운동 재활 결정부에 의해 운동재활이 필요하다고 결정된 경우, 콘텐츠를 제공하고, 제공될 콘텐츠를 저장해두는 운동 재활 콘텐츠부;를 포함하는 것을 특징으로 한다.When it is determined that exercise rehabilitation is necessary by the motor rehabilitation determining unit, an athletic rehabilitation content unit providing content and storing the content to be provided; characterized in that it comprises a.
또한, 상기 제어플랫폼은,In addition, the control platform,
상기 센싱 데이터 분석부의 분석결과와 내담자 상태정보에 기반하여, 내담자에게 인지재활과 운동재활의 복합적인 재활이 필요하다고 판단되는 경우, 인지재활과 운동재활의 복합적인 재활을 결정하는 인지-운동 재활 결정부와;Based on the analysis result of the sensing data analysis unit and the client's condition information, if it is determined that the client needs complex rehabilitation of cognitive and motor rehabilitation, cognitive-motor rehabilitation is determined to determine the complex rehabilitation of cognitive and motor rehabilitation. wealth;
상기 인지-운동 재활 결정부에 의해 인지재활과 운동재활의 복합적인 재활이 필요하다고 결정된 경우, 콘텐츠를 제공하고, 제공될 콘텐츠를 저장해두는 인지-운동 재활 콘텐츠부;를 포함하는 것을 특징으로 한다.When it is determined by the cognitive-motor rehabilitation determination unit that complex rehabilitation of cognitive and motor rehabilitation is necessary, a cognitive-motor rehabilitation content unit providing content and storing the content to be provided; characterized in that it includes.
또한, 상기 제어플랫폼은,In addition, the control platform,
상기 센싱 데이터 분석부의 분석결과와 내담자 상태정보에 기반하여, 내담자에게 심리재활이 필요하다고 판단되는 경우, 심리재활을 결정하는 심리 재활 결정부와;a psychological rehabilitation determination unit for determining psychological rehabilitation when it is determined that the client needs psychological rehabilitation based on the analysis result of the sensing data analysis unit and the client state information;
상기 심리 재활 결정부에 의해 심리재활이 필요하다고 결정된 경우, 콘텐츠를 제공하고, 제공될 콘텐츠를 저장해두는 심리 재활 콘텐츠부;를 포함하는 것을 특징으로 한다.When it is determined that psychological rehabilitation is necessary by the psychological rehabilitation determination unit, a psychological rehabilitation content unit providing content and storing the content to be provided; characterized in that it comprises a.
본 발명에 따른 메타버스를 이용한 센서 기반의 인지 및 운동 재활 서비스 제공 시스템에 의하면,According to the sensor-based cognitive and motor rehabilitation service providing system using the metaverse according to the present invention,
첫째, 인솔 센서를 통한 수집 데이터 분석 결과 기반으로 사용자의 보행상태 및 신체활동 상태를 고려한 사용자 맞춤형 운동재활, 인지재활, 인지-운동 통합 재활 서비스 제공 방안 도출과 효율성을 극대화할 수 있다.First, based on the results of analyzing the data collected through the insole sensor, it is possible to derive a plan to provide user-customized exercise rehabilitation, cognitive rehabilitation, and cognitive-motor integrated rehabilitation services considering the user's walking state and physical activity state and maximize efficiency.
둘째, 카메라 센서를 통한 수집 데이터 분석 결과 기반으로 사용자의 신체 동작 상태, 표정 상태, 반응 상태를 고려한 사용자 맞춤형 운동재활, 인지재활, 인지-운동 통합 재활, 심리재활 서비스 제공 방안 도출과 효율성을 극대화할 수 있다.Second, based on the results of analyzing data collected through camera sensors, it is possible to derive user-customized exercise rehabilitation, cognitive rehabilitation, cognitive-motor integrated rehabilitation, and psychological rehabilitation service provision plans that consider the user's body motion state, facial expression state, and reaction state, and maximize efficiency. can
셋째, 메타버스 기술을 이용하여 인솔 센서 및 카메라 센서를 통한 수집 데이터 분석, 사용자가 수행한 재활 서비스 수행 데이터 분석의 결과 기반으로 사용자 맞춤형 재활 서비스 코칭 및 상담 서비스 제공 방안 도출과 효율성을 극대화할 수 있다.Third, based on the results of data analysis collected through insole sensors and camera sensors using metaverse technology and rehabilitation service performance data analysis performed by users, it is possible to derive customized rehabilitation service coaching and counseling service provision plans and maximize efficiency. .
도 1은 본 발명에 따른 메타버스를 이용한 센서 기반의 인지 및 운동 재활 서비스 제공 시스템을 나타낸 것이다.
도 2는 본 발명에 따른 메타버스를 이용한 센서 기반의 인지 및 운동 재활 서비스 제공 시스템의 인솔센서를 나타낸 것이다.
도 3은 본 발명에 따른 본 발명에 따른 메타버스를 이용한 센서 기반의 인지 및 운동 재활 서비스 제공 시스템의 제어플랫폼을 나타낸 것이다.
도 4는 본 발명에 따른 메타버스를 이용한 센서 기반의 인지 및 운동 재활 서비스 제공 시스템의 구동예를 흐름도로 나타낸 것이다.1 shows a sensor-based cognitive and motor rehabilitation service providing system using a metaverse according to the present invention.
Figure 2 shows the insole sensor of the sensor-based cognitive and motor rehabilitation service providing system using the metaverse according to the present invention.
Figure 3 shows the control platform of the sensor-based cognitive and motor rehabilitation service providing system using the metaverse according to the present invention according to the present invention.
4 is a flowchart showing an example of driving a sensor-based cognitive and motor rehabilitation service providing system using a metaverse according to the present invention.
본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 안되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다.The terms or words used in this specification and claims should not be construed as being limited to their usual or dictionary meanings, and the inventors can properly define the concept of terms in order to best explain their invention. Based on the principle, it should be interpreted as a meaning and concept consistent with the technical idea of the present invention.
따라서 본 명세서에 기재된 실시 예와 도면에 도시된 구성은 본 발명의 가장 바람직한 실시 예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형 예들이 있을 수 있음을 이해하여야 한다.Therefore, since the embodiments described in this specification and the configurations shown in the drawings are only the most preferred embodiments of the present invention and do not represent all of the technical spirit of the present invention, various equivalents that can replace them at the time of the present application It should be understood that there may be variations and examples.
이하, 도면을 참조하여 설명하기에 앞서, 본 발명의 요지를 드러내기 위해서 필요하지 않은 사항 즉 통상의 지식을 가진 당업자가 자명하게 부가할 수 있는 공지 구성에 대해서는 도시하지 않거나, 구체적으로 기술하지 않았음을 밝혀둔다.Hereinafter, prior to description with reference to the drawings, matters that are not necessary to reveal the subject matter of the present invention, that is, known configurations that can be added obviously by those skilled in the art, are not shown or specifically described. reveal the sound
본 발명은 메타버스를 이용한 센서 기반의 인지 및 운동 재활 서비스 제공 시스템에 관한 것이다.The present invention relates to a sensor-based cognitive and motor rehabilitation service providing system using a metaverse.
구체적으로는, 사용자(내담자)의 신체적 환경 상태를 고려한 운동재활, 인지재활, 인지-운동 통합 재활, 심리 재활 서비스를 제공할 수 있되, 센서를 통한 사용자 보행자세, 동작 상태 정보를 기반으로 운동재활, 인지재활, 인지-운동 통합 재활, 심리재활 맞춤형 디지털 콘텐츠 서비스 제공하고, 나아가, 메타버스 기술을 활용하여 상담자는 사용자(내담자)에게 맞춤형 운동재활, 인지재활, 인지-운동 통합 재활 코칭 및 상담 서비스 제공할 수 있는, 메타버스를 이용한 센서 기반의 인지 및 운동 재활 서비스 제공 시스템에 관한 것이다.Specifically, it is possible to provide exercise rehabilitation, cognitive rehabilitation, cognitive-motor integrated rehabilitation, and psychological rehabilitation services considering the user's (client's) physical environment, but exercise rehabilitation based on the user's gait and motion status information through sensors , Cognitive rehabilitation, cognitive-motor integrated rehabilitation, psychological rehabilitation customized digital content services are provided, and furthermore, using metaverse technology, counselors provide customized motor rehabilitation, cognitive rehabilitation, cognitive-motor integrated rehabilitation coaching and counseling services to users (clients). It relates to a sensor-based cognitive and motor rehabilitation service providing system using a metaverse that can be provided.
이러한 본 발명에 따른 메타버스를 이용한 센서 기반의 인지 및 운동 재활 서비스 제공 시스템을 첨부된 도면을 통해 하기에서 설명하도록 한다.The sensor-based cognitive and motor rehabilitation service providing system using the metaverse according to the present invention will be described below through the accompanying drawings.
도 1은 본 발명에 따른 메타버스를 이용한 센서 기반의 인지 및 운동 재활 서비스 제공 시스템을 나타낸 것이고, 도 2는 본 발명에 따른 메타버스를 이용한 센서 기반의 인지 및 운동 재활 서비스 제공 시스템의 인솔센서를 나타낸 것이다.1 shows a sensor-based cognitive and motor rehabilitation service providing system using a metaverse according to the present invention, and FIG. 2 shows an insole sensor of a sensor-based cognitive and motor rehabilitation service providing system using a metaverse according to the present invention. it is shown
또한, 도 3은 본 발명에 따른 본 발명에 따른 메타버스를 이용한 센서 기반의 인지 및 운동 재활 서비스 제공 시스템의 제어플랫폼을 나타낸 것이며, 도 4는 본 발명에 따른 메타버스를 이용한 센서 기반의 인지 및 운동 재활 서비스 제공 시스템의 구동예를 흐름도로 나타낸 것이다.In addition, Figure 3 shows the control platform of the sensor-based cognitive and motor rehabilitation service providing system using the metaverse according to the present invention according to the present invention, Figure 4 is the sensor-based cognitive and A driving example of the motor rehabilitation service providing system is shown in a flowchart.
첨부된 도면에 따른 본 발명은, 인솔센서 및 카메라 센서로 이루어진 센서집단; 상기 센서집단으로부터 센서값을 수신하는 상담자단말; 상기 제어플랫폼에 의해 상담자단말과 연결접속되도록 하는 내담자단말; 통신망을 통해 상담자단말 및 내담자단말로 메타버스 공간을 제공하는 메타버스 서버와; 통신망을 통해 상담자단말 및 내담자단말이 재활 서비스 제공용 인터페이스를 수행할 수 있도록 하는 제어플랫폼;을 포함하여 구성된다.The present invention according to the accompanying drawings, a sensor group consisting of an insole sensor and a camera sensor; A counselor terminal that receives sensor values from the sensor group; a client terminal connected to the counselor terminal by the control platform; A metaverse server that provides a metaverse space to counselor terminals and client terminals through a communication network; It is configured to include; a control platform that allows the counselor terminal and the client terminal to perform an interface for providing rehabilitation services through a communication network.
이때, 카메라 센서는 통상의 카메라장치를 비롯하여, 본 발명에 따른 기능을 수행하기 위한 통상의 기술자에 의해 자명한 모든 센서장치를 포함하는 의미이다.At this time, the camera sensor is meant to include all sensor devices obvious to those skilled in the art for performing functions according to the present invention, including a conventional camera device.
또한, 단말의 정의는 통신접속이 가능하며, 응용프로그램(App)의 설치가 가능한 모든 단말을 포함하는 의미이다.In addition, the definition of a terminal means to include all terminals capable of communication access and installation of an application program (App).
아울러, 인솔센서는, 첨부된 도면의 도 2에서와 같이 사용자가 착용한 신발에 부착되는 것으로서 가속도센서, 압력센서, 자이로센서를 포함한다.In addition, the insole sensor is attached to the shoes worn by the user, as shown in FIG. 2 of the accompanying drawings, and includes an acceleration sensor, a pressure sensor, and a gyro sensor.
이러한 인솔센서을 통해, 사용자의 활동량, 보행자세 정보를 수집할 수 있으며, 이를 수신한 사용자단말은 센서값을 분석하여 운동재활, 인지재활, 운동-인지 통합 재활 서비스 등을 제공할 수 있다. 이러한 센서값의 수신과 분석은, 사용자단말기 통신망을 통해 접속한 제어플랫폼에서 기능할 수 있다.Through these insole sensors, it is possible to collect the user's activity amount and gait information, and the user terminal receiving them can provide exercise rehabilitation, cognitive rehabilitation, exercise-cognitive integrated rehabilitation services, etc. by analyzing the sensor values. Reception and analysis of these sensor values may function in a control platform connected through a user terminal communication network.
부연하면, 인솔센서는, 압력센서의 센서값을 기반으로, 센서가 구비된 신발의 앞, 뒤, 좌, 우 영역의 정보를 이용하여, 메타공간에서의 콘텐츠(재활서비스 등)의 운영 조작이 가능하도록 한다.In other words, the insole sensor can operate and manipulate contents (rehabilitation services, etc.) make it possible
또한, 인솔센서의 가속도센서 및 자이로센서에 의해, 사용자(내담자)의 고, 뛰고, 서있고, 앉아 있는 시간과 운동강도에 대한 분석을 수행할 수 있으며, 이러한 분석에 따라 사용자의 인지재활 콘텐츠의 진행이 가능하다.In addition, it is possible to analyze the user's (client's) high, running, standing, sitting time and exercise intensity by the acceleration sensor and gyro sensor of the insole sensor, and the user's cognitive rehabilitation content progresses according to this analysis. this is possible
이러한 인지재활 콘텐츠에 따르면, 사용자의 기억력, 집중력, 지남력, 판단력, 집행력, 수리력, 언어력, 시각/공간력, 반응력 등의 다양한 인지영역에서 인지재활 서비스를 구성 운영할 수 있다.According to these cognitive rehabilitation contents, cognitive rehabilitation services can be configured and operated in various cognitive domains such as the user's memory, concentration, orientation, judgment, execution, numeracy, language, visual/spatial, and reaction.
이를 위하여, 후술되는 제어플랫폼의 인지재활 결정부는 인지재활을 위한 인지영역을 결정하며, 인지재활 콘텐츠 부는 인지영역별로 디지털 콘텐츠를 제공하여 인지재활 서비스를 제공한다. 이때 서비스의 제공은 상담자에 의해 수행될 수도 있으며, 미리 계획된 콘텐츠를 제공하고 사용자(내담자)가 따라함으로써 구현해낼 수도 있다.To this end, the cognitive rehabilitation determining unit of the control platform, which will be described later, determines cognitive areas for cognitive rehabilitation, and the cognitive rehabilitation content unit provides cognitive rehabilitation services by providing digital content for each cognitive area. At this time, the service may be provided by a counselor, or it may be realized by providing pre-planned content and having the user (client) follow suit.
또한, 상술된 인솔센서와 더불어, 카메라센서까지 활용함에 따라, 사용자(내담자)의 보행자세 정보, 신체 동작 인식 정보, 얼굴 표정 정보, 맥박 정보를 수집할 수도 있는데, 이에 따라 운동재활, 인지재활, 운동-인지 통합 재활, 심리재활 등의 서비스를 구성 운영할 수도 있다.In addition, in addition to the insole sensor described above, as the camera sensor is used, it is also possible to collect the user's (client's) gait information, body motion recognition information, facial expression information, and pulse information. Accordingly, exercise rehabilitation, cognitive rehabilitation, Services such as motor-cognitive integrated rehabilitation and psychological rehabilitation may be organized and operated.
이러한 서비스를 운영함에 따라, 후술되는 제어플랫폼의 운동재활 결정부에서는, 인솔 센서 기반의 보행자세 상태에 따라 전신 운동재활, 하지재활, 상지재활 중에서 운동재활 서비스 종류를 결정할 수 있다.As these services are operated, the exercise rehabilitation determination unit of the control platform described below may determine the type of exercise rehabilitation service among whole body exercise rehabilitation, lower limb rehabilitation, and upper limb rehabilitation according to the insole sensor-based gait state.
이때, 카메라센서 기반의 동작인식 인터페이스를 이용한 전신 운동재활, 상지 운동재활은 운동재활 콘텐츠부에서는 운동재활 영역별 디지털 콘텐츠를 제공하여 운동재활 서비스를 제공하는 것이다.At this time, for the whole body exercise rehabilitation and upper extremity exercise rehabilitation using the camera sensor-based motion recognition interface, the exercise rehabilitation content unit provides exercise rehabilitation services by providing digital contents for each exercise rehabilitation area.
인솔 센서 기반의 보행자세 상태에 따라 운동-인지 재활 결정부에서는 전신운동-인지재활, 상지운동-인지재활 통합 서비스를 결정할 수 있는데, 이때 제어플랫폼의 운동-인지 재활 콘텐츠부에서는 디지털 콘텐츠를 카메라 센서 동작 인식 인터페이스 기능을 이용하여 운동-인지 통합 재활 서비스를 구성 운영할 수 있다.Depending on the insole sensor-based gait state, the exercise-cognitive rehabilitation decision unit can determine whole-body exercise-cognitive rehabilitation and upper extremity exercise-cognitive rehabilitation integrated services. A motion-cognitive integrated rehabilitation service can be configured and operated using the motion recognition interface function.
카메라센서 기능을 통한 심리평가 및 정신건강 자가진단 문진평가 방식을 통한 정신건강 자가진단을 수행하여 정신건강 데이터 수집 및 분석을 수행한다.Psychological evaluation and mental health self-diagnosis through camera sensor function Perform mental health self-diagnosis through questionnaire evaluation method to collect and analyze mental health data.
즉, 카메라 센서 기능을 통한 심리평가는 표정 이미지 분석 기반의 심리평가와 문진정보를 기반으로하여 수행되며, 문진정보는 전문가에 의해 심신균형감, 자존감, 정신운동에너지, 자기조절, 불안, 우울, 스트레스, 민감도, 적극과잉성, 의심(위험성) 등을 판단할 수 있는 질문정보로 이루어진다.In other words, the psychological evaluation through the camera sensor function is performed based on the psychological evaluation based on the analysis of facial expression images and the questionnaire information. It is composed of question information that can judge sensitivity, overactivity, suspicion (risk), etc.
아울러, 문진평가 방식의 정신건강 자가진단으로서, 우울증, 스트레스, 자존감, 트라우마, 폭력성 등을 판단할 수 있는 질문정보를 더 포함할 수도 있다.In addition, as a mental health self-diagnosis in a questionnaire evaluation method, question information for determining depression, stress, self-esteem, trauma, violence, and the like may be further included.
이러한 심리평가 및 정신건강 자가진단 결과 기반으로 제어플랫폼의 심리재활 결정부는 우울증, 스트레스, 트라우마 등의 영역을 결정할 수 있으며, 이때의 결정은 전문가에 의한 판단으로 이루어질 수도 있으며, 통상의 기술자에게 자명한 예측 알고리즘을 적용하여 자동으로 판단되도록 할 수도 있다.Based on the psychological evaluation and mental health self-diagnosis results, the psychological rehabilitation decision unit of the control platform can determine areas such as depression, stress, and trauma. It may be determined automatically by applying a predictive algorithm.
이에 따라, 제어플랫폼의 심리재활 콘텐츠부는 심리재활을 위한 디지털 콘텐츠를 제공할 수 있으며, 이때 심리재활을 위한 디지털 콘텐츠란, 통상의 기술자에 의해 다양하게 설계될 수 있다.Accordingly, the psychological rehabilitation contents unit of the control platform may provide digital contents for psychological rehabilitation, and at this time, the digital contents for psychological rehabilitation may be variously designed by a person skilled in the art.
즉, 사용자는 카메라센서에서 수집된 동작인식이나 표정에 따른 인식정보를 가지는 센서값과, 상담자단말에서 제공하는 문진정보의 결과물를 이용하여 심리재활 영역별 제공되는 디지털 콘텐츠를 제공하여 심리재활 서비스를 제공한다.In other words, the user provides psychological rehabilitation services by providing digital contents provided for each psychological rehabilitation area using the result of the sensor value having motion recognition or facial expression recognition information collected from the camera sensor and the medical examination information provided by the counselor terminal. do.
상술된 기능들은 메타버스의 가상공간을 제공하는 통상의 기술자에게 자명하게 설계된 메타버스 서버가 통신망을 통해 접속되어, 메타버스 공간 내에서 수행되도록 한다. 이를 위해 메타버스 공간의 제공과 서버의 설계는 통상의 기술자에게 자명하므로 구체적인 설명은 생략하도록 한다.The functions described above allow the metaverse server, which is designed to be obvious to those skilled in the art who provide the virtual space of the metaverse, to be connected through a communication network and performed within the metaverse space. To this end, since the provision of the metaverse space and the design of the server are obvious to those skilled in the art, detailed descriptions will be omitted.
다만, 첨부된 도면의 도 3을 통해 제어플랫폼을 부연하도록 한다.However, the control platform is amplified through FIG. 3 of the accompanying drawings.
제어플랫폼은, 메타공간에서 사용되는 사용자(내담자) 및 상담자의 아바타를 생성하고 관리 및 삭제의 기능을 수행하는 아바타 관리부와; 상담자단말 또는 내담자단말에서 제어플랫폼에 접속하고 메타공간을 이용할 수 있으며, 상담 및 콘텐츠의 제공이 가능하도록 하는 사용자 인터페이스와; 메타버스 서버에 연계하여 메타버스 공간을 생성하는 메타버스 공간 생성부와; 센서집단으로부터 센서값을 수신하여 수집하영 센싱 데이터 수집부와; 상기 센싱 데이터 수집부로부터 수신된 센서값을 분석하여 내담자의 운동상태, 인지상태, 심리상태를 분석하는 센싱 데이터 분석부와; 상기 센싱 데이터 분석부의 분석결과와 재활결과에 기반하여 내담자의 상태정보를 저장하고 관리하는 내담자 상태정보 관리부와; 상기 메타버스 공간 생성부에 의해 생성된 메타버스 공간의 유지보수, 아바타적용, 삭제 등의 관리를 수행하는 메타버스 관리부와; 상기 내담자 상태정보 관리에 의해 저장된 내담자의 상태정보를 내담자별로 구분하여 통합저장하는 내담자별 상태정보 데이터베이스와; 상기 센싱 데이터 분석부의 분석결과와 내담자 상태정보에 기반하여, 내담자에게 인지재활이 필요하다고 판단되는 경우, 인지재활을 결정하는 인지 재활 결정부와; 상기 인지 재활 결정부에 의해 인지재활이 필요하다고 결정된 경우, 콘텐츠를 제공하고, 제공될 콘텐츠를 저장해두는 인지 재활 콘텐츠부와; 상기 센싱 데이터 분석부의 분석결과와 내담자 상태정보에 기반하여, 내담자에게 운동재활이 필요하다고 판단되는 경우, 운동재활을 결정하는 운동 재활 결정부와; 상기 운동 재활 결정부에 의해 운동재활이 필요하다고 결정된 경우, 콘텐츠를 제공하고, 제공될 콘텐츠를 저장해두는 운동 재활 콘텐츠부와; 상기 센싱 데이터 분석부의 분석결과와 내담자 상태정보에 기반하여, 내담자에게 인지재활과 운동재활의 복합적인 재활이 필요하다고 판단되는 경우, 인지재활과 운동재활의 복합적인 재활을 결정하는 인지-운동 재활 결정부와; 상기 인지-운동 재활 결정부에 의해 인지재활과 운동재활의 복합적인 재활이 필요하다고 결정된 경우, 콘텐츠를 제공하고, 제공될 콘텐츠를 저장해두는 인지-운동 재활 콘텐츠부와; 상기 센싱 데이터 분석부의 분석결과와 내담자 상태정보에 기반하여, 내담자에게 심리재활이 필요하다고 판단되는 경우, 심리재활을 결정하는 심리 재활 결정부와; 상기 심리 재활 결정부에 의해 심리재활이 필요하다고 결정된 경우, 콘텐츠를 제공하고, 제공될 콘텐츠를 저장해두는 심리 재활 콘텐츠부;를 포함한다.The control platform includes an avatar management unit that creates, manages, and deletes avatars of users (clients) and counselors used in the metaspace; a user interface that enables a counselor terminal or client terminal to access a control platform, use a metaspace, and provide counseling and content; A metaverse space generating unit that creates a metaverse space in conjunction with a metaverse server; a sensing data collection unit that receives and collects sensor values from the sensor group; a sensing data analyzer for analyzing the sensor values received from the sensing data collection unit to analyze the client's motor state, cognitive state, and psychological state; a client state information management unit that stores and manages state information of the client based on the analysis result of the sensing data analysis unit and the rehabilitation result; a metaverse management unit that performs management such as maintenance, avatar application, and deletion of the metaverse space created by the metaverse space creation unit; a state information database for each client that classifies and stores the state information of each client stored by the management of the client state information; a cognitive rehabilitation decision unit for determining cognitive rehabilitation if it is determined that the client needs cognitive rehabilitation based on the analysis result of the sensing data analysis unit and the client state information; a cognitive rehabilitation content unit providing content and storing content to be provided when it is determined by the cognitive rehabilitation determination unit that cognitive rehabilitation is necessary; an exercise rehabilitation determination unit which determines exercise rehabilitation if it is determined that the client needs exercise rehabilitation based on the analysis result of the sensing data analysis unit and the client state information; an athletic rehabilitation content unit providing content and storing content to be provided when it is determined by the motor rehabilitation determining unit that exercise rehabilitation is necessary; Based on the analysis result of the sensing data analysis unit and the client's condition information, if it is determined that the client needs complex rehabilitation of cognitive and motor rehabilitation, cognitive-motor rehabilitation is determined to determine the complex rehabilitation of cognitive and motor rehabilitation. wealth; a cognitive-motor rehabilitation content unit that provides content and stores content to be provided when it is determined by the cognitive-motor rehabilitation determination unit that complex rehabilitation of cognitive and motor rehabilitation is necessary; a psychological rehabilitation determination unit for determining psychological rehabilitation when it is determined that the client needs psychological rehabilitation based on the analysis result of the sensing data analysis unit and the client state information; When it is determined that psychological rehabilitation is necessary by the psychological rehabilitation determination unit, a psychological rehabilitation content unit providing content and storing the content to be provided; includes.
이때, 각 재활의 필요 판단은, 상담자의 노하우와 경력에 기반하여 결정될 수도 있고, 소정의 기준과 알고리즘을 통해 자동으로 판단되는 것일 수도 있다.At this time, the determination of necessity of each rehabilitation may be determined based on the counselor's know-how and career, or may be determined automatically through a predetermined criterion and algorithm.
또한, 각 콘텐츠의 저장은 미리 메타버스 전용 콘텐츠로 제작되어 기저장된 것이다.In addition, the storage of each content is produced in advance as metaverse exclusive content and stored in advance.
이로 인해, 메타버스 환경에서 사용자의 신체활동 상태에 따라 인지재활, 운동재활, 인지-운동 통합 재활, 심리재활에 대한 맞춤형 재활 코칭 서비스 및 상담 서비스 제공이 가능하고, 인솔 센서 및 카메라 센서를 통하여 수집한 사용자 데이터 분석 결과를 기반으로 사용자 맞춤형 재활 서비스 구성, 콘텐츠 구성, 재활 시간 구성하고 서비스할 수 있다.As a result, it is possible to provide customized rehabilitation coaching services and counseling services for cognitive rehabilitation, motor rehabilitation, integrated cognitive-motor rehabilitation, and psychological rehabilitation according to the user's physical activity status in the metaverse environment, and collected through the insole sensor and camera sensor. Based on the results of user data analysis, user-customized rehabilitation service composition, content composition, and rehabilitation time composition and service can be provided.
아울러, 사용자의 신체 활동 상태 정보 분석 기반으로 인지재활, 운동재활, 인지-운동 통합 재활, 심리재활 관련 사용자 맞춤형 재활 영역 결정, 재활 영역별 코칭 프로그램을 구성할 수 있는 장점을 가진다.In addition, based on the analysis of the user's physical activity state information, it has the advantage of being able to configure cognitive rehabilitation, motor rehabilitation, cognitive-motor integration rehabilitation, user-customized rehabilitation area determination related to psychological rehabilitation, and coaching programs for each rehabilitation area.
부연하면, 상술된 본 발명에 따른 메타버스를 이용한 센서 기반의 인지 및 운동 재활 서비스 제공 시스템에 의하면,In other words, according to the sensor-based cognitive and motor rehabilitation service providing system using the metaverse according to the present invention described above,
첫째, 인솔 센서를 통한 수집 데이터 분석 결과 기반으로 사용자의 보행상태 및 신체활동 상태를 고려한 사용자 맞춤형 운동재활, 인지재활, 인지-운동 통합 재활 서비스 제공 방안 도출과 효율성을 극대화할 수 있다.First, based on the results of analyzing the data collected through the insole sensor, it is possible to derive a plan to provide user-customized exercise rehabilitation, cognitive rehabilitation, and cognitive-motor integrated rehabilitation services considering the user's walking state and physical activity state and maximize efficiency.
둘째, 카메라 센서를 통한 수집 데이터 분석 결과 기반으로 사용자의 신체 동작 상태, 표정 상태, 반응 상태를 고려한 사용자 맞춤형 운동재활, 인지재활, 인지-운동 통합 재활, 심리재활 서비스 제공 방안 도출과 효율성을 극대화할 수 있다.Second, based on the results of analyzing data collected through camera sensors, it is possible to derive user-customized exercise rehabilitation, cognitive rehabilitation, cognitive-motor integrated rehabilitation, and psychological rehabilitation service provision plans that consider the user's body motion state, facial expression state, and reaction state, and maximize efficiency. can
셋째, 메타버스 기술을 이용하여 인솔 센서 및 카메라 센서를 통한 수집 데이터 분석, 사용자가 수행한 재활 서비스 수행 데이터 분석의 결과 기반으로 사용자 맞춤형 재활 서비스 코칭 및 상담 서비스 제공 방안 도출과 효율성을 극대화할 수 있다.Third, based on the results of data analysis collected through insole sensors and camera sensors using metaverse technology and rehabilitation service performance data analysis performed by users, it is possible to derive customized rehabilitation service coaching and counseling service provision plans and maximize efficiency. .
이러한 장점을 가지는 본 발명에 따르면, 첨부된 도면의 도 4와 같이 동작된다.According to the present invention having these advantages, it operates as shown in FIG. 4 of the accompanying drawings.
구체적으로는, 제어플랫폼과 메타버스 서버가 연계하여 메타버스 공간을 생성하고, 내담자 및 상담자 별 아바타를 생성하고, 기생성된 메타버스 공간에 표시한다.Specifically, the control platform and the metaverse server are connected to create a metaverse space, create avatars for each client and counselor, and display them in the already created metaverse space.
그리고 수집된 인솔센서의 센서값에 따라 아타바가 조작되도록 하되,And let the ataba be operated according to the sensor value of the insole sensor collected,
상술된 제어플랫폼 및/또는 상담자의 결정에 기반하여 재활 서비스를 결정하고, 결정된 재활 서비스에 따른 콘텐츠가 수행되도록 한다.A rehabilitation service is determined based on the above-described control platform and/or a counselor's decision, and content according to the determined rehabilitation service is performed.
이와 같이, 재활이 수행된 후에도 인솔센서와 카메라센서로부터 수집된 내담자의 센서값을 기반으로 다시 분석을 수행하고, 내담자 상태정보에 적용하고, 상담자는 상담을 수행할 수 있도록 한다.In this way, even after the rehabilitation is performed, analysis is performed again based on the client's sensor values collected from the insole sensor and the camera sensor, applied to the client's condition information, and the counselor can perform counseling.
상기에서 도면을 이용하여 서술한 것은, 본 발명의 주요 사항만을 서술한 것으로, 그 기술적 범위 내에서 다양한 설계가 가능한 만큼, 본 발명이 도면의 구성에 한정되는 것이 아님은 자명하다.What has been described using the drawings above is only the main points of the present invention, and it is obvious that the present invention is not limited to the configuration of the drawings as various designs are possible within the technical scope.
Claims (6)
상기 센서집단으로부터 센서값을 수신하는 상담자단말;
상기 제어플랫폼에 의해 상담자단말과 연결접속되도록 하는 내담자단말;
통신망을 통해 상담자단말 및 내담자단말로 메타버스 공간을 제공하는 메타버스 서버와;
통신망을 통해 상담자단말 및 내담자단말이 재활 서비스 제공용 인터페이스를 수행할 수 있도록 하는 제어플랫폼;을 포함하여 구성된 메타버스를 이용한 센서 기반의 인지 및 운동 재활 서비스 제공 시스템에 있어서,
상기 제어플랫폼은,
메타공간에서 사용되는 사용자(내담자) 및 상담자의 아바타를 생성하고 관리 및 삭제의 기능을 수행하는 아바타 관리부와;
상담자단말 또는 내담자단말에서 제어플랫폼에 접속하고 메타공간을 이용할 수 있으며, 상담 및 콘텐츠의 제공이 가능하도록 하는 사용자 인터페이스와;
메타버스 서버에 연계하여 메타버스 공간을 생성하는 메타버스 공간 생성부와;
센서집단으로부터 센서값을 수신하여 수집하여 센싱 데이터 수집부와;
상기 센싱 데이터 수집부로부터 수신된 센서값을 분석하여 내담자의 운동상태, 인지상태, 심리상태를 분석하는 센싱 데이터 분석부와;
상기 센싱 데이터 분석부의 분석결과와 재활결과에 기반하여 내담자의 상태정보를 저장하고 관리하는 내담자 상태정보 관리부와;
상기 메타버스 공간 생성부에 의해 생성된 메타버스 공간의 관리를 수행하는 메타버스 관리부와;
상기 내담자 상태정보 관리에 의해 저장된 내담자의 상태정보를 내담자별로 구분하여 통합저장하는 내담자별 상태정보 데이터베이스와;
상기 센싱 데이터 분석부의 분석결과와 내담자 상태정보에 기반하여, 내담자에게 인지재활이 필요하다고 판단되는 경우, 인지재활을 결정하는 인지 재활 결정부와;
상기 인지 재활 결정부에 의해 인지재활이 필요하다고 결정된 경우, 콘텐츠를 제공하고, 제공될 콘텐츠를 저장해두는 인지 재활 콘텐츠부와;
상기 센싱 데이터 분석부의 분석결과와 내담자 상태정보에 기반하여, 내담자에게 운동재활이 필요하다고 판단되는 경우, 운동재활을 결정하는 운동 재활 결정부와;
상기 운동 재활 결정부에 의해 운동재활이 필요하다고 결정된 경우, 콘텐츠를 제공하고, 제공될 콘텐츠를 저장해두는 운동 재활 콘텐츠부와;
상기 센싱 데이터 분석부의 분석결과와 내담자 상태정보에 기반하여, 내담자에게 인지재활과 운동재활의 복합적인 재활이 필요하다고 판단되는 경우, 인지재활과 운동재활의 복합적인 재활을 결정하는 인지-운동 재활 결정부와;
상기 인지-운동 재활 결정부에 의해 인지재활과 운동재활의 복합적인 재활이 필요하다고 결정된 경우, 콘텐츠를 제공하고, 제공될 콘텐츠를 저장해두는 인지-운동 재활 콘텐츠부와;
상기 센싱 데이터 분석부의 분석결과와 내담자 상태정보에 기반하여, 내담자에게 심리재활이 필요하다고 판단되는 경우, 심리재활을 결정하는 심리 재활 결정부와;
상기 심리 재활 결정부에 의해 심리재활이 필요하다고 결정된 경우, 콘텐츠를 제공하고, 제공될 콘텐츠를 저장해두는 심리 재활 콘텐츠부;를 포함함으로써,
제어플랫폼과 메타버스 서버가 연계하여 메타버스 공간을 생성하고, 내담자 및 상담자 별 아바타를 생성하고, 기생성된 메타버스 공간에 표시하며, 수집된 인솔센서의 센서값에 따라 아타바가 조작되도록 하되, 제어플랫폼 및/또는 상담자의 결정에 기반하여 재활 서비스를 결정하고, 결정된 재활 서비스에 따른 콘텐츠가 수행되도록 하며, 재활이 수행된 후에도 인솔센서와 카메라센서로부터 수집된 내담자의 센서값을 기반으로 다시 분석을 수행하고, 내담자 상태정보에 적용하고, 상담자는 상담을 수행할 수 있도록 하는 것을 특징으로 하는, 메타버스를 이용한 센서 기반의 인지 및 운동 재활 서비스 제공 시스템.A sensor group consisting of an insole sensor and a camera sensor;
A counselor terminal that receives sensor values from the sensor group;
a client terminal connected to the counselor terminal by the control platform;
A metaverse server that provides a metaverse space to counselor terminals and client terminals through a communication network;
In a sensor-based cognitive and motor rehabilitation service providing system using a metaverse configured to include;
The control platform,
an avatar management unit that creates, manages, and deletes avatars of users (clients) and counselors used in the metaspace;
a user interface that enables a counselor terminal or client terminal to access a control platform, use a metaspace, and provide counseling and content;
A metaverse space generating unit that creates a metaverse space in conjunction with a metaverse server;
a sensing data collection unit that receives and collects sensor values from the sensor group;
a sensing data analyzer for analyzing the sensor values received from the sensing data collection unit to analyze the client's motor state, cognitive state, and psychological state;
a client state information management unit that stores and manages state information of the client based on the analysis result of the sensing data analysis unit and the rehabilitation result;
a metaverse management unit that manages the metaverse space created by the metaverse space creation unit;
a state information database for each client that classifies and stores the state information of each client stored by the management of the client state information;
a cognitive rehabilitation decision unit for determining cognitive rehabilitation if it is determined that the client needs cognitive rehabilitation based on the analysis result of the sensing data analysis unit and the client state information;
a cognitive rehabilitation content unit providing content and storing content to be provided when it is determined by the cognitive rehabilitation determination unit that cognitive rehabilitation is necessary;
an exercise rehabilitation determination unit which determines exercise rehabilitation if it is determined that the client needs exercise rehabilitation based on the analysis result of the sensing data analysis unit and the client state information;
an athletic rehabilitation content unit providing content and storing content to be provided when it is determined by the motor rehabilitation determining unit that exercise rehabilitation is necessary;
Based on the analysis result of the sensing data analysis unit and the client's condition information, if it is determined that the client needs complex rehabilitation of cognitive and motor rehabilitation, cognitive-motor rehabilitation is determined to determine the complex rehabilitation of cognitive and motor rehabilitation. wealth;
a cognitive-motor rehabilitation content unit that provides content and stores content to be provided when it is determined by the cognitive-motor rehabilitation determination unit that complex rehabilitation of cognitive and motor rehabilitation is necessary;
a psychological rehabilitation determination unit for determining psychological rehabilitation when it is determined that the client needs psychological rehabilitation based on the analysis result of the sensing data analysis unit and the client state information;
When it is determined that psychological rehabilitation is necessary by the psychological rehabilitation determining unit, a psychological rehabilitation content unit providing content and storing the content to be provided;
The control platform and the metaverse server are linked to create a metaverse space, create avatars for each client and counselor, display them in the already created metaverse space, and operate the ataba according to the sensor values of the collected insole sensors, Rehabilitation service is determined based on the decision of the control platform and/or counselor, content according to the determined rehabilitation service is performed, and even after rehabilitation is performed, analysis is performed again based on the client's sensor values collected from the insole sensor and camera sensor. A sensor-based cognitive and motor rehabilitation service providing system using a metaverse, characterized in that it performs, applies to the client's condition information, and allows the counselor to perform counseling.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220172843A KR102525236B1 (en) | 2022-12-12 | 2022-12-12 | Sensor-based cognitive and motor rehabilitation service provision system using metaverse |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220172843A KR102525236B1 (en) | 2022-12-12 | 2022-12-12 | Sensor-based cognitive and motor rehabilitation service provision system using metaverse |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102525236B1 true KR102525236B1 (en) | 2023-04-25 |
Family
ID=86101725
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020220172843A KR102525236B1 (en) | 2022-12-12 | 2022-12-12 | Sensor-based cognitive and motor rehabilitation service provision system using metaverse |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102525236B1 (en) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20140134990A (en) | 2013-05-15 | 2014-11-25 | 한국화학연구원 | A water treatment system including porous alumina membranes immobilized photocatalysts, operating method thereof, and purifying method of wastewater using thereby |
| KR102289804B1 (en) | 2015-05-20 | 2021-08-17 | 주식회사 에이치비티 | Rehabilitation analysis system using 3D sensor |
| KR102378434B1 (en) | 2016-04-14 | 2022-03-25 | 메드리듬스, 아이엔씨. | Systems and methods for neurological rehabilitation |
| KR20220092655A (en) * | 2020-12-23 | 2022-07-04 | 주식회사 싸이버메딕 | Rehabilitation diagnosis training apparatus and rehabilitation diagnosis training method |
| KR102415719B1 (en) * | 2021-11-16 | 2022-07-04 | 주식회사 엠쓰리솔루션 | Metaverse server for displaying avatar status information for virtual counseling envuronment |
-
2022
- 2022-12-12 KR KR1020220172843A patent/KR102525236B1/en active IP Right Grant
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20140134990A (en) | 2013-05-15 | 2014-11-25 | 한국화학연구원 | A water treatment system including porous alumina membranes immobilized photocatalysts, operating method thereof, and purifying method of wastewater using thereby |
| KR102289804B1 (en) | 2015-05-20 | 2021-08-17 | 주식회사 에이치비티 | Rehabilitation analysis system using 3D sensor |
| KR102378434B1 (en) | 2016-04-14 | 2022-03-25 | 메드리듬스, 아이엔씨. | Systems and methods for neurological rehabilitation |
| KR20220044364A (en) | 2016-04-14 | 2022-04-07 | 메드리듬스, 아이엔씨. | Systems and methods for neurologic rehabilitation |
| KR20220092655A (en) * | 2020-12-23 | 2022-07-04 | 주식회사 싸이버메딕 | Rehabilitation diagnosis training apparatus and rehabilitation diagnosis training method |
| KR102415719B1 (en) * | 2021-11-16 | 2022-07-04 | 주식회사 엠쓰리솔루션 | Metaverse server for displaying avatar status information for virtual counseling envuronment |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6852069B2 (en) | Method and system for automatically evaluating physical health state using a game | |
| KR102020598B1 (en) | Biofeedback system based on bio-signal sensor for diagnosis and healing of mental illness | |
| CN108095725B (en) | Human body motion capability integrated test device and use method thereof | |
| Healey | Wearable and automotive systems for affect recognition from physiology | |
| Hausdorff et al. | Is walking a random walk? Evidence for long-range correlations in stride interval of human gait | |
| CN109561837A (en) | The system and method for exercise for auxiliary object | |
| CN107405072A (en) | For generating the stress level information of individual and the system and method for compressive resilience horizontal information | |
| KR20200071647A (en) | Biofeedback method based on virtual/augmented reality contents and bio-signal for diagnosis and healing of mental illness | |
| KR102128267B1 (en) | Method and system for walking ability prediction using stepping characteristics information | |
| JP2004358229A (en) | Physical motion analyzing apparatus and physical motion analyzing system | |
| Baroudi et al. | Estimating walking speed in the wild | |
| Pereira et al. | Physiotherapy Exercises Evaluation using a Combined Approach based on sEMG and Wearable Inertial Sensors. | |
| KR20210084779A (en) | Gait data based exercise recommendation system and method thereof | |
| KR102128268B1 (en) | Method and system for walking ability prediction using foot characteristics information | |
| KR102525236B1 (en) | Sensor-based cognitive and motor rehabilitation service provision system using metaverse | |
| Tsakanikas et al. | Gait and balance patterns related to Free-Walking and TUG tests in Parkinson’s Disease based on plantar pressure data | |
| Iber et al. | Mind the steps: Towards auditory feedback in tele-rehabilitation based on automated gait classification | |
| Geman et al. | Mathematical models used in intelligent assistive technologies: Response surface methodology in software tools optimization for medical rehabilitation | |
| KR102412841B1 (en) | Smart Gait Simulator for Elderly Healthcare | |
| Phienphanich et al. | Stroke screening feature selection for arm weakness using a mobile application | |
| de Pinho André et al. | Using foot and knee movement and posture information to mitigate the probability of injuries in functional training | |
| Zhu | RETRACTED: Real-time monitoring of the athlete's musculoskeletal health based on an embedded processor | |
| Tokmak et al. | Unveiling the relationships between seismocardiogram signals, physical activity types and metabolic equivalent of task scores | |
| Gil et al. | CYBERH: Cyber-physical systems in health for personalized assistance | |
| Tasca | A machine learning approach for spatio-temporal gait analysis based on a head-mounted inertial sensor |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |