KR102048546B1 - System and Method for rehabilitation training using Virtual reality device - Google Patents

System and Method for rehabilitation training using Virtual reality device Download PDF

Info

Publication number
KR102048546B1
KR102048546B1 KR1020190104933A KR20190104933A KR102048546B1 KR 102048546 B1 KR102048546 B1 KR 102048546B1 KR 1020190104933 A KR1020190104933 A KR 1020190104933A KR 20190104933 A KR20190104933 A KR 20190104933A KR 102048546 B1 KR102048546 B1 KR 102048546B1
Authority
KR
South Korea
Prior art keywords
training
user
content
rehabilitation training
rehabilitation
Prior art date
Application number
KR1020190104933A
Other languages
Korean (ko)
Inventor
이연화
Original Assignee
이연화
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 이연화 filed Critical 이연화
Priority to KR1020190104933A priority Critical patent/KR102048546B1/en
Application granted granted Critical
Publication of KR102048546B1 publication Critical patent/KR102048546B1/en

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • A63B71/0622Visual, audio or audio-visual systems for entertaining, instructing or motivating the user
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0003Analysing the course of a movement or motion sequences during an exercise or trainings sequence, e.g. swing for golf or tennis
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0075Means for generating exercise programs or schemes, e.g. computerized virtual trainer, e.g. using expert databases
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/003Navigation within 3D models or images
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0003Analysing the course of a movement or motion sequences during an exercise or trainings sequence, e.g. swing for golf or tennis
    • A63B24/0006Computerised comparison for qualitative assessment of motion sequences or the course of a movement
    • A63B2024/0012Comparing movements or motion sequences with a registered reference
    • A63B2024/0015Comparing movements or motion sequences with computerised simulations of movements or motion sequences, e.g. for generating an ideal template as reference to be achieved by the user
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • A63B71/0622Visual, audio or audio-visual systems for entertaining, instructing or motivating the user
    • A63B2071/0638Displaying moving images of recorded environment, e.g. virtual environment
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00Measuring of physical parameters relating to sporting activity
    • A63B2220/80Special sensors, transducers or devices therefor
    • A63B2220/801Contact switches
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00Measuring of physical parameters relating to sporting activity
    • A63B2220/80Special sensors, transducers or devices therefor
    • A63B2220/803Motion sensors
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00Measuring of physical parameters relating to sporting activity
    • A63B2220/80Special sensors, transducers or devices therefor
    • A63B2220/83Special sensors, transducers or devices therefor characterised by the position of the sensor
    • A63B2220/836Sensors arranged on the body of the user

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physical Education & Sports Medicine (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Databases & Information Systems (AREA)
  • Rehabilitation Tools (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

The present invention relates to a rehabilitation training system using a virtual reality, which comprises: a VR content (100) including a program related to a rehabilitation training using virtual reality; a control unit (200) for driving the VR content (100); a wearable sensor unit (300) connected to the control unit (200) in a wired or wireless manner, and recognizing a user behavior; and a VR display unit (400) connected to the control unit (200) and the wearable sensor unit (300) in a wired or wireless manner, receiving the VR content (100) from the control unit (200), and implementing the received VR content (100). A user wears the wearable sensor unit (300) and the VR display unit (400), and performs the rehabilitation training in accordance with the VR content (100) implemented in the VR display unit (400). A user rehabilitation behavior is recognized by the wearable sensor unit (300) to be reflected to the VR content (100), and a training result is databased when the rehabilitation training is terminated.

Description

가상현실을 이용한 재활 훈련 시스템 및 방법{System and Method for rehabilitation training using Virtual reality device}Rehabilitation training system and method using virtual reality {System and Method for rehabilitation training using Virtual reality device}

본 발명은 재활 훈련에 관한 것으로, 구체적으로는 재활 훈련이 필요한 대상자가 VR 디스플레이부와 웨어러블 센서부를 착용하고 VR 콘텐츠를 이용하여 재활 훈련을 하는 시스템 및 방법에 관한 것이다.The present invention relates to rehabilitation training, and more particularly, to a system and method in which a subject who needs rehabilitation training wears a VR display unit and a wearable sensor unit and performs rehabilitation training using VR content.

가상현실이란 컴퓨터를 이용하여 구축한 가상공간(Virtual Environmental)속에서 인간감각계(sensory system)와의 상호작용을 통해 물리적, 공간적 제약에 의해 현실세계에서는 직접 경험하기 어려운 상황을 간접체험 할 수 있도록 만든 정보활동 분야이다. 가상현실을 구현해 내는 시스템들이 사용자의 시점과 동작이 실현되는 가상의 환경을 제공하게 되면 일반적으로 사용자의 시점이나 동작의 변화를 가상의 공간에서 실제로 행하거나 가상현실공간에서 인간의 신체를 대신하여 행위를 수행하는 존재를 통하여 그 환경을 경험한다.Virtual reality is information that makes it possible to indirectly experience situations that are difficult to directly experience in the real world due to physical and spatial constraints through interaction with the sensory system in the virtual environment built using a computer. It is an activity field. When the systems implementing the virtual reality provide a virtual environment in which the user's viewpoint and motion are realized, generally, the user's viewpoint or motion is actually changed in the virtual space or the human body is acted on behalf of the human body in the virtual reality space. Experience the environment through beings that perform.

가상·증강현실 전문가들과 경제학자들은 이 시장규모를 현재 2016년 52억 달러에서 2020년 1620억 달러(190조 원)까지 증가할 것으로 예측한다. 또 인공지능과 함께 4차 산업혁명을 이끌 수 있는 유망기술로 전망한다. 가상현실 환경에서 인터랙션 디바이스들은 입력용 센서 장치를 기반으로 사용자의 다양한 정보를 인식하기 위해 사용되어져 왔다. 예를 들어, 가상 스크린에서 공이 골프채에 맞자마자, 골프채에 부착된 공간 인지 모션 센서가 사용자의 스윙 각도와 퍼팅 자세 등을 바로 분석하고, 분석된 사용자 정보는 곧바로 스마트폰으로 전송되며, 사용자는 해당 정보를 활용해 자세를 교정해 나갈 수 있다.Virtual and augmented reality experts and economists predict that the market will grow from $ 5.2 billion in 2016 to $ 162 billion in 2020. It is also expected to be a promising technology that can lead the fourth industrial revolution along with artificial intelligence. In the virtual reality environment, interaction devices have been used to recognize various information of a user based on an input sensor device. For example, as soon as the ball hits the golf club on the virtual screen, the space-aware motion sensor attached to the golf club analyzes the user's swing angle and putting posture, and the analyzed user information is sent directly to the smartphone. You can use the information to correct your posture.

다만, 사용자에게 반력이나 촉각, 자극정보와 같은 피드백 신호를 생성하여 역으로 정보를 전달하기 위한 출력용 장치는 이제 걸음마 단계에 있다. 이를 응용한 기술 개발의 성장가능성이 크다.However, an output device for generating feedback signals such as reaction force, tactile information, and stimulus information to the user and conveying the information in reverse is now in its infancy stage. There is a great growth potential for the development of this technology.

가상현실을 이루고 있는 가상공간(virtual space)에 존재하는 가상 객체를 조작하기 위한 다양한 인터페이스장치가 제안되어 왔다. 그런데 가상공간에서의 객체를 조작함에 있어서 가장 효과적인 것은 손을 직접 이용하는 방식이다. 현실 세계에서 손으로 객체를 조작하는 것과 동일한 방식으로 가상 공간상의 물체를 조작할 수 있어야 물체의 특징이나 성질을 파악하는 것이 훨씬 용이하다.Various interface devices have been proposed for manipulating virtual objects existing in a virtual space that makes up virtual reality. However, the most effective way to manipulate objects in virtual space is to use hands directly. In the real world, it is much easier to grasp the characteristics or properties of an object if you can manipulate it in the same way that you manipulate it with your hands.

사용자의 손의 움직임을 바탕으로 하여 가상 객체와의 인터페이스를 구성하는 방식으로서 장갑을 기반으로 하는 방식이 사용될 수 있다. 휴먼-컴퓨터 인터페이스를 형성하는 가상 장갑은 손의 위치와 방향뿐만 아니라 손가락의 각 관절의 굽임 각도를 트래킹할 필요가 있다.A glove-based method may be used as a method of configuring an interface with a virtual object based on the movement of a user's hand. The virtual gloves forming the human-computer interface need to track the bend angle of each joint of the finger as well as the position and orientation of the hand.

1970년대에 MIT에서 폴헤무스(Polhemus) 사(社)는 3-SPACE 자기 트래커 센서를 사용한 손동작의 직접 해석을 시도하였다. 이후 손의 위치와 방향을 트래킹하는 다양한 기술이 제안되어 왔는데, 광학 트래킹(opticaltracking), 자기 트래킹(magnetic tracking) 및 음향 트래킹(acoustic tracking) 등의 방법이 사용되었다.In the 1970s, at MIT, Polhemus tried to directly analyze hand gestures using a 3-SPACE magnetic tracker sensor. Since then, various techniques for tracking the position and the direction of the hand have been proposed, such as optical tracking, magnetic tracking and acoustic tracking.

한편, 손가락 관절의 각도를 측정하는 기술이 1980년대에 본격적으로 연구되기 시작하였고, 이를 활용한 다양한 장갑 형태의 인터페이스 장치가 개발되었다. 1987년에 개발된 DataGlove는 10개의 굽힘 센서를 가지고 있으며 손의 6자유도를 측정할 수 있는 능력을 구비하였다. DataGlove는 손 등에 굽힘 센서를 구비하고 3-SPACE 자기트랙커가 위치와 방향을 측정하기 위하여 사용되었다. 그 후 닌텐도 사(社)는 가정용 비디오 게임을 위한 저가의 게임 컨트롤러인 Power Glove®을 개발하였는데, 이것은 굽힘 각도 측정을 위한 굽힘 센서를 손 등에 구비하고 핸드 트래킹을 위한 음향 트래커를 구비하였다. 1990년에 개발된 Immersion사의 CyberGlove®는 가장 정교하고 정확하며 쉽게 착용할 수 있는 장갑형 장치이었다. CyberGlove®는 손가락 굽힘 각도를 측정하기 위하여 손등에 18개 내지 22개의 굽힘 센서를 구비하였다. 가상 장갑에 대한 최근의 개발은 가상공간에서 손을 이용한 3차원 적용을 강화하는 방향으로 이루어지고 있다. 이러한 다수의 장치들은 손가락 관절의 각도를 측정하기 위하여 굽힘 센서(Flex Sensor or Bend Sensor)를 채용하였다. 굽힘 센서는 다른 센서들에 비해 저렴하고, 주위 환경의 변화에 따른 영향을 거의 받지 않는 장점이 있어 근래에 손가락의 굽힘 정보를 측정하기 위한 수단으로 널리 사용되고 있다.Meanwhile, the technique of measuring the angle of the finger joint began to be studied in earnest in the 1980s, and various gloves-type interface devices were developed using the same. Developed in 1987, DataGlove has 10 bend sensors and is capable of measuring six degrees of freedom in the hand. DataGlove has a bend sensor on the back of the hand and a 3-SPACE magnetic tracker is used to measure position and orientation. Subsequently, Nintendo developed Power Glove®, a low-cost game controller for home video games, with a bend sensor for measuring the bend angle and an acoustic tracker for hand tracking. Developed in 1990, Immersion's CyberGlove® was the most sophisticated, accurate and easily worn armored device. CyberGlove® has 18 to 22 bend sensors on the back of the hand to measure finger bend angles. Recent developments in virtual gloves have been directed to strengthening three-dimensional application by hand in virtual space. Many of these devices employ a flex sensor or a bend sensor to measure the angle of the finger joint. The bending sensor is inexpensive compared to other sensors, and has an advantage of being hardly affected by changes in the surrounding environment. Therefore, the bending sensor has recently been widely used as a means for measuring bending information of a finger.

한편, 우리나라는 2000년에 65세 이상 노인인구의 비율이 전체의 7.2%에 달하는 고령화 사회에 진입하였고, 2018년에는 고령사회(고령인구 14%)에, 2026년에는 초고령화사회(고령인구 21%)에 도달할 것으로 예상된다. 그에 따른 손에 마비가 온 노인들의 재활 프로그램을 통한 조기치료의 중요성이 날로 증대하고 있다.On the other hand, Korea entered into an aging society in which the proportion of the elderly population aged 65 or older reached 7.2% in 2000, and in 2018, aged society (14% of the population) and ultra-aging society (aged population 21) in 2026. Is expected to reach%). As a result, the importance of early treatment through rehabilitation programs for the elderly with hand paralysis is increasing day by day.

현재 재활 치료사가 주도하는 인지재활 프로그램은 정해진 장소와 시간에서 장시간(50분) 동안 교육 형태로 실시되며, 이로 인해 참여자들에게 지루함과 거부감을 갖게 하여 치료 효과가 제한적이고, 치료사들이 환자들과 일대일로 재활을 진행하기 때문에 병원 측에서는 인건비 부담이 큰 편이다.The cognitive rehabilitation program, now led by a rehabilitation therapist, is conducted for a long time (50 minutes) at a given place and time, which causes boredom and rejection among participants, limiting the effectiveness of the treatment, and allowing the therapists to work with patients one-on-one. Because of the rehabilitation process, labor costs are large on the hospital side.

이에 대한 대안으로 HMD(Head Mount Display) 같은 VR(Virtual Reality, 가상현실) 장치에 흥미 있고 손의 재활 치료를 돕는 재활 콘텐츠를 탑재하면 참여자가 원하는 시간과 장소에서 개별적으로 재활 프로그램을 이수할 수 있으므로 재활 치료효과가 매우 클 것으로 판단된다.As an alternative, if you are interested in VR (Virtual Reality) devices, such as HMD (Head Mount Display), and you are equipped with rehabilitation content that helps hand rehabilitation treatment, participants can take the rehabilitation program individually at any time and place. The rehabilitation effect is considered to be very large.

KR 101915238 B1KR 101915238 B1 KR 101944489 B1KR 101944489 B1 KR 101881986 B1KR 101881986 B1 KR 101777755 B1KR 101777755 B1

본 발명은 상술한 문제점을 해결하기 위한 것으로, VR 콘텐츠, 제어부, VR 디스플레이부 및 웨어러블 센서부를 활용하여 재활 훈련이 필요한 사람들에게 참여자가 원하는 시간과 장소에서 개별적으로 재활 프로그램을 이수할 수 있도록 재활 치료를 돕는 재활 훈련 시스템 및 방법을 제공함에 있다.The present invention is to solve the above problems, by using the VR content, control unit, VR display unit and wearable sensor unit rehabilitation treatment so that participants can complete the rehabilitation program individually at the time and place desired by the participants To provide rehabilitation training systems and methods to assist

상기의 과제를 해결하기 위한 기술적 사상으로서의 본 발명은,The present invention as a technical idea for solving the above problems,

가상현실을 이용한 재활 훈련에 관한 프로그램을 포함하는 VR 콘텐츠(100); 상기 콘텐츠(100)가 구동되는 제어부(200); 상기 제어부(200)와 유선 또는 무선으로 연결되고, 사용자의 행동을 인식하는 웨어러블 센서부(300); 및 상기 제어부(200), 상기 웨어러블 센서부(300)와 유선 또는 무선으로 연결되고, 상기 제어부(200)로부터 VR 콘텐츠(100)를 전송받고, 상기 전송받은 VR 콘텐츠(100)가 구현되는 VR 디스플레이부(400); 를 포함하고,VR content 100 including a program related to rehabilitation training using virtual reality; A control unit 200 in which the content 100 is driven; A wearable sensor unit 300 connected to the control unit 200 by wire or wirelessly and recognizing a user's behavior; And a VR display connected to the control unit 200 and the wearable sensor unit 300 by wire or wirelessly, receiving the VR content 100 from the control unit 200, and implementing the received VR content 100. Unit 400; Including,

사용자는 상기 웨어러블 센서부(300)와 상기 VR 디스플레이부(400)를 착용하고, VR 디스플레이부(400)에서 구현되는 VR 콘텐츠(100)에 따라 재활 훈련을 하고, 상기 웨어러블 센서부(300)에 의해 사용자의 재활 행동은 인식되어 상기 VR 콘텐츠(100)에 반영되고, 재활 훈련이 종료되면 훈련 결과가 DB화되는 것을 특징으로 하여 구성될 수 있다.A user wears the wearable sensor unit 300 and the VR display unit 400, performs rehabilitation training according to the VR content 100 implemented in the VR display unit 400, and attaches the wearable sensor unit 300 to the wearable sensor unit 300. The rehabilitation behavior of the user may be recognized and reflected in the VR content 100, and when the rehabilitation training is completed, the training result may be configured as a DB.

또한, 상기 웨어러블 센서부(300)는,In addition, the wearable sensor unit 300,

소정의 위치에 적어도 하나 이상 설치되어 손바닥과 손가락의 움직임을 감지하는 움직임 감지 모듈(310); 소정의 위치에 적어도 하나 이상 설치되어 손가락 각도를 측정할 수 있는 각도 감지 모듈(320); 및 소정의 위치에 적어도 하나 이상 설치되어 손가락 관절의 터치를 인식하는 터치 감지 모듈(330); 을 포함하는 것을 특징으로 하여 구성될 수 있다.A motion detection module 310 installed at least one predetermined position to detect movement of a palm and a finger; An angle sensing module 320 installed at least one predetermined position to measure a finger angle; And at least one touch sensing module 330 installed at a predetermined position to recognize a touch of a finger joint. It may be configured to include a.

또한, 상기 VR 콘텐츠(100)는,In addition, the VR content 100,

사용자의 재활 훈련을 돕는 가상의 재활치료사 NPC가 존재하고, UI를 통해 재활 훈련 동작이 적어도 하나 이상 제공되고, 상기 제공된 재활 훈련 동작과 상기 웨어러블 센서부(300)에 의해 인식된 사용자의 실시 동작의 일치 정도를 분석하여 사용자에게 피드백을 제공하고, 상기 훈련 결과를 DB화하여 저장되는 것을 특징으로 하여 구성될 수 있다.There is a virtual rehabilitation therapist NPC to help the user rehabilitation training, at least one rehabilitation training operation is provided through the UI, the provided rehabilitation training operation and the user's implementation of the action recognized by the wearable sensor unit 300 It may be configured to provide feedback to the user by analyzing the degree of matching, and to store the training result as a DB.

또한, 가상현실을 이용한 재활 훈련 방법으로서,In addition, as a rehabilitation training method using virtual reality,

VR 디스플레이부와 웨어러블 센서부를 착용하는 단계; VR 콘텐츠를 실행하는 단계; 사용자를 확인하고 기존 재활 훈련 DB를 검색하는 단계; 자유 훈련, 무작위 훈련 및 추천 훈련 중에서 재활 훈련 과정을 선택하는 단계; 훈련 시작 전 상기 재활 훈련 과정을 선택하는 단계에서 선택한 훈련이 어떤 효과가 있는지 확인하는 단계; 기존 재활 훈련 DB를 바탕으로 재활 훈련 강도가 조정되는 단계; 사용자의 환경에 맞게 상기 웨어러블 센서부를 교정하는 단계; 사용자가 재활 훈련을 실시하는 단계; 훈련이 끝나면 해당 훈련 결과를 보여주는 단계; 훈련 결과를 DB화하고 제어부에 전송하는 단계; 상기 VR 콘텐츠를 종료하는 단계; 를 포함하는 것을 특징으로 하여 구성될 수 있다.Wearing a VR display unit and a wearable sensor unit; Executing VR content; Identifying a user and searching an existing rehabilitation training DB; Selecting a rehabilitation training course from free training, random training and recommended training; Identifying the effect of the selected training in the step of selecting the rehabilitation training course before the start of training; Rehabilitation training intensity is adjusted based on the existing rehabilitation training DB; Calibrating the wearable sensor unit according to a user's environment; The user performing rehabilitation training; Showing the result of the training after the training is finished; DB of the training results and transmitting to the control unit; Terminating the VR content; It may be configured to include a.

본 발명은 가상현실을 적용한 웨어러블 센서부를 활용하여 사용자가 원하는 시간과 장소에서 개별적으로 재활 훈련을 할 수 있기 때문에 재활치료를 위해 병원에 다니는 것에 비해 상대적으로 적은 비용과 시간이 들어서 병원에 다니기 어려운 환자들도 저비용으로 재활 훈련을 할 수 있다는 이점이 있다.In the present invention, the wearable sensor unit using the virtual reality can be used to individually rehabilitation training at the time and place desired by the user, so it is relatively difficult to go to the hospital due to the relatively low cost and time compared to attending the hospital for rehabilitation treatment. They also have the advantage of being able to do rehabilitation at low cost.

또한, 본 발명은 재활 훈련에 대한 피드백을 받도록 하여 더욱 정확한 자세로 재활 훈련을 할 수 있다는 이점이 있다.In addition, the present invention has the advantage that the rehabilitation training can be performed in a more accurate posture to receive feedback on the rehabilitation training.

또한, 본 발명은 특정의 뇌파를 감지하여 수집하고 뇌파 분석을 통해 VR 멀미를 저감시킬 수 있다는 이점이 있다.In addition, the present invention has the advantage that it is possible to detect and collect a specific brain wave and reduce VR motion sickness through brain wave analysis.

도 1은 본 발명인 가상현실을 이용한 재활 훈련 시스템을 개략적으로 나타낸 개념도이다.
도 2는 제어부의 구성을 간략히 나타낸 구성도이다.
도 3a는 웨어러블 센서부의 움직임 감지 센서, 터치 감지 센서, 진동 모듈을 나타내는 도면이다.
도 3b는 웨어러블 센서부의 각도 감지 모듈을 설명하기 위한 도면이다.
도 3c는 도 3b에 도시된 상세표를 클릭했을 때 나오는 정보의 실시 예이다.
도 4a는 웨어러블 센서부의 각도 감지 모듈이 측정한 각도를 나타내는 각도계의 실시 예이다.
도 4b는 VR 콘텐츠에서 각도 감지 모듈이 측정한 각도를 나타내는 실시 예이다.
도 5는 VR 디스플레이부의 구성을 간략히 나타낸 구성도이다.
도 6a는 VR 콘텐츠의 시작화면 실시 예이다.
도 6b는 VR 콘텐츠의 시작화면 NPC와 가상 치료실을 적용한 실시 예이다.
도 6c는 VR 콘텐츠의 PLAY 실시 예이다.
도 7은 VR 콘텐츠의 훈련 결과 실시 예이다.
도 8은 VR 콘텐츠의 사용자 정보 인터페이스의 실시 예이다.
도 9는 VR 콘텐츠에서 사용되는 각종 재활 훈련 동작들의 예이다.
도 10은 본 발명에 따른 가상현실을 이용한 재활 훈련 방법의 흐름도이다.
1 is a conceptual diagram schematically showing a rehabilitation training system using the present inventor virtual reality.
2 is a configuration diagram briefly showing the configuration of the controller.
3A is a diagram illustrating a motion sensor, a touch sensor, and a vibration module of the wearable sensor unit.
3B is a view for explaining an angle detection module of a wearable sensor unit.
FIG. 3C is an embodiment of information shown when the detailed table shown in FIG. 3B is clicked.
4A is an embodiment of a goniometer indicating the angle measured by the angle detection module of the wearable sensor unit.
4B is an embodiment illustrating an angle measured by an angle sensing module in VR content.
5 is a configuration diagram briefly illustrating a configuration of a VR display unit.
6A illustrates an embodiment of a start screen of VR content.
6B illustrates an embodiment in which a start screen NPC of a VR content and a virtual treatment room are applied.
6C illustrates a PLAY embodiment of VR content.
7 illustrates an embodiment of a training result of VR content.
8 is an embodiment of a user information interface of VR content.
9 is an example of various rehabilitation training operations used in VR content.
10 is a flowchart of a rehabilitation training method using virtual reality according to the present invention.

이하에서는, 본 발명의 실시 예에 따른 도면을 참조하여 설명하지만, 이는 본 발명의 더욱 용이한 이해를 위한 것으로, 본 발명의 범주가 그것에 의해 한정되는 것은 아니며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.Hereinafter, although described with reference to the drawings according to an embodiment of the present invention, which is for easier understanding of the present invention, the scope of the present invention is not limited thereto, the present invention is defined by the scope of the claims It will be.

본 발명을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이며, 명세서 전체에 걸쳐 동일 도면부호는 동일 구성요소를 지칭한다.In describing the present invention, when it is determined that a detailed description of a known function or configuration may unnecessarily obscure the subject matter of the present invention, the detailed description thereof will be omitted, and the same reference numerals refer to the same components throughout the specification. do.

도 1은 본 발명인 가상현실을 이용한 재활 훈련 시스템을 개략적으로 나타낸 개념도, 도 2는 제어부의 구성을 간략히 나타낸 구성도, 도 3a는 웨어러블 센서부의 움직임 감지 센서, 터치 감지 센서, 진동 모듈을 나타내는 도면, 도 3b는 웨어러블 센서부의 각도 감지 모듈을 설명하기 위한 도면, 도 3c는 도 3b에 도시된 상세표를 클릭했을 때 나오는 정보의 실시 예, 도 4a는 웨어러블 센서부의 각도 감지 모듈이 측정한 각도를 나타내는 각도계의 실시 예, 도 4b는 VR 콘텐츠에서 각도 감지 모듈이 측정한 각도를 나타내는 실시 예, 도 5는 VR 디스플레이부의 구성을 간략히 나타낸 구성도, 도 6a는 VR 콘텐츠의 시작화면 실시 예, 도 6b는 VR 콘텐츠의 시작화면 NPC와 가상 치료실을 적용한 실시 예, 도 6c는 VR 콘텐츠의 PLAY 실시 예, 도 7은 VR 콘텐츠의 훈련 결과 실시 예, 도 8은 VR 콘텐츠의 사용자 정보 인터페이스의 실시 예, 도 9는 VR 콘텐츠에서 사용되는 각종 재활 훈련 동작들의 예, 도 10은 본 발명에 따른 가상현실을 이용한 재활 훈련 방법의 흐름도이다.1 is a conceptual diagram schematically showing a rehabilitation training system using a virtual reality of the present invention, Figure 2 is a schematic diagram showing the configuration of the control unit, Figure 3a is a view showing a motion sensor, a touch sensor, a vibration module of the wearable sensor unit, Figure 3b is a view for explaining the angle detection module of the wearable sensor unit, Figure 3c is an embodiment of the information that appears when clicking the detailed table shown in Figure 3b, Figure 4a shows the angle measured by the angle detection module of the wearable sensor unit An embodiment of the goniometer, FIG. 4B is an embodiment showing the angle measured by the angle sensing module in the VR content, FIG. 5 is a schematic view showing the configuration of the VR display unit, FIG. 6A is a start screen embodiment of the VR content, FIG. 6B is An embodiment in which a start screen NPC of a VR content and a virtual treatment room are applied, FIG. 6C illustrates a PLAY embodiment of VR content, FIG. 7 illustrates a training result of VR content, 8 is an embodiment of a user information interface of VR content, FIG. 9 is an example of various rehabilitation training operations used in VR content, and FIG. 10 is a flowchart of a rehabilitation training method using virtual reality according to the present invention.

도 1 내지 도 10을 참조하면, 본 발명의 가상현실을 이용한 재활 훈련 시스템 및 방법은 VR 콘텐츠(100); 제어부(200); 웨어러블 센서부(300); VR 디스플레이부(400); 를 포함하여 구성될 수 있으며, 1 to 10, rehabilitation training system and method using a virtual reality of the present invention is VR content 100; Control unit 200; Wearable sensor unit 300; VR display unit 400; It can be configured to include,

VR 디스플레이부와 웨어러블 센서부를 착용하는 단계(S101); VR 콘텐츠를 실행하는 단계(S102); 사용자를 확인하고 기존 재활 훈련 DB를 검색하는 단계(S103); 자유 훈련, 무작위 훈련 및 추천 훈련 중 재활 훈련 과정을 선택하는 단계(S104); 훈련 시작 전 상기 단계(S104)에서 선택한 훈련이 어떤 효과가 있는지 확인하는 단계(S105); 기존 재활 훈련 DB를 바탕으로 재활 훈련 강도가 조정되는 단계(S106); 사용자의 환경에 맞게 웨어러블 센서부를 교정하는 단계(S107); 사용자가 재활 훈련을 실시하는 단계(S108); 훈련이 끝나면 해당 훈련 결과를 보여주는 단계(S109); 훈련 결과를 DB화하고 제어부에 전송하는 단계(S110); VR 콘텐츠를 종료하는 단계(S111); 를 포함하는 것을 특징으로 한다.Wearing a VR display unit and a wearable sensor unit (S101); Executing the VR content (S102); Identifying a user and searching an existing rehabilitation training DB (S103); Selecting a rehabilitation training course among free training, random training, and recommended training (S104); Checking the effect of the training selected in the step S104 before starting the training (S105); Rehabilitation training intensity is adjusted based on the existing rehabilitation training DB (S106); Calibrating the wearable sensor unit according to a user's environment (S107); Step S108 of the user performing rehabilitation training; After the training step (S109) showing the training result; DB of the training results and transmitting to the control unit (S110); Terminating the VR content (S111); Characterized in that it comprises a.

<VR 콘텐츠><VR content>

VR 콘텐츠(100)는 가상현실을 이용한 재활 훈련에 관한 프로그램으로서,VR content 100 is a program for rehabilitation training using virtual reality,

웨어러블 센서부(300)의 데이터와 VR 디스플레이부(400)의 데이터를 반영하여 제어부(200)에서 구동되고, 상기 VR 디스플레이부(400)의 디스플레이 모듈(410)에서 구현되어 가상환경에서 가상의 재활치료사 NPC와 함께 재활 훈련을 하는 것을 특징으로 한다.It is driven by the control unit 200 by reflecting the data of the wearable sensor unit 300 and the data of the VR display unit 400, and is implemented in the display module 410 of the VR display unit 400, the virtual rehabilitation Rehabilitation training with a therapist NPC.

이하 도 6 내지 도 9를 참조하여 VR 콘텐츠(100)를 설명한다.Hereinafter, the VR content 100 will be described with reference to FIGS. 6 to 9.

도 6a는 상기 VR 콘텐츠(100)의 시작화면 실시예이고, 도 6b는 상기 VR 콘텐츠(100)의 가상의 재활치료사 NPC와 가상 치료실을 적용한 실시예이고, 도 6c는 상기 콘텐츠(100)의 PLAY 실시예이고, 도 7은 상기 VR 콘텐츠(100)의 훈련 결과를 보여주는 실시예이고, 도 8은 상기 VR 콘텐츠(100)의 사용자 정보 인터페이스의 실시예이고, 도 9는 상기 VR 콘텐츠(100)에서 사용되는 각종 재활 훈련 동작들의 예시이다.FIG. 6A illustrates an embodiment of a start screen of the VR content 100, FIG. 6B illustrates an embodiment in which a virtual rehabilitation therapist NPC and a virtual treatment room of the VR content 100 are applied, and FIG. 6C illustrates a PLAY of the content 100. 7 is an embodiment illustrating a training result of the VR content 100, FIG. 8 is an embodiment of a user information interface of the VR content 100, and FIG. 9 is an embodiment of the VR content 100. Examples of various rehabilitation training operations used.

상기 VR 콘텐츠(100)는 사용자의 재활 훈련을 돕는 가상의 치료사 NPC가 존재하고, 재활 훈련 동작이 UI를 통해 적어도 하나 이상 제공되고, 상기 제공된 재활 훈련 동작과 웨어러블 센서부(300)에 의해 인식된 사용자의 실시 동작의 일치 정도를 분석하고, 상기 재활 훈련 동작과의 일치 정도에 따라 시각적, 청각적, 촉각적 피드백을 사용자에게 제공하고, 상기 훈련 결과를 DB화하여 저장하는 것을 특징으로 한다.The VR content 100 has a virtual therapist NPC to help the user rehabilitation training, at least one rehabilitation training operation is provided through the UI, the provided rehabilitation training operation and the wearable sensor unit 300 is recognized Analyzing the degree of agreement of the user's implementation of motion, and provides the user with visual, auditory, tactile feedback according to the degree of agreement with the rehabilitation training operation, and stores the training results by DB.

상기 VR 콘텐츠(100)가 시작되면 사용자를 확인하여 사용자 등록을 하고, 기등록된 사용자라면 기존 재활 훈련 DB를 검색한다.When the VR content 100 starts, the user is confirmed and registered, and if the user is a registered user, the existing rehabilitation training DB is searched.

이후 도 6a와 같이 자유 훈련, 무작위 훈련 및 추천 훈련 중에서 사용자가 원하는 재활 훈련 과정을 선택하면, 상기 선택한 훈련의 효과를 보여준다. Thereafter, if the user selects a desired rehabilitation training course from free training, random training, and recommended training, as shown in FIG.

이후 기등록 사용자라면 기존 재활 훈련 DB를 바탕으로 재활 훈련 강도가 피드백되어 자동으로 조정된다.After that, if the registered user is fed back the rehabilitation training intensity based on the existing rehabilitation training DB is automatically adjusted.

이후 도 6b나 도 6c와 같이 가상의 재활치료사 NPC는 UI를 통해 재활 훈련에 사용되는 동작을 하나 이상 제시하고, 사용자는 상기 UI를 통해 제공된 동작을 따라한다.6B or 6C, the virtual rehabilitation therapist NPC presents one or more operations used for rehabilitation training through the UI, and the user follows the operations provided through the UI.

상기 재활 훈련에 사용되는 동작은 도 9에 예시된 동작을 포함한다.The operations used for the rehabilitation training include the operations illustrated in FIG. 9.

한편, 상기 웨어러블 센서부(300)의 각 감지 모듈은 사용자가 실시하는 동작을 인식하여 VR 콘텐츠(100)에 반영하고, 상기 사용자가 실시하는 동작은 VR 콘텐츠(100)에서 가상의 이미지로 표현된다.Meanwhile, each sensing module of the wearable sensor unit 300 recognizes an operation performed by a user and reflects the same on the VR content 100, and the operation performed by the user is represented as a virtual image in the VR content 100. .

이후 상기 UI를 통해 제공된 동작과 상기 사용자가 실시하는 동작의 일치 정도가 판단되고, 상기 일치 정도에 따라 VR 디스플레이부(400)의 스피커 모듈(430)에서 청각적 알림을 제공하여, 사용자가 정확한 동작에 대해 피드백을 받도록 구성할 수 있다.Thereafter, the degree of matching between the operation provided by the UI and the operation performed by the user is determined, and an acoustic notification is provided by the speaker module 430 of the VR display unit 400 according to the degree of matching, so that the user may correct the operation. Can be configured to receive feedback on.

또한, 상기 일치 정도에 따라 상기 웨어러블 센서부(300)의 진동 모듈(340)에서 사용자에게 진동 촉각 경험을 제공하여, 사용자가 정확한 동작에 대해 피드백을 받도록 구성할 수 있다.In addition, the vibration module 340 of the wearable sensor unit 300 may provide a vibration tactile experience to the user according to the degree of matching, so that the user may receive feedback on the correct operation.

이후, 훈련 결과는 도 7과 같은 화면으로 제공되고, 사용자는 기록을 확인하고 콘텐츠를 종료하거나 훈련을 계속 이어서 한다.Thereafter, the training result is provided to the screen as shown in FIG. 7, and the user checks the record and terminates the content or continues the training.

상기 훈련 결과는 DB화되어 제어부(200)로 전송되고 저장된다.The training result is converted into a DB and transmitted to and stored in the control unit 200.

VR 콘텐츠(100)에 대해 조금 더 상세히 설명하자면,To describe the VR content 100 in more detail,

상기 VR 콘텐츠(100)는 웨어러블 센서부(300)를 이용한 VR 환경에서 가상의 재활치료사 NPC가 제시하는 각종 재활 훈련 동작을 따라하면서 훈련하는 게임형 콘텐츠이다.The VR content 100 is a game type content that is trained while following various rehabilitation training operations presented by a virtual rehabilitation therapist NPC in a VR environment using the wearable sensor unit 300.

상기 VR 콘텐츠(100)는 다양한 재활 훈련 동작을 제공하고, 사용자는 지루하지 않게 재활 훈련을 지속할 수 있으며, 사용자는 필요한 훈련을 맞춤 반복 시행하여 집중 재활 효과를 기대할 수 있다.The VR content 100 provides a variety of rehabilitation training operation, the user can continue the rehabilitation training not bored, the user can expect the intensive rehabilitation effect by performing the necessary repetitive training.

또한, 훈련 중에는 UI를 통해 제공된 재활 훈련 동작과 사용자의 실시 동작의 일치 정도를 VR 디스플레이부(400)의 스피커 모듈(430)에서 작동되는 청각적 알림을 통해 피드백 받도록 할 수 있다.In addition, during training, the degree of matching between the rehabilitation training operation provided through the UI and the user's implementation may be fed back through an audio notification operated by the speaker module 430 of the VR display 400.

또한, 훈련 중에는 UI를 통해 제공된 재활 훈련 동작과 사용자의 실시 동작의 일치 정도를 웨어러블 센서부(300)의 진동 모듈(340)에서 작동되는 진동을 통해 피드백 받도록 할 수 있다.In addition, during training, the degree of correspondence between the rehabilitation training motion provided through the UI and the user's implementation motion may be fed back through vibrations operated by the vibration module 340 of the wearable sensor unit 300.

또한, 훈련이 끝나면 훈련 결과가 시각적 화면으로 제공되고, 상기 훈련 결과는 DB화되어 기록되며, 사용자는 시간에 따른 호전 정도와 자신에게 필요한 훈련 부위가 어디인지 직관적으로 알 수 있다.In addition, after the training is completed, the training results are provided on a visual screen, and the training results are recorded as a DB, and the user can intuitively know the degree of improvement over time and where the training site is needed.

또한, 상기 웨어러블 센서부(300)와 연계하여 손가락의 움직임을 VR에 반영하고, 호감 가는 인상의 가상의 재활치료사 NPC를 통해 가상현실에서 개인 주치의에게 일대일 재활 치료를 받는 듯한 느낌을 제공하며, 공간 및 사회 환경을 초월하여 재활 훈련의 만족감을 높일 수 있다.In addition, in conjunction with the wearable sensor unit 300 reflects the movement of the finger to the VR, through the virtual rehabilitation therapist NPC of a pleasing impression provides a feeling of receiving one-on-one rehabilitation treatment to the individual doctor in virtual reality, space And beyond the social environment can increase the satisfaction of rehabilitation training.

또한, VR 체험을 통한 넓은 시야를 이용해 다양한 활동과 시원한 시야를 동시에 확보할 수 있을 것이고, 점수 기록 관리를 통한 게임 효과를 통해 재활 훈련 효과를 극대화할 수 있다. In addition, by using a wide field of view through the VR experience will be able to secure a variety of activities and cool vision at the same time, through the game effect through the score record management can maximize the effect of rehabilitation training.

또한, 유저 DB를 활용한 리더보드 등을 이용하거나, 수수께끼 상자를 통해 다양한 게임 보상을 제공하거나, 가상 여행 체험을 통해 시공간을 초월한 체험을 제공하는 등의 경쟁 효과를 재활 훈련 대상자에게 불러일으켜 재활 훈련 효과를 더욱 향상시킬 수 있을 것이다.In addition, rehabilitation training can be brought to the rehabilitation subjects by using the leaderboard utilizing the user DB, providing various game rewards through a mystery box, or providing time-space experiences through a virtual tour experience. The effect will be further improved.

또한, 조금 더 현실감 있는 가상현실을 위해, 전신 디바이스에 대비하여 신체 각부 관절을 해부학적으로 모사하고 전기자극 피드백을 사용한 햅틱 기능을 탑재할 수 있다.In addition, for a more realistic virtual reality, it is possible to anatomically simulate the joints of each part of the body in preparation for the whole body device and to include a haptic function using electric stimulation feedback.

한편, 상기 VR 콘텐츠(100)는 전술한 내용에 한정되는 것은 아니며, 재활훈련을 위한 다양한 내용이 포함될 수 있다.On the other hand, the VR content 100 is not limited to the above-described content, may include a variety of content for rehabilitation training.

<제어부><Control part>

도 2에 도시된 것과 같이 제어부(200)는 VR 콘텐츠 구동 모듈(210), 통신 모듈(220), 데이터 저장 모듈(230), 자세 일치 판단 모듈(240) 및 재활 훈련 강도 조절 모듈(250)을 포함할 수 있다.As shown in FIG. 2, the controller 200 controls the VR content driving module 210, the communication module 220, the data storage module 230, the posture matching determination module 240, and the rehabilitation training intensity adjusting module 250. It may include.

상기 제어부(200)는 상기 VR 콘텐츠 구동 모듈(210)을 통해 전술한 VR 콘텐츠(100)를 구동하고, 후술될 웨어러블 센서부(300), VR 디스플레이부(400)와 유선 또는 무선으로 연결되어, 상기 통신 모듈(220)을 통해 데이터를 주고받을 수 있으며, 전송받은 데이터는 상기 데이터 저장 모듈(230)에 저장된다.The controller 200 drives the above-described VR content 100 through the VR content driving module 210, and is connected to the wearable sensor unit 300 and the VR display unit 400 to be described later by wire or wirelessly. Data may be exchanged through the communication module 220, and the received data may be stored in the data storage module 230.

상기 제어부(200)에 대해 조금 더 구체적으로 설명하자면, To describe the control unit 200 in more detail,

상기 VR 콘텐츠 구동 모듈(210)은 사용자의 재활훈련 DB를 딥러닝하여 사용자에게 가장 적합한 재활훈련을 위한 VR 콘텐츠(100)를 선택하여 구동할 수 있다.The VR content driving module 210 may deeply run the rehabilitation DB of the user to select and drive the VR content 100 for rehabilitation training that is most suitable for the user.

예를 들어, VR 콘텐츠(100) 중 사용자가 쉽게 따라하는 프로그램은 제외하고, 사용자가 쉽게 따라하지 못한 프로그램을 우선적으로 구동하도록 구성할 수 있다.For example, except for a program that the user easily follows, the VR content 100 may be configured to preferentially run a program that the user does not easily follow.

이렇게 구동된 VR 콘텐츠(100)는 상기 통신 모듈(220)을 통해 VR 디스플레이부(400)에 전송되고, 상기 VR 콘텐츠(100)는 상기 VR 디스플레이부(400)의 디스플레이 모듈(410)에서 구현된다.The VR content 100 driven as described above is transmitted to the VR display unit 400 through the communication module 220, and the VR content 100 is implemented in the display module 410 of the VR display unit 400. .

상기 제어부(200)는 상기 통신 모듈(220)을 이용하여 상기 VR 디스플레이부(400)의 움직임 감지 모듈(420)에서 측정된 데이터를 전송받아 상기 VR 콘텐츠(100)에 반영하며, 상기 VR 콘텐츠(100)는 상기 VR 디스플레이부(400)의 움직임에 따라 변하게 된다.The controller 200 receives the data measured by the motion detection module 420 of the VR display unit 400 using the communication module 220 and reflects the data to the VR content 100. 100 is changed according to the movement of the VR display 400.

또한, 상기 제어부(200)는 상기 웨어러블 센서부(300)의 움직임 감지 모듈(310), 각도 감지 모듈(320), 터치 감지 모듈(330)에서 측정된 사용자의 실시 동작에 대한 데이터를 전송받아 상기 VR 콘텐츠(100)에 반영하고, 상기 사용자가 실시하는 동작은 VR 콘텐츠(100)에서 가상의 이미지로 표현된다.In addition, the control unit 200 receives the data on the user's implementation measured in the motion detection module 310, the angle detection module 320, the touch detection module 330 of the wearable sensor unit 300 The operations reflected on the VR content 100 and performed by the user are represented as virtual images in the VR content 100.

또한, 상기 제어부(200)는 상기 웨어러블 센서부(300)의 감지 모듈에서 측정된 사용자의 실시 동작에 대한 데이터를 전송받고, 상기 데이터를 바탕으로 상기 자세 일치 판단 모듈(240)은 상기 VR 콘텐츠(100)에서 제시한 재활 훈련 동작과 상기 사용자의 실시 동작의 일치 정도를 판단한다. In addition, the control unit 200 receives data on the user's execution operation measured by the detection module of the wearable sensor unit 300, and based on the data, the posture matching determination module 240 is the VR content ( The degree of correspondence between the rehabilitation training action suggested by step 100 and the user's implementation action is determined.

또한, 상기 제어부(200)는 상기 일치 정도를 백분율로 표현하여 적어도 하나 이상의 구간으로 나누고, 상기 구간에 따라 상기 VR 디스플레이부(400)의 스피커 모듈(430)에 각각 다른 신호를 보내 사용자에게 각각 다른 청각적 알림을 제공하고, 이에 의해 사용자는 정확한 재활 훈련 동작에 대한 피드백을 받도록 구성될 수 있다.In addition, the controller 200 expresses the degree of matching as a percentage and divides the signal into at least one or more sections, and sends different signals to the speaker module 430 of the VR display unit 400 according to the sections, respectively. Provide an audible notification, whereby the user can be configured to receive feedback on the correct rehabilitation training operation.

또한, 상기 제어부(200)는 상기 일치 정도를 백분율로 표현하여 적어도 하나 이상의 구간으로 나누고, 상기 구간에 따라 상기 웨어러블 센서부(300)의 진동 모듈(340)에 각각 다른 신호를 보내 사용자에게 각각 다른 세기의 진동 촉각 경험을 제공하고, 이에 의해 사용자는 정확한 재활 훈련 동작에 대한 피드백을 받도록 구성될 수 있다.In addition, the controller 200 expresses the degree of matching as a percentage and divides the signal into at least one or more sections, and sends different signals to the vibration module 340 of the wearable sensor unit 300 according to the sections, respectively. Provide a vibratory tactile experience of intensity, whereby the user can be configured to receive feedback on correct rehabilitation training movements.

또한, 상기 제어부(200)는 상기 VR 콘텐츠(100)의 훈련 결과를 포함한 데이터를 전송받아 상기 데이터 저장 모듈(230)에 저장하고, 상기 데이터를 바탕으로 상기 재활 훈련 강도 조절 모듈(250)은 재활 훈련 강도를 현재 사용자에게 적합하도록 조정한다.In addition, the control unit 200 receives the data including the training result of the VR content 100 and stores it in the data storage module 230, the rehabilitation training intensity control module 250 is based on the data rehabilitation Adjust the training intensity to suit your current user.

한편, 상기 제어부(200)는 상기 VR 디스플레이부(400)를 이용 중인 사용자의 뇌파를 분석하는 뇌파 분석 모듈(260)을 더 포함할 수 있다.The controller 200 may further include an EEG analysis module 260 that analyzes the EEG of the user who is using the VR display 400.

구체적으로, 상기 제어부(200)는 상기 VR 디스플레이부(400)의 뇌파 감지 모듈(440)에서 측정된 데이터를 전송받아 상기 데이터 저장 모듈(230)에 저장하고, 상기 데이터를 바탕으로 상기 뇌파 분석 모듈(260)은 사용자가 멀미 상태인지 여부를 판단하도록 구성될 수 있다.Specifically, the control unit 200 receives the data measured by the brain wave detection module 440 of the VR display unit 400 and stores the data in the data storage module 230, the brain wave analysis module based on the data 260 may be configured to determine whether the user is sick.

상기 뇌파 분석 모듈(260)에 대해 조금 더 구체적으로 설명하자면, 상기 뇌파 분석 모듈(260)은 VR 디스플레이부(400)를 이용 중인 사용자가 멀미인지 여부를 판단하기 위한 사용자별 기준값을 구비할 수 있다.In more detail, the EEG analysis module 260 may include a reference value for each user for determining whether a user who is using the VR display unit 400 is sick. .

예를 들어 상기 뇌파 분석 모듈(260)은 사용자가 VR 콘텐츠(100)를 이용 중일 때의 알파파가 VR 콘텐츠(100)를 이용하기 전의 알파파와 비교될 수 있도록 베이스라인 파워를 사용자별로 설정할 수 있다.For example, the EEG analysis module 260 may set baseline power for each user so that an alpha wave when the user is using the VR content 100 can be compared with an alpha wave before using the VR content 100. .

구체적으로 상기 뇌파 분석 모듈(260)은 사용자가 VR 콘텐츠(100)에서 제공되는 미리 설정된 기준영상이 출력되는 상태에서 측정되는 사용자의 뇌파를 이용하여 베이스라인 파워를 설정할 수 있다.In more detail, the EEG analysis module 260 may set the baseline power using the EEG of the user measured in a state in which the preset reference image provided from the VR content 100 is output.

상기 기준영상은 사용자가 가상현실 디스플레이 장치를 이용하더라도 멀미 현상을 느낄 수 없는 영상을 의미하며, 이는 정지된 영상 또는 고정된 이미지일 수 있다.The reference image refers to an image in which a user cannot feel motion sickness even when the user uses the virtual reality display device. The reference image may be a still image or a fixed image.

이러한 뇌파 분석 모듈(260)은 후술할 VR 디스플레이부(400)의 뇌파 감지 모듈(440)로부터 데이터를 전송받고, 전송받은 데이터를 미리 측정된 베이스라인 파워와 비교하여 파워 변화량을 산출하며, 산출된 파워 변화량을 미리 정해진 임계구간과 비교하여 사용자가 멀미 상태인지를 실시간으로 판단하도록 구성될 수 있다.The brain wave analysis module 260 receives data from the brain wave detection module 440 of the VR display unit 400 to be described later, and compares the received data with a previously measured baseline power to calculate a power change amount. The power change amount may be compared with a predetermined threshold section to determine in real time whether the user is sick.

또한, 상기 제어부(200)는 상기 VR 디스플레이부(400)의 카메라 모듈(450)에서 촬영한 영상에 관한 데이터를 전송받아 상기 데이터 저장 모듈(230)에 저장하고, 상기 영상 데이터를 VR 콘텐츠에 반영 할 수 있다.In addition, the controller 200 receives data regarding an image captured by the camera module 450 of the VR display unit 400 and stores the data in the data storage module 230 and reflects the image data in VR content. can do.

예를 들어, 상기 뇌파 분석 모듈(260)에서 현재 사용자가 멀미 상태라고 판단하는 경우에는 상기 카메라 모듈(450)에서 촬영하고 있는 영상을 VR 콘텐츠(100)에서 우선 제공되도록 하여 사용자가 멀미 상태에서 벗어나도록 구성될 수 있다.For example, when the brain wave analysis module 260 determines that the current user is in motion sickness, the image captured by the camera module 450 is first provided in the VR content 100 so that the user may be out of motion sickness. It can be configured to.

또한, 상기 뇌파 분석 모듈(260)에서 현재 사용자가 멀미 상태라고 판단하는 경우에는 VR 디스플레이부(400)에서 구현되는 VR 콘텐츠(100)의 시야각이 변경되도록 구성될 수 있다.In addition, when the brain wave analysis module 260 determines that the current user is sick, the view angle of the VR content 100 implemented in the VR display 400 may be changed.

<웨어러블 센서부><Wearable sensor part>

도 3a 내지 도 3b에 도시된 것과 같이 웨어러블 센서부(300)는 움직임 감지 모듈(310), 각도 감지 모듈(320), 터치 감지 모듈(330), 진동 모듈(340) 및 통신 모듈(미도시)을 포함할 수 있다.As shown in FIGS. 3A to 3B, the wearable sensor unit 300 includes a motion detection module 310, an angle detection module 320, a touch detection module 330, a vibration module 340, and a communication module (not shown). It may include.

상기 웨어러블 센서부(300)는 전술한 제어부(200) 및 후술될 VR 디스플레이부(400)와 유선 또는 무선으로 연결되어, 상기 통신 모듈(미도시)을 통해 데이터를 주고받을 수 있다.The wearable sensor unit 300 may be connected to the control unit 200 and the VR display unit 400 to be described later by wire or wirelessly to exchange data through the communication module (not shown).

상기 움직임 감지 모듈(310), 각도 감지 모듈(320), 터치 감지 모듈(330)에 의해 사용자의 행동이 인식되며, 상기 진동 모듈(340)은 사용자에게 진동 촉각 경험을 제공한다.The user's behavior is recognized by the motion detection module 310, the angle detection module 320, and the touch detection module 330, and the vibration module 340 provides a vibration tactile experience to the user.

상기 움직임 감지 모듈(310)은 소정의 위치에 적어도 하나 이상 설치되어 손바닥과 손가락의 움직임을 감지하고, 상기 각도 감지 모듈(320)은 소정의 위치에 적어도 하나 이상 설치되어 손가락 각도를 측정하며, 상기 터치 감지 모듈(330)은 소정의 위치에 적어도 하나 이상 설치되어 손가락 관절의 터치를 인식하도록 구성될 수 있다.The motion detection module 310 is installed at least one at a predetermined position to detect the movement of the palm and fingers, the angle detection module 320 is installed at least one at a predetermined position to measure the finger angle, At least one touch sensing module 330 may be installed at a predetermined position and configured to recognize a touch of a finger joint.

상기 감지 모듈을 조금 더 상세히 설명하자면,To describe the sensing module in more detail,

상기 움직임 감지 모듈(310)은 손바닥을 사전에 임의로 정하여 구분한 구역과 각 손가락의 각 관절 구역을 구분하여 구분된 구역마다 설치될 수 있다.The motion detection module 310 may be installed in each of the divided areas by dividing the joint area of the palm and the joint area of each finger.

상기 각도 감지 모듈(320)은 각 손가락의 움직임을 감지하여 움직이는 각도를 측정할 수 있도록 각 손가락의 관절부위마다 설치될 수 있다.The angle detection module 320 may be installed for each joint portion of each finger to detect the movement of each finger and measure the moving angle.

상기 터치 감지 모듈(330)은 각 손가락의 관절을 터치할 때 인식할 수 있도록 각 손가락의 관절부위마다 설치될 수 있다.The touch sensing module 330 may be installed for each joint portion of each finger so that the touch sensing module 330 may recognize when touching the joint of each finger.

상기 진동 모듈(340)은 소정의 위치에 적어도 하나 이상 설치되어 사용자에게 진동 촉각 경험을 제공하여 사용자가 재활 훈련 동작에 대해 피드백을 받도록 구성될 수 있다.The vibration module 340 may be configured to provide at least one vibration tactile experience to a user to receive feedback on a rehabilitation training operation.

한편, 상기 감지 모듈은 더욱 정밀한 감지를 위해 노이즈제거 유닛을 포함할 수 있다.On the other hand, the detection module may include a noise removing unit for more precise detection.

예를 들어 상기 노이즈제거 유닛에서는 소정의 시간 간격으로 노이즈가 포함된 전압을 샘플링하고, 샘플링된 전압에 대해 그 직전에 샘플링된 전압과 비교하여 그 값들간의 차이가 소정의 범위 내에 있는 경우에는 후에 샘플링된 전압을 채택하고, 상기 값들간의 차이가 소정의 범위를 벗어나는 경우에는 그 직전에 샘플링한 전압을 채택하도록 구성될 수 있다.For example, the noise removing unit samples a voltage including noise at predetermined time intervals, and when the difference between the values is within a predetermined range compared to the voltage sampled immediately before the sampled voltage, It may be configured to adopt the sampled voltage, and to adopt the voltage sampled immediately before the difference between the values is outside the predetermined range.

구체적으로 상기 소정의 범위를 A라고 하는 경우, 샘플링된 전압의 차의 절댓값이 A보다 작은 경우에는 후에 샘플링된 전압은 노이즈가 없는 것으로 판단하여 채택하나, 샘플링된 전압의 차의 절댓값이 A보다 큰 경우에는 후에 샘플링된 전압은 노이즈가 포함된 것으로 판단하여 채택하지 않고 전에 샘플링된 전압을 채택하도록 구성할 수 있을 것이다.Specifically, in the case where the predetermined range is A, when the absolute value of the difference of the sampled voltage is smaller than A, the sampled voltage is later determined to be noiseless and adopted, but the absolute value of the difference of the sampled voltage is larger than A. In this case, the later sampled voltage may be configured to adopt the previously sampled voltage without determining that it contains noise.

한편, 샘플링 시간 간격과 전압의 차의 절댓값은 변경 가능하며, 일반적으로 신호 처리에서 쓰이는 밴드패스 필터 등을 이용하여 노이즈를 제거할 수도 있을 것이다.On the other hand, the absolute value of the difference between the sampling time interval and the voltage can be changed, and the noise may be removed by using a bandpass filter generally used in signal processing.

도 3a 내지 도 4b는 상기 웨어러블 센서부(300)의 일 실시예로 이를 참조하여 상기 웨어러블 센서부(300)를 조금 더 구체적으로 설명한다.3A to 4B illustrate an example of the wearable sensor unit 300, which will be described in more detail with reference to the wearable sensor unit 300.

도 3a를 참조하면, 상기 웨어러블 센서부(300)의 움직임 감지 모듈(310)과 터치 감지 모듈(330) 및 진동 모듈(340)의 위치를 알 수 있고, 도 3b와 도 3c를 참조하면, 상기 웨어러블 센서부(300)의 각도 감지 모듈(320)의 위치를 알 수 있다. Referring to FIG. 3A, the positions of the motion detection module 310, the touch detection module 330, and the vibration module 340 of the wearable sensor unit 300 may be known. Referring to FIGS. 3B and 3C, the The position of the angle detection module 320 of the wearable sensor unit 300 may be known.

한편, 상기 움직임 감지 모듈(310), 각도 감지 모듈(320), 터치 감지 모듈(330), 진동 모듈(340)의 위치는 이에 한정되는 것은 아니고 필요에 따라 변경 가능하다.Meanwhile, the positions of the motion detection module 310, the angle detection module 320, the touch detection module 330, and the vibration module 340 are not limited thereto and may be changed as necessary.

도 4a는 상기 각도 감지 모듈(320)이 측정한 각도를 나타내는 각도계의 실시예이고, 도 4b는 VR 콘텐츠(100)에서 상기 각도 감지 센서가 측정한 각도를 나타내는 실시예이다.4A is an embodiment of the goniometer indicating the angle measured by the angle detection module 320, Figure 4B is an embodiment showing the angle measured by the angle detection sensor in the VR content (100).

상기 터치 감지 모듈(330)을 이용하여, 손가락 관절을 터치(클릭)하여, 해당 관절 데이터가 각도기에 반영되도록 할 수 있다. 클릭한 관절 역시 UI로 표시하여 나타낼 수 있을 것이다. 이러한 실시예로, 도 3b의 상세표를 터치했을 때 나오는 도 3c와 유사하게 적용시킬 수 있을 것이다.By using the touch sensing module 330, a finger joint may be touched (clicked) so that the corresponding joint data is reflected in the protractor. Clicked joints can also be displayed in the UI. In this embodiment, it may be applied similarly to FIG. 3C when the detailed table of FIG. 3B is touched.

상기 움직임 감지 모듈(310), 상기 각도 감지 모듈(320), 상기 터치 감지 모듈(330)에 의해 사용자의 실시 동작은 인식되고, 상기 감지 모듈에서 측정된 데이터는 제어부(200)로 전송되어 상기 VR 콘텐츠(100)에 반영되고, 상기 사용자가 실시하는 동작은 VR 콘텐츠(100)에서 가상의 이미지로 표현된다.The user's implementation is recognized by the motion detection module 310, the angle detection module 320, and the touch detection module 330, and the data measured by the detection module is transmitted to the controller 200 to provide the VR. Reflected in the content 100, the actions performed by the user are represented as virtual images in the VR content 100.

한편, 상기 웨어러블 센서부(300)은 구동 모듈(미도시)을 더 포함할 수 있으며, 소정의 신호에 의해 움직이도록 구성될 수 있다.On the other hand, the wearable sensor unit 300 may further include a driving module (not shown), it may be configured to move by a predetermined signal.

예를 들어, 사용자에게 재활 훈련 동작에 대해 설명할 때 구동 모듈(미도시)을 이용하여 실제 훈련 동작을 체험하도록 구성하면 재활 훈련 효과를 높일 수 있을 것이다.For example, when explaining the rehabilitation training operation to the user to configure the actual training movement by using a drive module (not shown) it will be possible to increase the rehabilitation training effect.

또한, 상기 웨어러블 센서부(300)는 장갑에 한정되지 않으며 재활 훈련이 필요한 부위에 맞게 구성될 수 있다.In addition, the wearable sensor unit 300 is not limited to the glove and may be configured to fit the site that requires rehabilitation training.

<VR 디스플레이부><VR display part>

도 5에 도시된 것과 같이 VR 디스플레이부(400)는 디스플레이 모듈(410), 움직임 감지 모듈(420), 스피커 모듈(430) 및 통신 모듈(460)을 포함할 수 있다.As shown in FIG. 5, the VR display unit 400 may include a display module 410, a motion detection module 420, a speaker module 430, and a communication module 460.

상기 VR 디스플레이부(400)는 전술한 제어부(200), 웨어러블 센서부(300)와 유선 또는 무선으로 연결되어, 상기 통신 모듈(460)을 통해 데이터를 주고받을 수 있다.The VR display unit 400 may be connected to the control unit 200 and the wearable sensor unit 300 by wire or wirelessly to exchange data through the communication module 460.

상기 VR 디스플레이부(400)는 상기 제어부(200)에서 구동된 VR 콘텐츠(100)를 전송받으며, 전송받은 VR 콘텐츠(100)는 상기 디스플레이 모듈(410)에서 구현되어 사용자에게 제공된다.The VR display unit 400 receives the VR content 100 driven by the controller 200, and the received VR content 100 is implemented in the display module 410 and provided to the user.

상기 VR 디스플레이부(400)의 움직임 감지 모듈(420)은 사용자의 머리 움직임을 감지하여 데이터를 측정하고, 측정된 데이터는 상기 제어부(200)에 전송되어 VR 콘텐츠(100)에 반영되며, 이에 의해 상기 VR 콘텐츠(100)는 사용자의 움직임에 따라 가상현실 환경이 변하도록 구성될 수 있다.The motion detection module 420 of the VR display unit 400 measures data by detecting a user's head movement, and the measured data is transmitted to the controller 200 to be reflected in the VR content 100. The VR content 100 may be configured to change the virtual reality environment according to the movement of the user.

한편, 상기 움직임 감지 모듈(420)은 더욱 정밀한 움직임 감지를 위해 전술한 노이즈제거 유닛을 포함하여 구성될 수 있다.On the other hand, the motion detection module 420 may be configured to include the noise removal unit described above for more precise motion detection.

상기 VR 디스플레이부(400)의 스피커 모듈(430)은 상기 VR 콘텐츠(100)의 사운드를 제공할 뿐만 아니라, 상기 제어부(200)로부터 신호를 받아 사용자에게 청각적 알림을 제공하여 사용자가 재활 훈련 동작에 대해 피드백을 받도록 구성될 수 있다.The speaker module 430 of the VR display unit 400 not only provides the sound of the VR content 100, but also receives a signal from the control unit 200 and provides an audible notification to the user so that the user operates the rehabilitation training. It may be configured to receive feedback on.

또한, 상기 VR 디스플레이부(400)는 사용자의 뇌파를 감지하는 뇌파 감지 모듈(440)과 VR 디스플레이부(400) 착용시 외부를 촬영하는 카메라 모듈(450)을 더 포함할 수 있다.In addition, the VR display unit 400 may further include an EEG detection module 440 for detecting the brain wave of the user and a camera module 450 for photographing the outside when the VR display 400 is worn.

상기 뇌파 감지 모듈(440)에 대해 조금 더 구체적으로 설명하자면,To describe the EEG module 440 in more detail,

상기 뇌파 감지 모듈(440)은 사용자의 머리의 서로 다른 위치에 부착된 복수의 전극으로부터 뇌파를 수신한다.The EEG module 440 receives EEG from a plurality of electrodes attached to different positions of the user's head.

한편, 상기 뇌파 측정에 사용되는 전극으로는 느린 전압의 변화도 정확히 측정 가능한 Ag-AgCl 디스크를 사용함이 바람직하나 이에 한정되는 것은 아니다.On the other hand, as the electrode used for the EEG measurement, it is preferable to use an Ag-AgCl disc capable of accurately measuring a slow voltage change, but is not limited thereto.

이러한 전극을 이용하면 뇌파를 검출할 수 있는데, 일반적으로 뇌파의 주파수는 델타파(Delta wave), 세타파(Theta wave), 알파파(Alpha wave), 베타파(Beta Wave), 감마파(Gamma wave)로 분류되고, 델타파는 0.2 ~ 4Hz 주파수의 신호, 세타파는 4 ~ 8Hz 주파수의 신호, 알파파는 8 ~ 12Hz 주파수의 신호, 베타파는 12 ~ 30Hz 주파수의 신호, 감마파는 30Hz 이상 주파수의 신호이다.Electrodes can be detected using these electrodes, and in general, the frequency of the brain waves is delta wave, theta wave, alpha wave, beta wave, gamma wave. Delta waves are signals with a frequency of 0.2-4Hz, theta waves are signals with a frequency of 4-8Hz, alpha waves are signals with a frequency of 8-12Hz, beta waves are signals with a frequency of 12-30Hz, and gamma waves are signals with a frequency above 30Hz.

구체적으로 델타파는 깊은 잠에 빠져 있을 때 관측되는 뇌파이며, 세타파는 정신을 집중하여 두뇌 내부의 정보를 활용할 때나 논리적 사고 문제 풀이를 집중할 때 발생하는 뇌파이다. 그리고 알파파는 정신을 집중하여 두뇌 내부의 정보를 활용할 때 발생하는 뇌파이고, 베타파는 육체활동을 할 때나 어떠한 것에 몰두할 때 주로 발생하는 뇌파이며, 감마파는 긴장과 능동적 고도의 복합 정신 기능을 수행할 때 발생하는 뇌파이다.Specifically, delta waves are brain waves that are observed when you are in deep sleep, and theta waves are brain waves that occur when you concentrate on using the information inside your brain and concentrate on solving logical thinking problems. Alpha waves are brain waves that occur when people concentrate their minds and utilize information inside the brain. Beta waves are brain waves that occur mainly when they are physically active or when they are immersed in something. Gamma waves are when tension and active high-level mental functions are performed. It is an electroencephalogram that occurs.

한편, 멀미는 뇌파 중에 특히 알파파와 관련되므로, 상기 수신된 뇌파에서 알파파 영역의 뇌파를 추출하여 파워 스펙트럼을 측정하고, 측정된 파워 스펙트럼을 FFT(Fast Fourier Transform)으로 변환하여 파워 스펙트럼 밀도를 산출한다.On the other hand, motion sickness is related to alpha waves in particular among the EEG, so that the power spectrum is measured by extracting the EEG in the alpha wave region from the received EEG, and converting the measured power spectrum into a Fast Fourier Transform (FFT) to calculate the power spectral density. do.

이러한 뇌파 감지 모듈(440)은 더욱 정밀한 감지를 위해 노이즈 제거 및 신호 증폭 등 데이터 전처리 유닛을 포함하고, 데이터 수집 장치로 Emotive Epoc+ 장치를 사용함이 바람직하나 이에 한정되는 것은 아니다.The EEG detection module 440 includes a data preprocessing unit such as noise removal and signal amplification for more accurate detection, and preferably uses an Emotive Epoc + device as a data collection device, but is not limited thereto.

상기 뇌파 감지 모듈(440)에서 산출된 파워 스펙트럼 밀도를 포함한 데이터는 제어부(200)로 전송되며, 전송된 데이터를 바탕으로 상기 제어부(200)의 뇌파 분석 모듈(260)에서 사용자가 멀미 상태인지 여부가 판단된다.Data including the power spectral density calculated by the EEG detection module 440 is transmitted to the control unit 200, and whether the user is sick in the EEG analysis module 260 of the control unit 200 based on the transmitted data. Is judged.

상기 VR 디스플레이부(400)의 카메라 모듈(450)은 사용자가 VR 디스플레이부(400)를 착용 시 사용자의 시선 방향을 촬영하도록 상기 VR 디스플레이부(400)의 외주면에 설치될 수 있다.The camera module 450 of the VR display unit 400 may be installed on an outer circumferential surface of the VR display unit 400 to photograph the user's gaze direction when the user wears the VR display unit 400.

이에 의해, 상기 카메라 모듈(450)은 사용자가 VR 디스플레이부(400)를 착용하지 않은 상태에서 바라보는 것과 같은 영상을 촬영하도록 구성될 수 있다.As a result, the camera module 450 may be configured to capture an image as seen by a user without wearing the VR display 400.

<가상현실을 이용한 재활 훈련 방법><Rehabilitation Training Method Using Virtual Reality>

이하, 도 10을 참조하여 가상현실을 이용한 재활 훈련 방법을 설명한다.Hereinafter, a rehabilitation training method using virtual reality will be described with reference to FIG. 10.

가상현실을 이용한 재활 훈련 방법의 기본 흐름으로는,As a basic flow of rehabilitation training method using virtual reality,

VR 디스플레이부와 웨어러블 센서부를 착용하는 단계(S101);Wearing a VR display unit and a wearable sensor unit (S101);

VR 콘텐츠를 실행하는 단계(S102);Executing the VR content (S102);

사용자를 확인하고 기존 재활 훈련 DB를 검색하는 단계(S103);Identifying a user and searching an existing rehabilitation training DB (S103);

자유 훈련, 무작위 훈련 및 추천 훈련 중 재활 훈련 과정을 선택하는 단계(S104);Selecting a rehabilitation training course among free training, random training, and recommended training (S104);

훈련 시작 전 상기 재활 훈련 과정을 선택하는 단계에서 선택한 훈련이 어떤 효과가 있는지 확인하는 단계(S105);Confirming the effect of the selected training in the step of selecting the rehabilitation training process before starting training (S105);

기존 재활 훈련 DB를 바탕으로 재활 훈련 강도가 조정되는 단계(S106);Rehabilitation training intensity is adjusted based on the existing rehabilitation training DB (S106);

사용자의 환경에 맞게 웨어러블 센서부를 교정하는 단계(S107);Calibrating the wearable sensor unit according to a user's environment (S107);

사용자가 재활 훈련을 실시하는 단계(S108);Step S108 of the user performing rehabilitation training;

훈련이 끝나면 해당 훈련 결과를 보여주는 단계(S109);After the training step (S109) showing the training result;

훈련 결과를 DB화하고 제어부에 전송하는 단계(S110);DB of the training results and transmitting to the control unit (S110);

상기 VR 콘텐츠를 종료하는 단계(S111); 로 이루어질 수 있다.Terminating the VR content (S111); It may be made of.

조금 더 구체적으로 설명하자면,To be more specific,

사용자는 웨어러블 센서부(300)와 VR 디스플레이부(400)를 착용하고, VR 콘텐츠(100)를 실행한다.The user wears the wearable sensor unit 300 and the VR display unit 400 to execute the VR content 100.

상기 VR 콘텐츠(100)가 시작되면 가상의 재활치료사 NPC가 앞에 앉아 있고 사용자를 확인하는 화면이 나타난다.When the VR content 100 starts, a virtual rehabilitation therapist NPC sits in front of the user screen.

등록되지 않은 사용자라면 사용자 등록을 하고, 기등록된 사용자라면 기존 재활 훈련 DB를 검색한다.If the user is not registered, the user is registered. If the user is already registered, the existing rehabilitation training DB is searched.

이후 도 6a와 같이 자유 훈련, 무작위 훈련 및 추천 훈련 중에서 사용자가 원하는 재활 훈련 과정을 선택하면, 상기 선택한 훈련의 효과를 보여준다. Thereafter, if the user selects a desired rehabilitation training course from free training, random training, and recommended training, as shown in FIG.

이후 기등록 사용자라면 기존 재활 훈련 DB를 바탕으로 재활 훈련 강도가 피드백되어 자동으로 조정된다.After that, if the registered user is fed back the rehabilitation training intensity based on the existing rehabilitation training DB is automatically adjusted.

이후 사용자는 자신의 환경에 맞게 웨어러블 센서부(300)를 교정하게 된다.After that, the user calibrates the wearable sensor unit 300 according to his environment.

상기 웨어러블 센서부(300)를 교정하는 과정은 상기 웨어러블 센서부(300)의 감지 모듈을 교정하는 프로그램에 따라 손가락을 모두 펴서 유지하는 단계; 손가락을 모두 굽혀 주먹을 쥐고 유지하는 단계; 상기 프로그램에서 3D로 표시된 손과 사용자의 손이 일치하게 움직이는지 확인하는 단계를 거친다.The process of calibrating the wearable sensor unit 300 includes: spreading and keeping all fingers according to a program for calibrating a sensing module of the wearable sensor unit 300; Bending all of the fingers to clench and hold the fist; In the program, a step of checking whether the hand displayed in 3D and the user's hand moves in synchronization is performed.

이후 도 6b나 도 6c와 같이 가상의 재활치료사 NPC는 UI를 통해 도 9에 예시된 재활 훈련에 사용되는 동작을 하나 이상 제시하고, 사용자는 상기 UI를 통해 제공된 동작을 따라한다.6B or 6C, the virtual rehabilitation therapist NPC presents one or more operations used in the rehabilitation training illustrated in FIG. 9 through the UI, and the user follows the operations provided through the UI.

한편, 상기 웨어러블 센서부(300)의 감지 모듈은 사용자가 실시하는 동작을 인식하고, 상기 UI를 통해 제공된 동작과 사용자가 실시하는 동작의 일치 정도가 판단된다.Meanwhile, the sensing module of the wearable sensor unit 300 recognizes an operation performed by a user and determines a degree of correspondence between an operation provided by the UI and an operation performed by the user.

또한, 상기 일치 정도에 따라 상기 VR 디스플레이부(400)의 스피커 모듈(430)에서 청각적 알림을 제공하고, 이를 통해 사용자가 정확한 동작에 대해 피드백을 받도록 구성할 수 있다. In addition, the speaker module 430 of the VR display unit 400 may provide an audio notification according to the degree of matching, and the user may be configured to receive feedback on the correct operation.

또한, 상기 일치 정도에 따라 상기 웨어러블 센서부(300)의 진동 모듈(340)을 작동하여 사용자에게 진동 촉각 경험을 제공하고, 이를 통해 사용자가 정확한 동작에 대해 피드백을 받도록 구성할 수 있다.In addition, the vibration module 340 of the wearable sensor unit 300 may be operated according to the matching degree to provide a vibration tactile experience to the user, and thus the user may be configured to receive feedback on the correct operation.

이에 따라 사용자는 정확한 동작을 하고 있는지 실시간으로 알 수 있다.Accordingly, the user can know in real time whether the correct operation.

이후, 훈련 결과는 도 7과 같은 화면으로 제공되고, 사용자는 기록을 확인하고 상기 훈련 결과는 DB화되어 제어부(200)로 전송되고 저장된다.Thereafter, the training result is provided on the screen as shown in FIG. 7, the user checks the record, and the training result is made into a DB, which is transmitted to and stored in the control unit 200.

이후, 사용자는 상기 VR 콘텐츠(100)를 종료하여 가상현실을 이용한 재활 훈련을 마치게 된다.After that, the user ends the VR content 100 to finish the rehabilitation training using the virtual reality.

한편, 상기 VR 콘텐츠(100)는 다른 재활 훈련용 소도구나 작은 장난감과 상호작용하고, 이에 의해 보상이나 연출이 뒤따르게 설정하여 재활 훈련을 유도하도록 구성될 수 있다.On the other hand, the VR content 100 can be configured to interact with other rehabilitation training small toys or small toys, thereby inducing a reward or directing to induce rehabilitation training.

또한, 상기 VR 콘텐츠(100)가 다양한 경우에는 사용자의 재활훈련 DB를 딥러닝하도록 구성하여, 상기 딥러닝된 데이터를 바탕으로 사용자에게 가장 적합한 재활 훈련을 위한 VR 콘텐츠(100)가 선택되는 단계를 더 포함할 수 있을 것이다.In addition, when the VR content 100 is various, the step of configuring the deep rehabilitation DB of the user to deep learning, the step of selecting the VR content 100 for rehabilitation training that is most suitable for the user based on the deep learning data May include more.

이상 본 발명의 실시 예에 따른 도면을 참조하여 설명하였지만, 본 발명이 속한 분야에서 통상의 지식을 가진 자라면 상기 내용을 바탕으로 본 발명의 범주 내에서 다양한 응용 및 변형을 행하는 것이 가능할 것이다.Although described above with reference to the drawings according to an embodiment of the present invention, those of ordinary skill in the art will be able to perform various applications and modifications within the scope of the present invention based on the above contents.

1000 : 본 발명에 따른 가상현실을 이용한 재활 훈련 시스템
S1000 : 본 발명에 따른 가상현실을 이용한 재활 훈련 방법
100 : VR 콘텐츠 200 : 제어부
210 : VR 콘텐츠 구동모듈 220 : 통신 모듈
230 : 데이터 저장 모듈 240 : 자세 일치 판단 모듈
250 : 재활 훈련 강도 조절 모듈 260 : 뇌파 분석 모듈
300 : 웨어러블 센서부 310 : 움직임 감지 모듈
320 : 각도 감지 모듈 330 : 터치 감지 모듈
340 : 진동 모듈 400 : VR 디스플레이부
410 : 디스플레이 모듈 420 : 움직임 감지 모듈
430 : 스피커 모듈 440 : 뇌파 감지 모듈
450 : 카메라 모듈 460 : 통신 모듈
1000: rehabilitation training system using a virtual reality according to the present invention
S1000: Rehabilitation training method using a virtual reality according to the present invention
100: VR content 200: control unit
210: VR content driving module 220: communication module
230: data storage module 240: posture match determination module
250: rehabilitation training intensity control module 260: EEG analysis module
300: wearable sensor unit 310: motion detection module
320: angle detection module 330: touch detection module
340: vibration module 400: VR display unit
410: display module 420: motion detection module
430: speaker module 440: brain wave detection module
450: camera module 460: communication module

Claims (4)

삭제delete 삭제delete 삭제delete 가상현실을 이용한 재활 훈련 방법으로서,
VR 디스플레이부와 웨어러블 센서부를 착용하는 단계(S101);
VR 콘텐츠를 실행하는 단계(S102);
사용자를 확인하고 기존 재활 훈련 DB를 검색하는 단계(S103);
자유 훈련, 무작위 훈련 및 추천 훈련 중에서 재활 훈련 과정을 선택하는 단계(S104);
훈련 시작 전 상기 재활 훈련 과정을 선택하는 단계에서 선택한 훈련이 어떤 효과가 있는지 확인하는 단계(S105);
기존 재활 훈련 DB를 바탕으로 재활 훈련 강도가 조정되는 단계(S106);
사용자의 환경에 맞게 상기 웨어러블 센서부를 교정하는 단계(S107);
사용자가 재활 훈련을 실시하는 단계(S108);
훈련이 끝나면 해당 훈련 결과를 보여주는 단계(S109);
훈련 결과를 DB화하고 제어부에 전송하는 단계(S110);
상기 VR 콘텐츠를 종료하는 단계(S111); 를 포함하는 것을 특징으로 하는 가상현실을 이용한 재활 훈련 방법.
As a rehabilitation training method using virtual reality,
Wearing a VR display unit and a wearable sensor unit (S101);
Executing the VR content (S102);
Identifying a user and searching an existing rehabilitation training DB (S103);
Selecting a rehabilitation training course among free training, random training, and recommended training (S104);
Confirming the effect of the selected training in the step of selecting the rehabilitation training process before starting training (S105);
Rehabilitation training intensity is adjusted based on the existing rehabilitation training DB (S106);
Calibrating the wearable sensor unit according to a user's environment (S107);
Step S108 of the user performing rehabilitation training;
After the training step (S109) showing the training result;
DB of the training results and transmitting to the control unit (S110);
Terminating the VR content (S111); Rehabilitation training method using a virtual reality comprising a.
KR1020190104933A 2019-08-27 2019-08-27 System and Method for rehabilitation training using Virtual reality device KR102048546B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190104933A KR102048546B1 (en) 2019-08-27 2019-08-27 System and Method for rehabilitation training using Virtual reality device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190104933A KR102048546B1 (en) 2019-08-27 2019-08-27 System and Method for rehabilitation training using Virtual reality device

Publications (1)

Publication Number Publication Date
KR102048546B1 true KR102048546B1 (en) 2019-11-25

Family

ID=68730546

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190104933A KR102048546B1 (en) 2019-08-27 2019-08-27 System and Method for rehabilitation training using Virtual reality device

Country Status (1)

Country Link
KR (1) KR102048546B1 (en)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120133321A (en) * 2011-05-31 2012-12-10 주식회사 네오펙트 Finger exercising apparatus and method for assisting exercise of finger
KR101777755B1 (en) 2016-06-27 2017-09-26 이종민 Apparatus and method for rehabilitation trainingg using virtual reality
KR101881986B1 (en) 2016-11-29 2018-07-26 주식회사 에스와이이노테크 virtual Reality rehabilitation system for improving mild cognitive impairment of old person, and method thereof
KR101909693B1 (en) * 2017-06-07 2018-10-24 (주)앤트로스 Fitness system providing virtual fitness trainer based on augmented reality
KR101915238B1 (en) 2016-03-11 2018-11-05 한국생산기술연구원 Rehabilitation device for hand and virtual reality rehabilitation training system comprising the same
KR101944489B1 (en) 2017-10-25 2019-01-31 주식회사 에스와이이노테크 VR cognitive rehabilitation training system and method for improving cognitive ability of elderly with mild cognitive impairment
KR101936082B1 (en) * 2017-08-29 2019-04-03 순천향대학교 산학협력단 Vertual reality-based finger rehabilitation system using realsense camera and method thereof
KR20190097396A (en) * 2018-02-12 2019-08-21 호남대학교 산학협력단 Virtual reality based cognitive rehabilitation training system

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120133321A (en) * 2011-05-31 2012-12-10 주식회사 네오펙트 Finger exercising apparatus and method for assisting exercise of finger
KR101915238B1 (en) 2016-03-11 2018-11-05 한국생산기술연구원 Rehabilitation device for hand and virtual reality rehabilitation training system comprising the same
KR101777755B1 (en) 2016-06-27 2017-09-26 이종민 Apparatus and method for rehabilitation trainingg using virtual reality
KR101881986B1 (en) 2016-11-29 2018-07-26 주식회사 에스와이이노테크 virtual Reality rehabilitation system for improving mild cognitive impairment of old person, and method thereof
KR101909693B1 (en) * 2017-06-07 2018-10-24 (주)앤트로스 Fitness system providing virtual fitness trainer based on augmented reality
KR101936082B1 (en) * 2017-08-29 2019-04-03 순천향대학교 산학협력단 Vertual reality-based finger rehabilitation system using realsense camera and method thereof
KR101944489B1 (en) 2017-10-25 2019-01-31 주식회사 에스와이이노테크 VR cognitive rehabilitation training system and method for improving cognitive ability of elderly with mild cognitive impairment
KR20190097396A (en) * 2018-02-12 2019-08-21 호남대학교 산학협력단 Virtual reality based cognitive rehabilitation training system

Similar Documents

Publication Publication Date Title
EP3860527B1 (en) Use of neuromuscular signals to provide enhanced interactions with physical objects in an augmented reality environment
US20200097081A1 (en) Neuromuscular control of an augmented reality system
KR102302640B1 (en) Detecting and using body tissue electrical signals
CN111542800B (en) Brain-computer interface with adaptation to high-speed, accurate and intuitive user interactions
EP3843617A1 (en) Camera-guided interpretation of neuromuscular signals
KR101485591B1 (en) Device, computer-readable recording medium and method for generating touch feeling by non-invasive brain stimulation using ultrasonic waves
KR102048551B1 (en) System and Method for Virtual reality rehabilitation training using Smart device
Afyouni et al. A therapy-driven gamification framework for hand rehabilitation
US20130060166A1 (en) Device and method for providing hand rehabilitation and assessment of hand function
JP2008192004A (en) Input information processor, input information processing method, input information processing program and computer-readable recording medium for recording program thereof
KR102355511B1 (en) VR-Based Recognition Training System
Rechy-Ramirez et al. Impact of commercial sensors in human computer interaction: a review
WO2020102693A1 (en) Feedback from neuromuscular activation within various types of virtual and/or augmented reality environments
WO2021148880A1 (en) Systems for dynamic assessment of upper extremity impairments in virtual/augmented reality
KR20210070652A (en) System For Rehabilitation Training Using Network Game Type Virtual Reality Contents
KR20210076561A (en) Recognition Training System For Preventing Dementia Using Virtual Reality Contents
Ghisio et al. An open platform for full body interactive sonification exergames
KR102048546B1 (en) System and Method for rehabilitation training using Virtual reality device
Šumak et al. Design and development of contactless interaction with computers based on the Emotiv EPOC+ device
Rahman i-Therapy: a non-invasive multimedia authoring framework for context-aware therapy design
Ansari et al. Estimating operator intent (Draft 4.0)
Vasylkiv Elicitation study: An exploration of age-related differences in context of hand gesture interaction
CN117618848A (en) Rehabilitation training device and rehabilitation training control method
Motti Ader et al. Understanding User Motion
Bouatrous et al. An interactive virtual reality system based on leap motion controller for hand motor rehabilitation

Legal Events

Date Code Title Description
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant