KR20220102939A - Method for Controlling Customized VR controller for cognitive rehabilitation of the elderly - Google Patents

Method for Controlling Customized VR controller for cognitive rehabilitation of the elderly Download PDF

Info

Publication number
KR20220102939A
KR20220102939A KR1020210005478A KR20210005478A KR20220102939A KR 20220102939 A KR20220102939 A KR 20220102939A KR 1020210005478 A KR1020210005478 A KR 1020210005478A KR 20210005478 A KR20210005478 A KR 20210005478A KR 20220102939 A KR20220102939 A KR 20220102939A
Authority
KR
South Korea
Prior art keywords
finger
controller
movement
user
rehabilitation
Prior art date
Application number
KR1020210005478A
Other languages
Korean (ko)
Other versions
KR102517451B1 (en
Inventor
조수범
Original Assignee
동의과학대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 동의과학대학교산학협력단 filed Critical 동의과학대학교산학협력단
Priority to KR1020210005478A priority Critical patent/KR102517451B1/en
Publication of KR20220102939A publication Critical patent/KR20220102939A/en
Application granted granted Critical
Publication of KR102517451B1 publication Critical patent/KR102517451B1/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1124—Determining motor skills
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/40—Detecting, measuring or recording for evaluating the nervous system
    • A61B5/4076—Diagnosing or monitoring particular conditions of the nervous system
    • A61B5/4088—Diagnosing of monitoring cognitive diseases, e.g. Alzheimer, prion diseases or dementia
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/7475—User input or interface means, e.g. keyboard, pointing device, joystick
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A61M2021/0005—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus
    • A61M2021/0044—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus by the sight sense
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2205/00—General characteristics of the apparatus
    • A61M2205/50—General characteristics of the apparatus with microprocessors or computers
    • A61M2205/502—User interfaces, e.g. screens or keyboards
    • A61M2205/507—Head Mounted Displays [HMD]

Abstract

The present invention relates to a method for controlling a customized virtual reality (VR) controller for cognitive rehabilitation of the elderly, wherein a degree and intensity of movement of each finger are measured at the same time and the angle and intensity of finger movement are integrally analyzed to collect precise training data according to hand motion of the user. The method of the present invention comprises the steps of: using an inner surface of a finger area in a VR controller body to detect a signal of a button which a surface of a fingertip comes in contact with; executing a training program according to a button input operation of the user; detecting a degree and intensity of movement of each finger at the same time when the user performs operation through the VR controller according to the training program; measuring the degree and intensity of movement of each finger to integrally analyze an angle and intensity of operation of the finger to collect training data according to hand motion of the user; and controlling the training program based on the collected training data to analyze exercise capability of the user and update a rehabilitation program.

Description

고령자의 인지재활을 위한 맞춤형 VR 컨트롤러의 제어 방법{Method for Controlling Customized VR controller for cognitive rehabilitation of the elderly}Method for Controlling Customized VR controller for cognitive rehabilitation of the elderly

본 발명은 인지재활에 관한 것으로, 구체적으로 손가락별 움직임 정도 및 세기를 동시에 측정하여 손가락의 동작 각도와 세기를 통합 분석하여 사용자의 손동작에 따른 정밀한 훈련 데이터 수집이 가능하도록 한 고령자의 인지재활을 위한 맞춤형 VR 컨트롤러의 제어 방법에 관한 것이다.The present invention relates to cognitive rehabilitation, and specifically, for cognitive rehabilitation of the elderly, which enables precise training data collection according to the user's hand gestures by simultaneously measuring the degree and intensity of movement of each finger and analyzing the motion angle and intensity of the fingers. It relates to a control method of a custom VR controller.

일반적으로 가상현실(VR: Virtual Reality)은 사람들이 일상적으로 경험하기 어려운 환경을 직접 체험하지 않고서도 실제 주변 상황과 상호작용을 하는 것처럼 만들어주는 기술이다.In general, virtual reality (VR) is a technology that makes people interact with real surroundings without directly experiencing an environment that is difficult to experience on a daily basis.

보통 수술 실습이나 탱크, 항공기의 조종법 훈련으로 사용되었으나, 가상현실 실감 콘텐츠를 편리하게 즐길 수 있는 머리 장착용 HMD 타입의 모바일 디바이스가 등장해 다양한 분야에서 적용되고 있다.It was usually used for surgical practice or training on how to fly a tank or aircraft, but a head-mounted HMD-type mobile device that can conveniently enjoy virtual reality content has appeared and is being applied in various fields.

최근 들어 가상현실의 응용분야로 의료 및 헬스케어가 각광을 받고 있다. 고령화 시대의 도래와 경쟁 심화로 인한 심리질환 등 의료서비스 수요 증가에 대응하기 위한 의료전문가 육성 및 심리치료 대안으로 VR 기술이 부상하고 있다.In recent years, medical and health care are in the spotlight as application fields of virtual reality. VR technology is emerging as an alternative to nurturing medical experts and as an alternative to psychotherapy to respond to the growing demand for medical services such as psychological diseases due to the advent of the aging population and intensified competition.

VR은 유사 지각 자극을 생성해 실제와 다른 곳에 존재하는 것처럼 느끼게 하는 기술로 미국과 유럽에서는 사회불안, 비행공포증, 대화공포증 등을 가진 환자 인지행동 요법에 VR을 이용한 치료법이 적용되고 있다.VR is a technology that generates similar perceptual stimuli and makes you feel as if you are in a different place from reality.

VR은 트라우마 치료에 제한적으로 활용했던 것에서 벗어나 수술, 치료, 재활 등 의료 전 영역으로 적용 범위가 확대되고 있다.VR, which has been used for trauma treatment limitedly, is expanding its scope of application to all areas of medical care, including surgery, treatment, and rehabilitation.

한편, 인지장애란 기억력, 주의력, 언어능력, 시공간능력과 판단력 등이 저하된 상태를 말한다. 그 정도는 아주 경미한 경우에서 심한 경우까지 다양하며, 인지기능장애가 심해 일상생활이나 사회생활에 지장을 주는 경우를 치매라고 한다.On the other hand, cognitive impairment refers to a state in which memory, attention, language ability, spatiotemporal ability, and judgment ability are deteriorated. The severity varies from very mild to severe, and when cognitive dysfunction is severe and interferes with daily life or social life, it is called dementia.

즉, 치매란 의식이 청명한 상태에서 전반적인 인지기능의 장애를 나타내는 뇌질환으로 보통 만성 또는 진행성 뇌질환에 의해서 발생되며 기억, 사고, 이해, 계산, 학습, 언어 판단 등 다수의 고위 대뇌기능에 장애가 나타나는 증후군이다.In other words, dementia is a brain disease that indicates a general cognitive impairment in a state of clear consciousness. It's a syndrome.

반면에 동일 연령대에 비해 인지기능, 특히 기억력이 떨어져 있으나 일상생활을 수행하는 능력은 보존되어 있어 아직은 치매라고 할 정도로 심하지 않은 상태의 경우 경도인지장애라고 한다. 이는 정상노화와 치매의 중간단계라고 할 수 있는 것으로서 검사를 통해 발견할 수 있는 가장 초기 단계로 치료 효과를 극대화시킬 수 있다고 알려져 있다.On the other hand, cognitive function, especially memory, is lower than that of the same age group, but the ability to perform daily life is preserved. This is an intermediate stage between normal aging and dementia, and it is the earliest stage that can be detected through examination and is known to maximize the therapeutic effect.

따라서, 치매는 치료보다는 예방차원에서 관리하는 것이 효과적이 방안이 될 수 있다. 현재 치매관련 질환 예방을 위한 조치로서 뇌를 활성화하기 위한 퍼즐게임, 그림 그리기, 이야기하기 등 다양한 프로그램이 제시되고 있다.Therefore, it can be an effective way to manage dementia as a preventative rather than a treatment. Currently, as a measure to prevent dementia-related diseases, various programs such as puzzle games, drawing pictures, and talking to activate the brain are being proposed.

특히, 치매의 전 단계인 경도인지장애상태에서의 예방에 따라 치료 회복 및 경증치매로 전환되는 확률을 낮출 수 있어 경도인지장애자에 대한 인지훈련 프로그램 운영 필요성이 절실히 요구되고 있다.In particular, the need to operate a cognitive training program for people with mild cognitive impairment is urgently needed as it can reduce the probability of conversion to mild dementia and recovery from treatment according to prevention in the state of mild cognitive impairment, which is the previous stage of dementia.

현재, 관련 기술의 발전에 따라 인지훈련과 신기술을 접목하는 시도는 지속적으로 이루어지고 있다. 태블릿 pc를 활용한 인지훈련 도구, 실내사이클을 활용한 복합인지훈련도구, VR을 활용한 실감형 인지 훈련 도구 등이 개발되고 있다.Currently, with the development of related technologies, attempts to combine cognitive training with new technologies are continuously being made. Cognitive training tools using tablet pc, complex cognitive training tools using indoor cycles, and realistic cognitive training tools using VR are being developed.

그 중 사용자에게 재미와 흥미를 제공하고, 콘텐츠의 몰입도가 높은 가상현실(VR)형태의 제품군이 높이 평가되고 있다.Among them, the virtual reality (VR) type product group that provides fun and interest to users and has a high level of immersion in content is highly appreciated.

그러나 VR 인지훈련의 경우 인지훈련효과와 오락적인 요소를 가미하여 재미있게 지속적인 훈련이 가능하나, VR 기기에 대한 거부반응 및 어려운 조작법으로 인해 초기 진입장벽이 있어 현장에서 적극적으로 사용하는데 한계가 있다.However, in the case of VR cognitive training, it is possible to have fun and continuous training by adding cognitive training effects and entertainment elements.

특히, 종래 기술의 VR 컨트롤러는 대부분 사용자가 움켜쥐는 스틱형 또는 리모콘 형태의 구조를 갖고 있어 고령자가 재활 훈련 자세를 취하는 동작의 유지 및 제어에 어려움이 있어 재활 훈련의 진행이 용이하지 않고, 사용자의 손동작에 따른 훈련 데이터 수집에 한계가 있어 효과 검증 및 재활 프로그램의 수정 및 업드레이드 진행에 한계가 있다.In particular, most of the VR controllers of the prior art have a stick-type or remote-control-type structure that the user grabs, so it is difficult for the elderly to maintain and control the movement taking the rehabilitation training posture, so it is not easy to proceed with the rehabilitation training, and the user's There is a limit to the collection of training data according to hand gestures, so there is a limit to the effect verification and the revision and upgrade of the rehabilitation program.

또한, 웨어러블 소프트센서 장갑(스마트 장갑)을 이용하는 경우에는 가상 공간에서 사용자가 잡아야 하는 대상체를 움켜쥐는 동작에서 대상체와 손바닥 간의 이격 거리 때문에 재활 훈련에 흥미가 떨어지고, 인지 재활 훈련 효과가 크지 않다.In addition, when wearable soft sensor gloves (smart gloves) are used, interest in rehabilitation training is lowered due to the separation distance between the object and the palm of the user's hand in the motion of grabbing the object to be held by the user in the virtual space, and the cognitive rehabilitation training effect is not large.

따라서, 고령자의 사용 편리성을 높이고, 반복적인 재활 훈련에도 사용자의 흥미가 지속될 수 있고, 훈련 데이터의 정밀한 수집이 용이하도록 하는 새로운 VR 컨트롤러의 개발이 요구되고 있다.Therefore, there is a demand for the development of a new VR controller that increases the convenience of use of the elderly, allows the user's interest to continue even in repeated rehabilitation training, and facilitates precise collection of training data.

대한민국 공개특허 제10-2019-0074563호Republic of Korea Patent Publication No. 10-2019-0074563 대한민국 공개특허 제10-2019-0061146호Republic of Korea Patent Publication No. 10-2019-0061146 대한민국 공개특허 제10-2017-0124978호Republic of Korea Patent Publication No. 10-2017-0124978

본 발명은 종래 기술의 인지재활 VR 제어 기기의 문제점을 해결하기 위한 것으로, 손가락별 움직임 정도 및 세기를 동시에 측정하여 손가락의 동작 각도와 세기를 통합 분석하여 사용자의 손동작에 따른 정밀한 훈련 데이터 수집이 가능하도록 한 고령자의 인지재활을 위한 맞춤형 VR 컨트롤러의 제어 방법을 제공하는데 그 목적이 있다.The present invention is to solve the problems of the cognitive rehabilitation VR control device of the prior art, and it is possible to collect precise training data according to the user's hand motion by simultaneously measuring the degree and strength of each finger movement and analyzing the motion angle and strength of the finger. The purpose is to provide a control method of a customized VR controller for cognitive rehabilitation of the elderly.

본 발명은 사용자가 직접 움켜쥐지 않고 손등에 장착하는 형태로 제작되는 VR 컨트롤러를 사용하여 고령자의 사용 편리성을 높이고 훈련 데이터의 정밀한 수집이 용이하도록 한 고령자의 인지재활을 위한 맞춤형 VR 컨트롤러의 제어 방법을 제공하는데 그 목적이 있다.The present invention provides a method of controlling a customized VR controller for cognitive rehabilitation of the elderly by using a VR controller manufactured in the form of being mounted on the back of the hand rather than directly grasped by the user to increase the convenience of use for the elderly and to facilitate precise collection of training data. Its purpose is to provide

본 발명은 사용자 손 마디 사이에 위치하는 힌지 사잇각 변화를 이용하여 손가락별 움직임 정도를 정확하게 측정할 수 있도록 한 고령자의 인지재활을 위한 맞춤형 VR 컨트롤러의 제어 방법을 제공하는데 그 목적이 있다.It is an object of the present invention to provide a control method of a customized VR controller for cognitive rehabilitation of the elderly, which can accurately measure the degree of movement of each finger by using the change in the angle between the hinges located between the user's knuckles.

본 발명은 손가락별로 스트레인 게이지가 설치되는 VR 컨트롤러를 사용하여 손가락별 움직임 세기를 정확하게 측정할 수 있도록 한 고령자의 인지재활을 위한 맞춤형 VR 컨트롤러의 제어 방법을 제공하는데 그 목적이 있다.An object of the present invention is to provide a control method of a customized VR controller for cognitive rehabilitation of the elderly, which enables accurate measurement of the movement intensity for each finger using a VR controller in which a strain gauge is installed for each finger.

본 발명은 손가락별 움직임 정도 및 세기를 동시에 측정하여 사용자의 손동작에 따른 정밀한 훈련 데이터 수집이 가능하도록 하여 효과 검증 및 재활 프로그램의 수정 및 업드레이드 진행의 효율성을 높일 수 있도록 한 고령자의 인지재활을 위한 맞춤형 VR 컨트롤러의 제어 방법을 제공하는데 그 목적이 있다.The present invention measures the degree and intensity of each finger movement at the same time to enable precise training data collection according to the user's hand movements, thereby improving the effectiveness of effect verification and correction and upgrading of the rehabilitation program for cognitive rehabilitation of the elderly. It aims to provide a control method of a customized VR controller.

본 발명은 VR 컨트롤러의 본체가 사용자 손등에 착장되고 각 손가락 끝단에는 손가락을 감싸는 형태이고, 손바닥 영역은 개방되는 구조를 갖도록 하여 사용자가 잡아야 하는 대상체를 움켜쥐는 동작에서 가상 공간에서 대상체와 손바닥의 이격이 최대한 발생하지 않도록 하여 인지 재활 훈련의 효율을 높일 수 있도록 한 고령자의 인지재활을 위한 맞춤형 VR 컨트롤러의 제어 방법을 제공하는데 그 목적이 있다.In the present invention, the VR controller body is worn on the back of the user's hand and the fingers are wrapped around each fingertip, and the palm area has an open structure, so that the distance between the object and the palm in the virtual space in the operation of grabbing the object to be held by the user. The purpose of this is to provide a control method of a customized VR controller for cognitive rehabilitation of the elderly, which prevents this from occurring as much as possible to increase the efficiency of cognitive rehabilitation training.

본 발명의 다른 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.Other objects of the present invention are not limited to the above-mentioned objects, and other objects not mentioned will be clearly understood by those skilled in the art from the following description.

상기와 같은 목적을 달성하기 위한 본 발명에 따른 고령자의 인지재활을 위한 맞춤형 VR 컨트롤러의 제어 방법은 VR 컨트롤러 본체의 손가락 영역 끝단 안쪽면에 구성되어 손가락 끝단 표면이 접촉하는 버튼 신호를 검출하는 단계;사용자의 버튼 입력 동작에 따른 훈련 프로그램을 실행하는 단계;훈련 프로그램에 따라 사용자가 VR 컨트롤러를 통한 동작을 수행하면, 동시에 손가락별 움직임 정도 및 세기를 검출하는 단계;손가락별 움직임 정도 및 세기를 측정하여 손가락의 동작 각도와 세기를 통합 분석하여 사용자의 손동작에 따른 훈련 데이터를 수집하는 단계;수집된 훈련 데이터를 기초하여 훈련 프로그램을 제어하고, 사용자 운동능력 분석 및 재활 프로그램 업데이트를 하는 단계;를 포함하는 것을 특징으로 한다.According to the present invention for achieving the above object, there is provided a control method of a customized VR controller for cognitive rehabilitation of the elderly, comprising: detecting a button signal with which the fingertip surface is in contact with the inside surface of the finger region of the VR controller body; Running a training program according to the user's button input operation; When the user performs an operation through the VR controller according to the training program, simultaneously detecting the degree and intensity of movement by each finger; Measuring the degree and intensity of movement by each finger Collecting training data according to the user's hand gestures by integrating and analyzing the motion angle and strength of the finger; Controlling the training program based on the collected training data, analyzing the user's exercise ability and updating the rehabilitation program; Containing characterized in that

여기서, 동시에 손가락별 움직임 정도 및 세기를 검출하는 단계는, 각각의 손가락 마디 부분에 위치하는 마디 사잇각 변화 측정부를 통하여 손가락 움직임 동작에 따른 힌지 각도 변화를 검출하고, 각각의 손가락 상단 중앙부를 따라 손가락 끝단부터 손목 부분까지 설치되어 손가락 움직임에 따른 변화값을 검출하는 스트레인 게이지 측정부를 통하여 각 손가락의 움켜쥐는 동작의 세기를 검출하는 것을 특징으로 한다.Here, the step of simultaneously detecting the degree and intensity of movement of each finger is to detect a change in the hinge angle according to a finger movement operation through a change measuring unit between the knuckles located at each knuckle, and the fingertips along the upper center of each finger. It is characterized in that it detects the intensity of the grasping motion of each finger through a strain gauge measuring unit that is installed from to the wrist and detects a change value according to the movement of the finger.

그리고 VR 컨트롤러는, VR 컨트롤러 본체의 손가락 영역 끝단 안쪽면에 구성되어 손가락 끝단 표면이 접촉하는 가상 공간 버튼 신호 검출부와,각각의 손가락 마디 부분에 위치하여 손가락 움직임 동작에 따른 힌지 각도 변화를 검출하는 센서들의 신호를 측정하는 마디 사잇각 변화 측정부와,각각의 손가락 상단 중앙부를 따라 손가락 끝단부터 손목 부분까지 설치되어 손가락 움직임에 따른 변화값을 검출하는 스트레인 게이지 측정부와,마디 사잇각 변화 측정부 및 스트레인 게이지 측정부의 측정값을 수신하여 손가락별 움직임 정도 및 동작 세기를 측정하여 사용자의 손동작에 따른 훈련 데이터를 수집하는 재활 훈련 데이터 수집부와,재활 훈련 데이터 수집부에서 수집된 훈련 데이터를 기초하여 훈련 프로그램을 제어하는 훈련 프로그램 제어부를 포함하는 것을 특징으로 한다.The VR controller includes a virtual space button signal detection unit configured on the inner surface of the tip of the finger region of the VR controller body and contacting the surface of the fingertip, and a sensor positioned at each knuckle to detect a change in hinge angle according to a finger movement. Internode angle change measuring unit for measuring the signal of each finger, Strain gauge measuring unit installed from the fingertip to the wrist along the upper center of each finger to detect the change value according to the movement of the finger, Internode angle change measuring unit and strain gauge A training program based on the training data collected by the rehabilitation training data collection unit and the rehabilitation training data collection unit that receives the measurement value of the measurement unit and collects training data according to the user's hand motion by measuring the degree of movement and the strength of each finger movement It is characterized in that it comprises a training program control unit to control.

그리고 재활 훈련 데이터 수집부에서 수집된 훈련 데이터를 분석하는 사용자 운동능력 분석부와,사용자 운동능력 분석부의 분석 결과에 따라 재활 프로그램을 업데이트하는 재활 프로그램 업데이트부를 더 포함하는 것을 특징으로 한다.And it characterized in that it further comprises a user exercise ability analysis unit for analyzing the training data collected by the rehabilitation training data collection unit, and a rehabilitation program update unit for updating the rehabilitation program according to the analysis result of the user exercise ability analysis unit.

그리고 훈련 데이터를 수집하는 단계에서, 각각의 손가락 마디 부분에 위치하여 손가락 움직임 동작에 따른 힌지 각도 변화를 검출하는 센서들로부터의 신호를 이용하여 손가락 마디별 움직임 변화를 산출하는 손가락 마디별 움직임 변화 산출 단계와,각각의 손가락 상단 중앙부를 따라 손가락 끝단부터 손목 부분까지 설치되어 손가락 움직임에 따른 변화값을 검출하는 스트레인 게이지 측정 신호를 기준으로 손가락별 움직임 세기를 산출하는 손가락별 움직임 세기 산출 단계를 포함하는 것을 특징으로 한다.And in the step of collecting the training data, the motion change for each knuckle is calculated by using signals from sensors that are located at each knuckle and detect the hinge angle change according to the finger movement motion. A step of calculating the movement intensity for each finger based on a strain gauge measurement signal installed from the fingertip to the wrist along the upper center of each finger to detect a change value according to the movement of the finger, calculating the movement intensity for each finger characterized in that

그리고 VR 컨트롤러 본체는, 손등을 덮는 손등 블록과,손가락 마디 부분에서 각각 분리되어 각각의 엄지,검지,중지,약지,새끼손가락 상단부를 덮는 형태를 갖고 마디 영역에서 힌지 결합되는 손가락 블록들과,손등 블록과 손가락 블록들 상에 부착되고 각각의 손가락 상단 중앙부를 따라 손가락 끝단부터 손목 부분까지 설치되어 손가락 움직임에 따른 변화값을 검출하는 스트레인 게이지들을 포함하는 것을 특징으로 한다.And the VR controller body includes a block on the back of the hand that covers the back of the hand, and finger blocks that are separated from the knuckle and cover the upper part of each thumb, index finger, middle finger, ring finger, and little finger and are hinged in the knob area, the back of the hand It is characterized in that it includes strain gauges attached to the block and the finger blocks and installed from the fingertip to the wrist along the upper center of each finger to detect a change value according to the movement of the finger.

그리고 VR 컨트롤러 본체는, 사용자 손등에 착장되고 각 손가락 끝단에는 손가락을 감싸는 형태이고, 손바닥 영역은 개방되는 구조를 갖도록 하여 사용자가 잡아야 하는 대상체를 움켜쥐는 동작에서 대상체와 손바닥의 이격이 최대한 발생하지 않도록 하는 것을 특징으로 한다.In addition, the VR controller body is worn on the back of the user's hand and wraps the finger at the tip of each finger, and the palm area has an open structure so that the distance between the object and the palm of the user's hand does not occur as much as possible in the gesture of grabbing the object to be held. characterized in that

그리고 VR 컨트롤러 본체는, 손가락 끝단에 위치하는 손가락 블록은 끝단의 영역에서 손가락 끝을 감싸는 형태로 구성되고, 손등 블록이 손목 부분을 일정 부분 감싸는 구조를 갖도록 구성되어 VR 컨트롤러 본체를 사용자가 장착 상태를 유지할 수 있도록 하는 것을 특징으로 한다.And, the VR controller body is configured such that the finger block located at the tip of the finger wraps the tip of the finger in the region of the tip, and the block on the back of the hand has a structure that partially covers the wrist, so that the user can adjust the mounting state of the VR controller body. It is characterized in that it can be maintained.

이상에서 설명한 바와 같은 본 발명에 따른 고령자의 인지재활을 위한 맞춤형 VR 컨트롤러의 제어 방법은 다음과 같은 효과가 있다.As described above, the control method of the customized VR controller for cognitive rehabilitation of the elderly according to the present invention has the following effects.

첫째, 손가락별 움직임 정도 및 세기를 동시에 측정하여 손가락의 동작 각도와 세기를 통합 분석하여 사용자의 손동작에 따른 정밀한 훈련 데이터 수집이 가능하도록 한다.First, it is possible to collect precise training data according to the user's hand gestures by simultaneously measuring the degree and intensity of movement of each finger and analyzing the movement angle and intensity of the fingers.

둘째, 사용자가 직접 움켜쥐지 않고 손등에 장착하는 형태로 제작되는 VR 컨트롤러를 사용하여 고령자의 사용 편리성을 높이고 훈련 데이터의 정밀한 수집이 용이하도록 한다.Second, the VR controller, which is manufactured to be mounted on the back of the hand rather than directly grasped by the user, is used to increase the convenience of use by the elderly and to facilitate precise collection of training data.

셋째, 사용자 손 마디 사이에 위치하는 힌지 사잇각 변화를 이용하여 손가락별 움직임 정도를 정확하게 측정할 수 있도록 한다.Third, the degree of movement of each finger can be accurately measured by using the change in the angle between the hinges located between the user's knuckles.

넷째, 손가락별로 스트레인 게이지가 설치되는 VR 컨트롤러를 사용하여 손가락별 움직임 세기를 정확하게 측정할 수 있도록 한다.Fourth, it is possible to accurately measure the movement strength of each finger by using a VR controller in which a strain gauge is installed for each finger.

다섯째, 손가락별 움직임 정도 및 세기를 동시에 측정하여 사용자의 손동작에 따른 정밀한 훈련 데이터 수집이 가능하도록 하여 효과 검증 및 재활 프로그램의 수정 및 업드레이드 진행의 효율성을 높일 수 있도록 한다.Fifth, by simultaneously measuring the degree and strength of each finger movement, it is possible to collect precise training data according to the user's hand movements, thereby increasing the efficiency of effect verification and revision and upgrade of the rehabilitation program.

도 1은 본 발명에 따른 고령자의 인지재활을 위한 맞춤형 VR 컨트롤러의 구성 블록도
도 2는 본 발명에 따른 고령자의 인지재활을 위한 맞춤형 VR 컨트롤러의 본체 구성도
도 3은 본 발명에 따른 고령자의 인지재활을 위한 맞춤형 VR 컨트롤러의 단면 구성도
도 4a와 도 4b는 본 발명에 따른 고령자의 인지재활을 위한 맞춤형 VR 컨트롤러의 연결 마디 부분의 힌지 동작 및 사잇각 검출 동작 상태를 나타낸 구성도
도 5는 본 발명에 따른 고령자의 인지재활을 위한 맞춤형 VR 컨트롤러의 스트레인 게이지의 일 예를 나타낸 구성도
도 6은 본 발명에 따른 고령자의 인지재활을 위한 맞춤형 VR 컨트롤러의 제어 방법을 나타낸 플로우 차트1 is a block diagram of a customized VR controller for cognitive rehabilitation of the elderly according to the present invention;
2 is a body configuration diagram of a customized VR controller for cognitive rehabilitation of the elderly according to the present invention;
3 is a cross-sectional configuration diagram of a customized VR controller for cognitive rehabilitation of the elderly according to the present invention;
4A and 4B are block diagrams showing the hinge operation and the interstitial angle detection operation of the connecting node part of the customized VR controller for cognitive rehabilitation of the elderly according to the present invention;
5 is a configuration diagram showing an example of a strain gauge of a customized VR controller for cognitive rehabilitation of the elderly according to the present invention
6 is a flowchart illustrating a control method of a customized VR controller for cognitive rehabilitation of the elderly according to the present invention;

이하, 본 발명에 따른 고령자의 인지재활을 위한 맞춤형 VR 컨트롤러의 제어 방법의 바람직한 실시 예에 관하여 상세히 설명하면 다음과 같다.Hereinafter, a preferred embodiment of a method for controlling a customized VR controller for cognitive rehabilitation of the elderly according to the present invention will be described in detail as follows.

본 발명에 따른 고령자의 인지재활을 위한 맞춤형 VR 컨트롤러의 제어 방법의 특징 및 이점들은 이하에서의 각 실시 예에 대한 상세한 설명을 통해 명백해질 것이다.Features and advantages of the control method of a customized VR controller for cognitive rehabilitation of the elderly according to the present invention will become apparent through detailed description of each embodiment below.

도 1은 본 발명에 따른 고령자의 인지재활을 위한 맞춤형 VR 컨트롤러의 구성 블록도이다.1 is a block diagram of a customized VR controller for cognitive rehabilitation of the elderly according to the present invention.

본 발명에 따른 고령자의 인지재활을 위한 맞춤형 VR 컨트롤러 및 그의 제어 방법은 사용자가 직접 움켜쥐지 않고 손등에 장착하는 형태로 제작되어 고령자의 사용 편리성을 높이고 훈련 데이터의 정밀한 수집이 용이하도록 한 것이다.The customized VR controller and its control method for cognitive rehabilitation of the elderly according to the present invention are manufactured to be mounted on the back of the hand rather than directly grasped by the user, thereby increasing the convenience of use of the elderly and facilitating the precise collection of training data.

이를 위하여, 본 발명은 사용자 손 마디 사이에 위치하는 힌지 사잇각 변화를 이용하여 손가락별 움직임 정도를 측정하는 구성을 포함할 수 있다.To this end, the present invention may include a configuration for measuring the degree of movement of each finger using a change in the angle between the hinges located between the user's knuckles.

본 발명은 손가락별로 스트레인 게이지를 설치하여 손가락별 움직임 세기를 측정하는 구성을 포함할 수 있다.The present invention may include a configuration for measuring the movement strength of each finger by installing a strain gauge for each finger.

본 발명은 손가락별 움직임 정도 및 세기를 측정하여 손가락의 동작 각도와 세기를 통합 분석하여 사용자의 손동작에 따른 정밀한 훈련 데이터 수집이 가능하도록 하는 구성을 포함하여, 사용자 운동 눙력 분석, 훈련 프로그램 제어 및 재활 프로그램 업데이트가 효율적으로 이루어지도록 한다.The present invention includes a configuration that enables precise training data collection according to the user's hand motion by measuring the degree and intensity of movement of each finger and integrating the motion angle and intensity of the finger, analyzing the user's movement strength, controlling the training program, and rehabilitation Ensure that program updates are performed efficiently.

본 발명은 VR 컨트롤러의 본체가 사용자 손등에 착장되고 각 손가락 끝단에는 손가락을 감싸는 형태이고, 손바닥 영역은 개방되는 구조를 갖도록 하여 사용자가 잡아야 하는 대상체를 움켜쥐는 동작에서 대상체와 손바닥의 이격이 최대한 발생하지 않도록 하는 구성을 포함할 수 있다.In the present invention, the VR controller body is worn on the back of the user's hand and the fingers are wrapped around the tips of each finger, and the palm area has a structure that is open, so that the distance between the object and the palm of the user's hand is maximized in the operation of grasping the object to be held. It may include a configuration that prevents it from doing so.

본 발명에 따른 고령자의 인지재활을 위한 맞춤형 VR 컨트롤러는 도 1에서와 같이, VR 컨트롤러 본체의 손가락 영역 끝단 안쪽면에 구성되어 가상공간에서의 터치를 위한 동작시에 손가락 끝단 표면이 접촉하는 버튼 신호를 검출하는 가상 공간 버튼 신호 검출부(10)와, 각각의 손가락 마디 부분에 위치하여 손가락 움직임 동작에 따른 힌지 각도 변화를 검출하는 센서들의 신호를 측정하는 마디 사잇각 변화 측정부(20)와, 각각의 손가락 상단 중앙부를 따라 손가락 끝단부터 손목 부분까지 설치되어 손가락 움직임에 따른 변화값을 검출하는 스트레인 게이지 측정부(30)와, 가상 공간 버튼 신호 검출부(10) 및 마디 사잇각 변화 측정부(20) 및 스트레인 게이지 측정부(30)의 측정값을 수신하여 손가락별 움직임 정도 및 세기를 측정하여 사용자의 손동작에 따른 훈련 데이터를 수집하는 재활 훈련 데이터 수집부(40)와, 재활 훈련 데이터 수집부(40)에서 수집된 훈련 데이터를 기초하여 훈련 프로그램을 제어하는 훈련 프로그램 제어부(50)와, 재활 훈련 데이터 수집부(40)에서 수집된 훈련 데이터를 분석하는 사용자 운동능력 분석부(60)와, 사용자 운동능력 분석부(60)의 분석 결과에 따라 재활 프로그램을 업데이트하는 재활 프로그램 업데이트부(70)를 포함한다.As shown in FIG. 1, the customized VR controller for cognitive rehabilitation of the elderly according to the present invention is configured on the inner surface of the tip of the finger region of the VR controller body, and the button signal that the surface of the fingertip contacts during operation for touch in virtual space a virtual space button signal detection unit 10 for detecting A strain gauge measuring unit 30 installed from the fingertip to the wrist along the upper center of the finger to detect a change value according to finger movement, a virtual space button signal detecting unit 10 and an angle change measuring unit 20 between joints, and strain In the rehabilitation training data collection unit 40 that receives the measurement value of the gauge measuring unit 30 and collects training data according to the user's hand motion by measuring the degree and intensity of movement of each finger, and the rehabilitation training data collection unit 40 A training program control unit 50 for controlling a training program based on the collected training data, a user exercise ability analysis unit 60 for analyzing the training data collected by the rehabilitation training data collection unit 40, and user exercise ability analysis and a rehabilitation program update unit 70 for updating the rehabilitation program according to the analysis result of the unit 60 .

여기서, 재활 훈련 데이터 수집부(40)는 각각의 손가락 마디 부분에 위치하여 손가락 움직임 동작에 따른 힌지 각도 변화를 검출하는 센서들로부터의 신호를 이용하여 손가락 마디별 움직임 변화를 산출하는 손가락 마디별 움직임 변화 산출부(40a)와, 각각의 손가락 상단 중앙부를 따라 손가락 끝단부터 손목 부분까지 설치되어 손가락 움직임에 따른 변화값을 검출하는 스트레인 게이지 측정 신호를 기준으로 손가락별 움직임 세기를 산출하는 손가락별 움직임 세기 산출부(40b)를 포함한다.Here, the rehabilitation training data collection unit 40 is located in each knuckle and uses signals from sensors that detect a hinge angle change according to a finger movement motion to calculate a movement change for each knuckle. The change calculation unit 40a and each finger motion intensity for calculating the motion intensity for each finger based on the strain gauge measurement signal installed from the fingertip to the wrist along the upper center of each finger to detect the change value according to the finger movement and a calculation unit 40b.

그리고 VR 컨트롤러 본체의 상세 구성은 다음과 같다.And the detailed configuration of the VR controller body is as follows.

도 2는 본 발명에 따른 고령자의 인지재활을 위한 맞춤형 VR 컨트롤러의 본체 구성도이고, 도 3은 본 발명에 따른 고령자의 인지재활을 위한 맞춤형 VR 컨트롤러의 단면 구성도이다.2 is a main body configuration diagram of a customized VR controller for cognitive rehabilitation of the elderly according to the present invention, and FIG. 3 is a cross-sectional configuration diagram of a customized VR controller for cognitive rehabilitation of the elderly according to the present invention.

본 발명에 따른 고령자의 인지재활을 위한 맞춤형 VR 컨트롤러 본체는 도 2에서와 같이, 손등을 덮는 손등 블록과, 마디 부분에서 각각 분리되어 각각의 엄지,검지,중지,약지,새끼손가락 상단부를 덮는 형태를 갖고 마디 영역에서 힌지 결합되는 손가락 블록들을 포함하는 VR 컨트롤러 본체와, 손등 블록과 손가락 블록들 상에 부착되고 각각의 손가락 상단 중앙부를 따라 손가락 끝단부터 손목 부분까지 설치되어 손가락 움직임에 따른 변화값을 검출하는 스트레인 게이지들(30a)(30b)(30c)(30d)(30e)과, 엄지의 손가락 블록들을 마디 부분에서 서로 결합시키는 제 1,2 힌지 결합부(21a)(21b)와, 검지의 손가락 블록들을 마디 부분에서 서로 결합시키는 제 1,2,3 힌지 결합부(22a)(22b)(22c)와, 중지의 손가락 블록들을 마디 부분에서 서로 결합시키는 제 1,2,3 힌지 결합부(23a)(23b)(23c)와, 약지의 손가락 블록들을 마디 부분에서 서로 결합시키는 제 1,2,3 힌지 결합부(24a)(24b)(24c)와, 새끼손가락의 손가락 블록들을 마디 부분에서 서로 결합시키는 제 1,2,3 힌지 결합부(25a)(25b)(25c)를 포함한다.As shown in FIG. 2, the customized VR controller body for cognitive rehabilitation of the elderly according to the present invention is separated from the block on the back of the hand and the knurled part to cover the upper part of each thumb, index finger, middle finger, ring finger, and little finger. VR controller body including finger blocks hinged in the knuckle region, attached on the back of the hand block and the finger blocks, and installed from the tip of the finger to the wrist along the upper center of each finger to measure the change value according to the movement of the finger The strain gauges 30a, 30b, 30c, 30d, and 30e to detect, the first and second hinge coupling parts 21a and 21b for coupling the finger blocks of the thumb to each other at the knuckle, and the index finger First, second, and third hinge coupling parts 22a, 22b, and 22c for coupling the finger blocks to each other at the knuckle, and first, second, and third hinge coupling units for coupling the finger blocks of the middle finger to each other at the knuckle ( 23a), 23b, and 23c, the first, second, and third hinge coupling parts 24a, 24b, and 24c for coupling the finger blocks of the ring finger to each other at the knuckle, and the finger blocks of the little finger at the knuckle. It includes first, second, and third hinge coupling portions 25a, 25b, and 25c coupled to each other.

여기서, 손가락 끝단에 위치하는 손가락 블록은 도 3에서와 같이, 끝단의 (나) 영역에서 손가락 끝을 감싸는 형태로 구성되어 VR 컨트롤러 본체를 사용자가 장착 상태를 유지할 수 있도록 하는 구조를 갖는다.Here, as shown in FIG. 3, the finger block positioned at the tip of the finger is configured to wrap the tip of the finger in the region (B) of the tip, and has a structure that allows the user to maintain the VR controller body in a mounted state.

이와 같은 (나) 영역의 구조는 검지의 끝단 손가락 블록만 갖도록 할 수도 있고, 장착 상태 특성을 높이기 위하여 전체 손가락의 끝단 손가락 블록을 (나) 영역 구조를 갖도록 할 수도 있다.The structure of the region (B) may have only the tip finger block of the index finger, or the tip finger block of the entire finger may have the region structure (B) in order to improve the mounted state characteristics.

(나) 영역의 손가락 블록의 꺽여진 부분의 안쪽에는 가상공간에서의 터치를 위한 동작시에 손가락 끝단 표면이 접촉하는 버튼(10a)이 구성된다.(B) Inside the bent portion of the finger block of the region, a button 10a to which the surface of the fingertip contacts during an operation for touch in a virtual space is configured.

도 3의 손목 부분을 일정 부분 감싸는 구조를 갖는 (가) 영역 구조는 사용자가 장착 상태를 유지할 수 있도록 하기 위한 것이다.The (a) region structure having a structure that partially surrounds the wrist portion of FIG. 3 is for allowing the user to maintain the mounted state.

도 3의 (가) 영역의 구조와 (나) 영역의 구조에 의해 사용자가 VR 컨트롤러 본체 장착 및 탈착 편리성을 높일 수 있다.The user can increase the convenience of mounting and detaching the VR controller body by the structure of region (A) and region (B) of FIG. 3 .

본 발명에 따른 VR 컨트롤러를 이용한 훈련 데이터 수집 동작 및 VR 컨트롤러 동작에 관하여 설명하면 다음과 같다.The training data collection operation and the VR controller operation using the VR controller according to the present invention will be described as follows.

도 4a와 도 4b는 본 발명에 따른 고령자의 인지재활을 위한 맞춤형 VR 컨트롤러의 연결 마디 부분의 힌지 동작 및 사잇각 검출 동작 상태를 나타낸 구성도이다.4A and 4B are block diagrams showing the hinge operation and the interstitial angle detection operation of the connecting node part of the customized VR controller for cognitive rehabilitation of the elderly according to the present invention.

도 4a는 손가락이 움켜쥐는 동작을 하지 않고 VR 컨트롤러 본체를 장착한 상태를 나타낸 것으로, 힌지 결합부(41)의 힌지 축(42)에 결합된 손가락 블록에 구성되는 홀 센서(44)와, 힌지 축(42)의 특정 위치에 구성되는 각도 검출을 위한 자석(43)이 구비된다.Figure 4a shows a state in which the VR controller body is mounted without a finger gripping motion, and a hall sensor 44 configured in a finger block coupled to the hinge shaft 42 of the hinge coupling part 41 and a hinge A magnet 43 for angle detection configured at a specific position on the shaft 42 is provided.

도 4b는 손가락이 움켜쥐는 동작을 하는 상태를 나타낸 것으로, 손가락의 움직임에 따라 힌지 결합된 손가락 블록이 회전하고, 회전에 따라 홀 센서(44)와 자석(43)의 상대 위치가 변화되어 자기장의 세기가 달라져 변화된 전압값을 검출한다.Figure 4b shows a state in which the finger grips, and the hinge-coupled finger block rotates according to the movement of the finger, and the relative position of the hall sensor 44 and the magnet 43 is changed according to the rotation of the magnetic field. The intensity is changed and the changed voltage value is detected.

이 동작에서 스트레인 게이지(30a)도 변형이 일어나고 그에 따른 전기적 저항이 변하여 이로부터 변형률을 검출하여 움켜쥐는 동작에서의 각각의 손가락 세기 변화를 검출한다.In this operation, the strain gauge 30a is also deformed and the electrical resistance is changed accordingly, and the strain is detected therefrom to detect the change in strength of each finger in the grasping operation.

도 5는 본 발명에 따른 고령자의 인지재활을 위한 맞춤형 VR 컨트롤러의 스트레인 게이지의 일 예를 나타낸 구성도이다.5 is a configuration diagram illustrating an example of a strain gauge of a customized VR controller for cognitive rehabilitation of the elderly according to the present invention.

본 발명에서 사용하는 스트레인 게이지(Strain Gage)는 전기식으로 측정하는 전기식 스트레인 게이지(electrical strain gage)와 기계식으로 측정하는 기계식 스트레인 게이지(mechanical strain gage)를 포함한다.The strain gage used in the present invention includes an electrical strain gage for electrical measurement and a mechanical strain gage for mechanical measurement.

전기식 스트레인게이지는 구조체가 변형을 일으킬 때에부착된 스트레인게이지의 전기적 저항이 변하여 이로부터 변형률을 측정하는 것이며, 기계식 스트레인게이지는 두 점 사이의 미소한 거리변화를 기계적으로 측정하여구조체의 변형률을 측정하는 것이다.The electric strain gage measures the strain from the change in the electrical resistance of the attached strain gage when the structure is deformed. will be.

본 발명에 따른 고령자의 인지재활을 위한 맞춤형 VR 컨트롤러의 제어 방법을 구체적으로 설명하면 다음과 같다.The control method of the customized VR controller for cognitive rehabilitation of the elderly according to the present invention will be described in detail as follows.

도 6은 본 발명에 따른 고령자의 인지재활을 위한 맞춤형 VR 컨트롤러의 제어 방법을 나타낸 플로우 차트이다.6 is a flowchart illustrating a control method of a customized VR controller for cognitive rehabilitation of the elderly according to the present invention.

본 발명에 따른 고령자의 인지재활을 위한 맞춤형 VR 컨트롤러의 제어 방법은 손가락별 움직임 정도 및 세기를 동시에 측정하여 손가락의 동작 각도와 세기를 통합 분석하여 사용자의 손동작에 따른 정밀한 훈련 데이터 수집이 가능하도록 한 것이다.The control method of a customized VR controller for cognitive rehabilitation of the elderly according to the present invention is designed to simultaneously measure the degree and intensity of each finger movement and analyze the finger motion angle and intensity to enable precise training data collection according to the user's hand gestures. will be.

이와 같은 정밀한 훈련 데이터 수집에 의해 재활 훈련 효과 검증 및 재활 프로그램의 수정 및 업드레이드 진행의 효율성을 높일 수 있도록 한다.By collecting such precise training data, it is possible to increase the efficiency of the verification of the rehabilitation training effect and the modification and upgrade of the rehabilitation program.

본 발명에 따른 고령자의 인지재활을 위한 맞춤형 VR 컨트롤러의 제어 방법은 도 6에서와 같이, 먼저 VR 컨트롤러 본체의 손가락 영역 끝단 안쪽면에 구성되어 손가락 끝단 표면이 접촉하는 버튼 신호를 검출한다.(S601)As shown in FIG. 6, the control method of the customized VR controller for cognitive rehabilitation of the elderly according to the present invention is configured on the inner surface of the tip of the finger region of the VR controller body to detect a button signal that the fingertip surface is in contact with. (S601) )

이어, 사용자의 버튼 입력 동작에 따른 훈련 프로그램을 실행한다.(S602)Then, a training program according to the user's button input operation is executed. (S602)

그리고 훈련 프로그램에 따라 사용자가 VR 컨트롤러를 통한 동작을 수행하면(S603), 동시에 손가락별 움직임 정도 및 세기를 검출한다.(S604)(S605)And when the user performs an operation through the VR controller according to the training program (S603), the degree and intensity of movement of each finger are simultaneously detected (S604) (S605)

즉, 각각의 손가락 마디 부분에 위치하는 마디 사잇각 변화 측정부를 통하여 손가락 움직임 동작에 따른 힌지 각도 변화를 검출하고, 스트레인 게이지 측정부를 통하여 각 손가락의 움켜쥐는 동작의 세기를 검출한다.That is, the hinge angle change according to the finger motion is detected through the internode angle change measuring unit located at each knuckle, and the intensity of the gripping motion of each finger is detected through the strain gauge measuring unit.

이어, 손가락별 움직임 정도 및 세기를 측정하여 손가락의 동작 각도와 세기를 통합 분석하여 사용자의 손동작에 따른 훈련 데이터를 수집한다.(S606)Next, by measuring the degree and intensity of movement of each finger, the movement angle and intensity of the finger are integrated and analyzed to collect training data according to the user's hand gesture (S606).

여기서, 훈련 데이터를 수집하는 단계는, 각각의 손가락 마디 부분에 위치하여 손가락 움직임 동작에 따른 힌지 각도 변화를 검출하는 센서들로부터의 신호를 이용하여 손가락 마디별 움직임 변화를 산출하는 손가락 마디별 움직임 변화 산출 단계와, 각각의 손가락 상단 중앙부를 따라 손가락 끝단부터 손목 부분까지 설치되어 손가락 움직임에 따른 변화값을 검출하는 스트레인 게이지 측정 신호를 기준으로 손가락별 움직임 세기를 산출하는 손가락별 움직임 세기 산출 단계를 포함한다.Here, the step of collecting the training data includes a motion change for each knuckle that calculates a motion change for each knuckle by using signals from sensors that are located at each knuckle and detect a hinge angle change according to a finger movement motion. It includes a calculation step, and a motion intensity calculation step for each finger that calculates the motion intensity for each finger based on the strain gauge measurement signal installed from the fingertip to the wrist along the upper center of each finger to detect a change value according to the finger movement do.

그리고 수집된 훈련 데이터를 기초하여 훈련 프로그램을 제어하고, 사용자 운동능력 분석 및 재활 프로그램 업데이트를 한다.(S607)Then, based on the collected training data, the training program is controlled, and the user's exercise ability is analyzed and the rehabilitation program is updated. (S607)

이상에서 설명한 본 발명에 따른 고령자의 인지재활을 위한 맞춤형 VR 컨트롤러의 제어 방법은 사용자가 직접 움켜쥐지 않고 손등에 장착하는 형태로 제작되어 고령자의 사용 편리성을 높이고 훈련 데이터의 정밀한 수집이 용이하도록 한 것이다.The control method of the customized VR controller for cognitive rehabilitation of the elderly according to the present invention described above is manufactured in a form that is mounted on the back of the hand rather than directly grasped by the user to increase the convenience of use of the elderly and facilitate the precise collection of training data. will be.

본 발명은 손가락별 움직임 정도 및 세기를 측정하여 사용자의 손동작에 따른 정밀한 훈련 데이터 수집이 가능하도록 하여 효과 검증 및 재활 프로그램의 수정 및 업드레이드 진행의 효율성을 높일 수 있도록 한 것이다.The present invention measures the degree and intensity of movement of each finger to enable precise training data collection according to the user's hand motion, thereby increasing the efficiency of effect verification and correction and upgrade of the rehabilitation program.

이상에서의 설명에서와 같이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 본 발명이 구현되어 있음을 이해할 수 있을 것이다.As described above, it will be understood that the present invention is implemented in a modified form without departing from the essential characteristics of the present invention.

그러므로 명시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 하고, 본 발명의 범위는 전술한 설명이 아니라 특허청구 범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.Therefore, the specified embodiments are to be considered in an illustrative rather than a restrictive view, the scope of the present invention is indicated in the claims rather than the foregoing description, and all differences within the equivalent scope are included in the present invention. will have to be interpreted.

10. 가상 공간 버튼 신호 검출부 20. 마디 사잇각 변화 측정부
30. 스트레인 게이지 측정부 40. 재활 훈련 데이터 수집부
50. 훈련 프로그램 제어부 60. 사용자 운동능력 분석부
70. 재활 프로그램 업데이트부10. Virtual space button signal detection unit 20. Internode angle change measurement unit
30. Strain gauge measurement unit 40. Rehabilitation training data collection unit
50. Training program control unit 60. User exercise ability analysis unit
70. Rehabilitation Program Update Department

Claims (8)

VR 컨트롤러 본체의 손가락 영역 끝단 안쪽면에 구성되어 손가락 끝단 표면이 접촉하는 버튼 신호를 검출하는 단계;
사용자의 버튼 입력 동작에 따른 훈련 프로그램을 실행하는 단계;
훈련 프로그램에 따라 사용자가 VR 컨트롤러를 통한 동작을 수행하면, 동시에 손가락별 움직임 정도 및 세기를 검출하는 단계;
손가락별 움직임 정도 및 세기를 측정하여 손가락의 동작 각도와 세기를 통합 분석하여 사용자의 손동작에 따른 훈련 데이터를 수집하는 단계;
수집된 훈련 데이터를 기초하여 훈련 프로그램을 제어하고, 사용자 운동능력 분석 및 재활 프로그램 업데이트를 하는 단계;를 포함하는 것을 특징으로 하는 고령자의 인지재활을 위한 맞춤형 VR 컨트롤러의 제어 방법.detecting a button signal that is configured on the inner surface of the tip of the finger region of the VR controller body and that the surface of the finger tip contacts;
executing a training program according to the user's button input operation;
detecting the degree and intensity of movement of each finger at the same time when the user performs an operation through the VR controller according to the training program;
Collecting training data according to the user's hand gestures by measuring the degree and intensity of movement of each finger and analyzing the movement angle and intensity of the finger;
Controlling a training program based on the collected training data, analyzing the user's motor ability and updating the rehabilitation program; Control method of a customized VR controller for cognitive rehabilitation of the elderly, comprising: a. 제 1 항에 있어서, 동시에 손가락별 움직임 정도 및 세기를 검출하는 단계는,
각각의 손가락 마디 부분에 위치하는 마디 사잇각 변화 측정부를 통하여 손가락 움직임 동작에 따른 힌지 각도 변화를 검출하고,
각각의 손가락 상단 중앙부를 따라 손가락 끝단부터 손목 부분까지 설치되어 손가락 움직임에 따른 변화값을 검출하는 스트레인 게이지 측정부를 통하여 각 손가락의 움켜쥐는 동작의 세기를 검출하는 것을 특징으로 하는 고령자의 인지재활을 위한 맞춤형 VR 컨트롤러의 제어 방법.The method of claim 1, wherein the step of simultaneously detecting the degree and intensity of movement of each finger comprises:
The hinge angle change according to the movement of the finger is detected through the internode angle change measuring unit located in each knuckle,
For cognitive rehabilitation of the elderly, characterized in that it detects the intensity of the grasping motion of each finger through a strain gauge measuring unit that is installed from the fingertip to the wrist along the upper center of each finger and detects a change value according to the movement of the finger. How to control a custom VR controller. 제 1 항에 있어서, VR 컨트롤러는,
VR 컨트롤러 본체의 손가락 영역 끝단 안쪽면에 구성되어 손가락 끝단 표면이 접촉하는 가상 공간 버튼 신호 검출부와,
각각의 손가락 마디 부분에 위치하여 손가락 움직임 동작에 따른 힌지 각도 변화를 검출하는 센서들의 신호를 측정하는 마디 사잇각 변화 측정부와,
각각의 손가락 상단 중앙부를 따라 손가락 끝단부터 손목 부분까지 설치되어 손가락 움직임에 따른 변화값을 검출하는 스트레인 게이지 측정부와,
마디 사잇각 변화 측정부 및 스트레인 게이지 측정부의 측정값을 수신하여 손가락별 움직임 정도 및 동작 세기를 측정하여 사용자의 손동작에 따른 훈련 데이터를 수집하는 재활 훈련 데이터 수집부와,
재활 훈련 데이터 수집부에서 수집된 훈련 데이터를 기초하여 훈련 프로그램을 제어하는 훈련 프로그램 제어부를 포함하는 것을 특징으로 하는 고령자의 인지재활을 위한 맞춤형 VR 컨트롤러의 제어 방법.According to claim 1, VR controller,
A virtual space button signal detection unit configured on the inner surface of the tip of the finger area of the VR controller body and in contact with the surface of the fingertip;
An angle change measuring unit between the knuckles, which is located at each knuckle and measures a signal of sensors that detect a change in hinge angle according to a finger movement operation;
A strain gauge measuring unit installed from the fingertip to the wrist along the upper center of each finger to detect the change value according to the movement of the finger;
A rehabilitation training data collection unit that receives the measurement values of the internode angle change measurement unit and the strain gauge measurement unit, measures the degree of movement and the motion intensity of each finger, and collects training data according to the user's hand motion;
Control method of a customized VR controller for cognitive rehabilitation of the elderly, characterized in that it comprises a training program control unit for controlling the training program based on the training data collected by the rehabilitation training data collection unit. 제 3 항에 있어서, 재활 훈련 데이터 수집부에서 수집된 훈련 데이터를 분석하는 사용자 운동능력 분석부와,
사용자 운동능력 분석부의 분석 결과에 따라 재활 프로그램을 업데이트하는 재활 프로그램 업데이트부를 더 포함하는 것을 특징으로 하는 고령자의 인지재활을 위한 맞춤형 VR 컨트롤러의 제어 방법.According to claim 3, And a user exercise ability analyzer for analyzing the training data collected by the rehabilitation training data collection unit;
A control method of a customized VR controller for cognitive rehabilitation of the elderly, characterized in that it further comprises a rehabilitation program update unit for updating the rehabilitation program according to the analysis result of the user's motor ability analysis unit. 제 1 항에 있어서, 훈련 데이터를 수집하는 단계에서,
각각의 손가락 마디 부분에 위치하여 손가락 움직임 동작에 따른 힌지 각도 변화를 검출하는 센서들로부터의 신호를 이용하여 손가락 마디별 움직임 변화를 산출하는 손가락 마디별 움직임 변화 산출 단계와,
각각의 손가락 상단 중앙부를 따라 손가락 끝단부터 손목 부분까지 설치되어 손가락 움직임에 따른 변화값을 검출하는 스트레인 게이지 측정 신호를 기준으로 손가락별 움직임 세기를 산출하는 손가락별 움직임 세기 산출 단계를 포함하는 것을 특징으로 하는 고령자의 인지재활을 위한 맞춤형 VR 컨트롤러의 제어 방법.The method of claim 1 , wherein in the step of collecting training data,
A motion change calculation step for each knuckle of calculating a motion change for each knuckle by using signals from sensors located in each knuckle and detecting a hinge angle change according to a finger movement operation;
It is installed from the tip of the finger to the wrist along the upper center of each finger and comprises a motion intensity calculation step for each finger that calculates the motion intensity for each finger based on a strain gauge measurement signal that detects a change value according to the finger movement. A control method of a customized VR controller for cognitive rehabilitation of the elderly. 제 1 항에 있어서, VR 컨트롤러 본체는,
손등을 덮는 손등 블록과,
손가락 마디 부분에서 각각 분리되어 각각의 엄지,검지,중지,약지,새끼손가락 상단부를 덮는 형태를 갖고 마디 영역에서 힌지 결합되는 손가락 블록들과,
손등 블록과 손가락 블록들 상에 부착되고 각각의 손가락 상단 중앙부를 따라 손가락 끝단부터 손목 부분까지 설치되어 손가락 움직임에 따른 변화값을 검출하는 스트레인 게이지들을 포함하는 것을 특징으로 하는 고령자의 인지재활을 위한 맞춤형 VR 컨트롤러의 제어 방법.The method of claim 1, wherein the VR controller body comprises:
a block on the back of the hand that covers the back of the hand;
Finger blocks separated from each knuckle and having a shape covering the upper part of each thumb, index finger, middle finger, ring finger, and little finger and hinged in the knob area;
Customized for cognitive rehabilitation of the elderly, characterized in that it includes strain gauges attached to the back of the hand block and the finger blocks and installed from the fingertip to the wrist along the upper center of each finger to detect the change value according to the movement of the finger How to control the VR controller. 제 6 항에 있어서, VR 컨트롤러 본체는,
사용자 손등에 착장되고 각 손가락 끝단에는 손가락을 감싸는 형태이고, 손바닥 영역은 개방되는 구조를 갖도록 하여 사용자가 잡아야 하는 대상체를 움켜쥐는 동작에서 대상체와 손바닥의 이격이 최대한 발생하지 않도록 하는 것을 특징으로 하는 고령자의 인지재활을 위한 맞춤형 VR 컨트롤러의 제어 방법.The method of claim 6, wherein the VR controller body,
The elderly, characterized in that it is worn on the back of the user's hand and wraps the finger at the tip of each finger, and the palm area has an open structure so that the distance between the object and the palm is not generated as much as possible in the operation of grabbing the object to be held by the user. A control method of a customized VR controller for cognitive rehabilitation. 제 6 항에 있어서, VR 컨트롤러 본체는,
손가락 끝단에 위치하는 손가락 블록은 끝단의 영역에서 손가락 끝을 감싸는 형태로 구성되고,
손등 블록이 손목 부분을 일정 부분 감싸는 구조를 갖도록 구성되어 VR 컨트롤러 본체를 사용자가 장착 상태를 유지할 수 있도록 하는 것을 특징으로 하는 고령자의 인지재활을 위한 맞춤형 VR 컨트롤러의 제어 방법.
The method of claim 6, wherein the VR controller body,
The finger block located at the tip of the finger is composed of a shape that wraps the tip of the finger in the area of the tip,
A control method of a customized VR controller for cognitive rehabilitation of the elderly, characterized in that the block on the back of the hand is configured to have a structure that partially surrounds the wrist, so that the user can maintain the VR controller body mounted state.
KR1020210005478A 2021-01-14 2021-01-14 Method for Controlling Customized VR controller for cognitive rehabilitation of the elderly KR102517451B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210005478A KR102517451B1 (en) 2021-01-14 2021-01-14 Method for Controlling Customized VR controller for cognitive rehabilitation of the elderly

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210005478A KR102517451B1 (en) 2021-01-14 2021-01-14 Method for Controlling Customized VR controller for cognitive rehabilitation of the elderly

Publications (2)

Publication Number Publication Date
KR20220102939A true KR20220102939A (en) 2022-07-21
KR102517451B1 KR102517451B1 (en) 2023-04-03

Family

ID=82610312

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210005478A KR102517451B1 (en) 2021-01-14 2021-01-14 Method for Controlling Customized VR controller for cognitive rehabilitation of the elderly

Country Status (1)

Country Link
KR (1) KR102517451B1 (en)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170124978A (en) 2017-09-20 2017-11-13 이연화 Device of VR Cognitive Rehabilitation Contents for Mild cognitive Impairment Patients
KR20190061146A (en) 2017-11-27 2019-06-05 가천대학교 산학협력단 Method and apparatus for dementia prevention treatment utilizing virtual reality device, and computer readable recording medium
KR20190074563A (en) 2017-12-20 2019-06-28 대구보건대학교산학협력단 Evaluation and training apparatus and method for high-patient with dementia and mild cognitive impairment using motion recognition and virtual reality
KR20190092777A (en) * 2018-01-31 2019-08-08 (주)유즈브레인넷 Glove-type Motion Recognizing Apparatus and Recognizing Method thereof
KR102048551B1 (en) * 2019-08-27 2020-01-09 이연화 System and Method for Virtual reality rehabilitation training using Smart device
KR20200035296A (en) * 2017-09-29 2020-04-02 애플 인크. IMU-based gloves

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170124978A (en) 2017-09-20 2017-11-13 이연화 Device of VR Cognitive Rehabilitation Contents for Mild cognitive Impairment Patients
KR20200035296A (en) * 2017-09-29 2020-04-02 애플 인크. IMU-based gloves
KR20190061146A (en) 2017-11-27 2019-06-05 가천대학교 산학협력단 Method and apparatus for dementia prevention treatment utilizing virtual reality device, and computer readable recording medium
KR20190074563A (en) 2017-12-20 2019-06-28 대구보건대학교산학협력단 Evaluation and training apparatus and method for high-patient with dementia and mild cognitive impairment using motion recognition and virtual reality
KR20190092777A (en) * 2018-01-31 2019-08-08 (주)유즈브레인넷 Glove-type Motion Recognizing Apparatus and Recognizing Method thereof
KR102048551B1 (en) * 2019-08-27 2020-01-09 이연화 System and Method for Virtual reality rehabilitation training using Smart device

Also Published As

Publication number Publication date
KR102517451B1 (en) 2023-04-03

Similar Documents

Publication Publication Date Title
CN109804331B (en) Detecting and using body tissue electrical signals
US11163361B2 (en) Calibration techniques for handstate representation modeling using neuromuscular signals
EP3411772B1 (en) Wearable controller for wrist
EP2875778B1 (en) Wearable mobile device and method of measuring biological signal with the same
EP2678757B1 (en) Gesture recognition system
US20200097081A1 (en) Neuromuscular control of an augmented reality system
CN111638801B (en) Controller for gesture recognition and gesture recognition method thereof
US20020077534A1 (en) Method and system for initiating activity based on sensed electrophysiological data
WO2020072915A1 (en) Use of neuromuscular signals to provide enhanced interactions with physical objects in an augmented reality environment
US20140364703A1 (en) Wearable electromyogram sensor system
WO2016135718A1 (en) Closed loop feedback interface for wearable devices
EP2839774B1 (en) Biosignal interface apparatus and operation method of biosignal interface apparatus
US11281301B2 (en) Wearable controller for wrist
CN112399823A (en) Biological information processing apparatus and information processing method
Chapman et al. A wearable, open-source, lightweight forcemyography armband: on intuitive, robust muscle-machine interfaces
US20240082098A1 (en) Stroke rehabilitation therapy predictive analysis
KR20220102939A (en) Method for Controlling Customized VR controller for cognitive rehabilitation of the elderly
KR102525506B1 (en) Customized VR controller for cognitive rehabilitation of the elderly
US11493994B2 (en) Input device using bioelectric potential
US20220225897A1 (en) Systems and methods for remote motor assessment
Justin Measurement Of Fine Motor Movements Of Hands In Aid Of Fine Motor Skills Development
KR20240018153A (en) Device for diagnosing sarcopenia by measuring both pinch, grip force and impedence of body

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant