KR20230153552A - VR-based training system and method for improving distraction and impulsivity in children and adolescents with ADHD - Google Patents
VR-based training system and method for improving distraction and impulsivity in children and adolescents with ADHD Download PDFInfo
- Publication number
- KR20230153552A KR20230153552A KR1020220052860A KR20220052860A KR20230153552A KR 20230153552 A KR20230153552 A KR 20230153552A KR 1020220052860 A KR1020220052860 A KR 1020220052860A KR 20220052860 A KR20220052860 A KR 20220052860A KR 20230153552 A KR20230153552 A KR 20230153552A
- Authority
- KR
- South Korea
- Prior art keywords
- user
- content
- adolescents
- adhd
- children
- Prior art date
Links
- 238000012549 training Methods 0.000 title claims abstract description 109
- 208000036864 Attention deficit/hyperactivity disease Diseases 0.000 title claims abstract description 35
- 208000006096 Attention Deficit Disorder with Hyperactivity Diseases 0.000 title claims abstract 10
- 238000000034 method Methods 0.000 title abstract description 34
- 238000012544 monitoring process Methods 0.000 claims abstract description 9
- 230000000694 effects Effects 0.000 claims description 15
- 210000001364 upper extremity Anatomy 0.000 claims description 11
- 210000003205 muscle Anatomy 0.000 claims description 9
- 208000015802 attention deficit-hyperactivity disease Diseases 0.000 description 25
- 230000004044 response Effects 0.000 description 6
- 208000024891 symptom Diseases 0.000 description 6
- 241001465754 Metazoa Species 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 230000001815 facial effect Effects 0.000 description 5
- 238000007726 management method Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 230000001149 cognitive effect Effects 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000033001 locomotion Effects 0.000 description 3
- 206010013486 Distractibility Diseases 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 239000003814 drug Substances 0.000 description 2
- 229940079593 drug Drugs 0.000 description 2
- 210000000887 face Anatomy 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 208000019901 Anxiety disease Diseases 0.000 description 1
- 208000025721 COVID-19 Diseases 0.000 description 1
- 208000030453 Drug-Related Side Effects and Adverse reaction Diseases 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000036506 anxiety Effects 0.000 description 1
- 230000004641 brain development Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000003930 cognitive ability Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 208000013403 hyperactivity Diseases 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
- G16H20/70—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mental therapies, e.g. psychological therapy or autogenous training
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/74—Details of notification to user or communication with user or patient ; user input means
- A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
- A61B5/744—Displaying an avatar, e.g. an animated cartoon character
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
- A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/45—Controlling the progress of the video game
- A63F13/46—Computing the game score
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
- G06F21/31—User authentication
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
- A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
- A61M2021/0005—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus
- A61M2021/0022—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus by the tactile sense, e.g. vibrations
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
- A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
- A61M2021/0005—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus
- A61M2021/0027—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus by the hearing sense
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
- A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
- A61M2021/0005—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus
- A61M2021/0044—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus by the sight sense
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
- A61M2205/00—General characteristics of the apparatus
- A61M2205/50—General characteristics of the apparatus with microprocessors or computers
- A61M2205/502—User interfaces, e.g. screens or keyboards
- A61M2205/507—Head Mounted Displays [HMD]
Abstract
ADHD 아동 청소년의 주의산만 및 충동성 개선을 위한 VR 기반 훈련 시스템 및 방법이 개시된다. 본 발명의 일 실시예에 따른 ADHD 아동 청소년의 주의산만 및 충동성 개선을 위한 VR 기반 훈련 시스템의 사용자 장치는, 사용자를 인증하는 사용자 인증부; 집중력 훈련을 위한 공간을 가상현실로 구현한 가상공간을 제공하는 가상현실 제공부; 상기 가상공간에서 실행되는 VR 콘텐츠를 통해 주어지는 미션에 대해 제1 감각으로 지시받고 제2 감각을 활용하여 수행하게 함으로써 복합적인 감각 집중과 활용을 통해 상기 집중력 훈련을 수행하게 하는 VR 기반 훈련부; 및 상기 집중력 훈련의 결과를 수집하는 모니터링부를 포함할 수 있다. A VR-based training system and method for improving distraction and impulsivity in children and adolescents with ADHD is disclosed. The user device of the VR-based training system for improving distraction and impulsivity in ADHD children and adolescents according to an embodiment of the present invention includes a user authentication unit for authenticating a user; A virtual reality provision department that provides a virtual space for concentration training realized in virtual reality; A VR-based training unit that performs the concentration training through concentration and utilization of complex senses by receiving instructions with the first sense and performing the mission given through VR content running in the virtual space using the second sense; And it may include a monitoring unit that collects the results of the concentration training.
Description
본 발명은 ADHD 아동 청소년의 주의산만 및 충동성 개선을 위한 VR 기반 훈련 시스템 및 방법에 관한 것이다. The present invention relates to a VR-based training system and method for improving distraction and impulsivity in children and adolescents with ADHD.
주의력 결핍/과잉행동 장애(Attention Deficit/Hyperactivity Disorder, ADHD)는 아동기에 많이 나타나는 장애로, 지속적으로 주의력이 부족하여 산만하고 과다활동, 충동성을 보이는 상태를 말한다. 이러한 증상들을 치료하지 않고 방치할 경우 아동기 내내 여러 방면에서 어려움이 지속되고, 일부의 경우 청소년기와 성인기가 되어서도 증상이 남게 된다. Attention Deficit/Hyperactivity Disorder (ADHD) is a disorder that occurs frequently in childhood and refers to a condition in which a person consistently lacks attention, leading to distractibility, hyperactivity, and impulsivity. If these symptoms are left untreated, difficulties in many ways persist throughout childhood, and in some cases, symptoms remain even into adolescence and adulthood.
ADHD 판정을 받은 아동 청소년 환자의 경우 약물 부작용에 대한 염려 등으로 인해 치료율이 낮은 실정이다. 이로 인해 사회 부적응 및 학업 부진 등 질환 외 일상생활 속 불편함이 있게 된다. For children and adolescents diagnosed with ADHD, treatment rates are low due to concerns about drug side effects. This causes inconveniences in everyday life other than the disease, such as social maladjustment and academic failure.
성장기에 있는 ADHD 아동 청소년은 뇌 발달 및 학령기 등의 중요한 시기에 있어, 적절한 집중력 훈련 및 충동성 개선 훈련이 필요하다. 하지만, 코로나 19(COVID 19)로 인한 교육기관 및 병원의 인지훈련의 비대면화, 야외활동 자제 등으로 시기 적절한 교육을 받지 못하고 있어, 이들의 스트레스 및 정서불안 등의 문제가 야기되고 있다. Children and adolescents with ADHD who are growing up need appropriate concentration training and impulsivity improvement training during important periods such as brain development and school age. However, due to COVID-19, they are not receiving timely education due to non-face-to-face cognitive training at educational institutions and hospitals and refraining from outdoor activities, causing problems such as stress and emotional anxiety.
본 발명은 약물치료의 대안 혹은 병행치료의 수단으로 가상현실(VR) 환경 하에서 ADHD 아동 청소년을 대상으로 하는 인지훈련 콘텐츠를 제공하여 훈련하도록 함으로써 ADHD 증상을 효과적으로 개선할 수 있는 ADHD 아동 청소년의 주의산만 및 충동성 개선을 위한 VR 기반 훈련 시스템 및 방법을 제공하기 위한 것이다.The present invention is an alternative to drug treatment or as a means of concurrent treatment, and provides cognitive training content targeting ADHD children and adolescents in a virtual reality (VR) environment to train them, thereby effectively improving ADHD symptoms. and to provide a VR-based training system and method for improving impulsivity.
본 발명은 문제 인식과 답변 제출이 요구되는 감각을 다르게 설정함으로써 보다 효과적으로 집중력 훈련에 임할 수 있게 하는 ADHD 아동 청소년의 주의산만 및 충동성 개선을 위한 VR 기반 훈련 시스템 및 방법을 제공하기 위한 것이다. The present invention is intended to provide a VR-based training system and method for improving the inattention and impulsivity of children and adolescents with ADHD, which allows them to engage in concentration training more effectively by setting different senses required to recognize problems and submit answers.
본 발명의 이외의 목적들은 하기의 설명을 통해 쉽게 이해될 수 있을 것이다.Other objects of the present invention may be easily understood through the following description.
본 발명의 일 측면에 따르면, ADHD 아동 청소년을 위한 VR 기반 훈련 시스템의 사용자 장치로서, 사용자를 인증하는 사용자 인증부; 집중력 훈련을 위한 공간을 가상현실로 구현한 가상공간을 제공하는 가상현실 제공부; 상기 가상공간에서 실행되는 VR 콘텐츠를 통해 주어지는 미션에 대해 제1 감각으로 지시받고 제2 감각을 활용하여 수행하게 함으로써 복합적인 감각 집중과 활용을 통해 상기 집중력 훈련을 수행하게 하는 VR 기반 훈련부; 및 상기 집중력 훈련의 결과를 수집하는 모니터링부를 포함하는 ADHD 아동 청소년을 위한 VR 기반 훈련 시스템의 사용자 장치가 제공된다. According to one aspect of the present invention, a user device for a VR-based training system for children and adolescents with ADHD, comprising: a user authentication unit for authenticating a user; A virtual reality provision department that provides a virtual space for concentration training realized in virtual reality; A VR-based training unit that performs the concentration training through concentration and utilization of complex senses by receiving instructions with the first sense and performing the mission given through VR content running in the virtual space using the second sense; And a user device of a VR-based training system for children and adolescents with ADHD including a monitoring unit that collects the results of the concentration training is provided.
상기 가상현실 제공부는, 상기 사용자가 얼굴에 착용하는 FMD(Face Mounted Display)와, 상기 사용자가 파지 혹은 착용한 상태에서 사용자 명령을 입력하는 컨트롤러와, 가상현실 소프트웨어를 구동하고 상기 사용자의 모습을 촬영하는 VR 베이스 스테이션을 포함할 수 있다. The virtual reality provider includes an FMD (Face Mounted Display) worn by the user on the face, a controller that inputs user commands while held or worn by the user, runs virtual reality software, and takes pictures of the user. It may include a VR base station.
상기 FMD는 아이트래킹 장치를 포함하며, 상기 VR 콘텐츠는 상기 제1 감각으로 청각을 활용하여 과업 지시를 받고, 상기 제2 감각으로 시각을 활용하여 상기 아이트래킹 장치로 시각 응시하게 하여 1번 문제를 해결하게 하고, 1차 수행 및 상지근육을 활용하여 상기 컨트롤러로 상기 1번 문제에 상응하는 2번 문제를 해결하게 하는 콘텐츠일 수 있다.The FMD includes an eye-tracking device, and the VR content solves problem 1 by receiving task instructions using hearing as the first sense and visually gazing with the eye-tracking device using vision as the second sense. It may be content that allows the user to solve problem number 2 corresponding to problem number 1 with the controller by using primary performance and upper limb muscles.
상기 VR 콘텐츠는 상기 제1 감각으로 청각을 활용하여 과업 지시를 받고, 상기 제2 감각으로 시각을 활용하여 구분 후 상지근육을 활용하여 상기 컨트롤러로 과업을 수행하게 하는 콘텐츠일 수 있다.The VR content may be content that allows the user to receive task instructions using hearing as the first sense, classify the task using vision as the second sense, and then perform the task using the controller using upper limb muscles.
상기 VR 콘텐츠는 상기 제1 감각으로 청각 및 시각을 활용하여 과업 지시를 받고, 상기 제2 감각으로 시각 및 촉각을 활용하여 구분 후 상지근육을 활용하여 상기 컨트롤러로 과업을 수행하게 하는 다트 던지기 콘텐츠일 수 있다.The VR content is a dart throwing content that receives task instructions using hearing and vision as the first sense, distinguishes them using vision and touch as the second sense, and then performs the task with the controller using the upper limb muscles. You can.
상기 다트 던지기 콘텐츠에서는 목표 점수를 제시하고 복수 회의 다트 던지기 미션을 통해 획득한 점수를 누적하고, 남은 점수에 상응하는 다트판의 점수영역에 대해서는 지정된 차례에서 혹은 무작위로 지정된 이펙트가 발생되게 하여 상기 사용자에게 목표물을 인지시킬 수 있다.In the dart throwing content, a target score is presented and the points obtained through multiple dart throwing missions are accumulated, and an effect is generated in a designated turn or at random in the score area of the dartboard corresponding to the remaining score, so that the user The target can be recognized.
상기 FMD는 아이트래킹 장치를 포함하며, 상기 아이트래킹 장치를 이용하여 상기 사용자의 시선을 추적하고, 상기 남은 점수에 상응하는 점수영역에 시선이 머무르는 경우에는 지정된 이펙트를 발생시키며, 그 외 점수영역에 시선이 머무르는 경우에는 지정된 이펙트를 발생시키지 않을 수 있다. The FMD includes an eye tracking device, tracks the user's gaze using the eye tracking device, generates a designated effect when the gaze stays in a score area corresponding to the remaining score, and generates a designated effect in other score areas. If the gaze remains, the specified effect may not occur.
상기 VR 기반 훈련부는 프리뷰 및 연습게임 중 적어도 하나를 선행시킬 때 상기 사용자가 설정한 캐릭터를 상기 가상공간에 VR 도우미로 등장시킬 수 있다.When the VR-based training unit precedes at least one of a preview and a practice game, the character set by the user may appear as a VR helper in the virtual space.
전술한 것 외의 다른 측면, 특징, 이점이 이하의 도면, 특허청구범위 및 발명의 상세한 설명으로부터 명확해질 것이다.Other aspects, features and advantages in addition to those described above will become apparent from the following drawings, claims and detailed description of the invention.
본 발명의 실시예에 따르면, 약물치료의 대안 혹은 병행치료의 수단으로 가상현실(VR) 환경 하에서 ADHD 아동 청소년을 대상으로 하는 인지훈련 콘텐츠를 제공하여 훈련하도록 함으로써 ADHD 증상을 효과적으로 개선할 수 있는 효과가 있다.According to an embodiment of the present invention, the effect of effectively improving ADHD symptoms by providing and training cognitive training content for children and adolescents with ADHD in a virtual reality (VR) environment as an alternative to drug treatment or as a means of concurrent treatment. There is.
또한, 문제 인식과 답변 제출이 요구되는 감각을 다르게 설정함으로써 보다 효과적으로 집중력 훈련에 임할 수 있게 하는 효과도 있다.In addition, it has the effect of enabling more effective concentration training by setting the senses required to recognize the problem and submit an answer differently.
도 1은 본 발명의 일 실시예에 따른 ADHD 아동 청소년의 주의산만 및 충동성 개선을 위한 VR 기반 훈련 시스템의 구성도,
도 2는 VR 기반 훈련 시스템의 아키텍처를 나타낸 도면,
도 3은 본 발명의 일 실시예에 따른 ADHD 아동 청소년의 주의산만 및 충동성 개선을 위한 VR 기반 훈련 방법의 순서도,
도 4는 사용자 인증 및 로그인 방법의 순서도,
도 5는 집중력 훈련을 위한 제1 콘텐츠의 시나리오,
도 6은 집중력 훈련을 위한 제2 콘텐츠의 시나리오,
도 7은 집중력 훈련을 위한 제3 콘텐츠의 시나리오,
도 8 내지 도 10은 제3 콘텐츠에서의 훈련 화면 예시도.1 is a configuration diagram of a VR-based training system for improving distraction and impulsivity in children and adolescents with ADHD according to an embodiment of the present invention;
Figure 2 is a diagram showing the architecture of a VR-based training system;
Figure 3 is a flowchart of a VR-based training method for improving distraction and impulsivity in children and adolescents with ADHD according to an embodiment of the present invention;
4 is a flowchart of user authentication and login methods;
Figure 5 is a scenario of the first content for concentration training,
Figure 6 is a scenario of second content for concentration training,
Figure 7 is a scenario of third content for concentration training,
8 to 10 are examples of training screens in third content.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.Since the present invention can make various changes and have various embodiments, specific embodiments will be illustrated in the drawings and described in detail. However, this is not intended to limit the present invention to specific embodiments, and should be understood to include all changes, equivalents, and substitutes included in the spirit and technical scope of the present invention.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. When a component is said to be "connected" or "connected" to another component, it is understood that it may be directly connected to or connected to the other component, but that other components may exist in between. It should be. On the other hand, when it is mentioned that a component is “directly connected” or “directly connected” to another component, it should be understood that there are no other components in between.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. Terms such as first, second, etc. may be used to describe various components, but the components should not be limited by the terms. The above terms are used only for the purpose of distinguishing one component from another.
본 명세서에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terms used herein are only used to describe specific embodiments and are not intended to limit the invention. Singular expressions include plural expressions unless the context clearly dictates otherwise. In this specification, terms such as “comprise” or “have” are intended to indicate the presence of features, numbers, steps, operations, components, parts, or combinations thereof described in the specification, but are not intended to indicate the presence of one or more other features. It should be understood that this does not exclude in advance the possibility of the existence or addition of elements, numbers, steps, operations, components, parts, or combinations thereof.
또한, 각 도면을 참조하여 설명하는 실시예의 구성 요소가 해당 실시예에만 제한적으로 적용되는 것은 아니며, 본 발명의 기술적 사상이 유지되는 범위 내에서 다른 실시예에 포함되도록 구현될 수 있으며, 또한 별도의 설명이 생략될지라도 복수의 실시예가 통합된 하나의 실시예로 다시 구현될 수도 있음은 당연하다.In addition, the components of the embodiments described with reference to each drawing are not limited to the corresponding embodiments, and may be implemented to be included in other embodiments within the scope of maintaining the technical spirit of the present invention, and may also be included in separate embodiments. Even if the description is omitted, it is natural that a plurality of embodiments may be re-implemented as a single integrated embodiment.
또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일하거나 관련된 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. In addition, when describing with reference to the accompanying drawings, identical or related reference numbers will be assigned to identical or related elements regardless of the drawing symbols, and overlapping descriptions thereof will be omitted. In describing the present invention, if it is determined that a detailed description of related known technologies may unnecessarily obscure the gist of the present invention, the detailed description will be omitted.
또한, 명세서에 기재된 "…부", "…유닛", "…모듈", "…기" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.In addition, terms such as “… unit,” “… unit,” “… module,” and “… unit” used in the specification refer to a unit that processes at least one function or operation, which refers to hardware or software or hardware and software. It can be implemented by combining .
도 1은 본 발명의 일 실시예에 따른 ADHD 아동 청소년의 주의산만 및 충동성 개선을 위한 VR 기반 훈련 시스템의 구성도이고, 도 2는 VR 기반 훈련 시스템의 아키텍처를 나타낸 도면이며, 도 3은 본 발명의 일 실시예에 따른 ADHD 아동 청소년의 주의산만 및 충동성 개선을 위한 VR 기반 훈련 방법의 순서도이고, 도 4는 사용자 인증 및 로그인 방법의 순서도이다. Figure 1 is a configuration diagram of a VR-based training system for improving distraction and impulsivity in children and adolescents with ADHD according to an embodiment of the present invention, Figure 2 is a diagram showing the architecture of the VR-based training system, and Figure 3 is a diagram showing the architecture of the VR-based training system. This is a flowchart of a VR-based training method for improving distraction and impulsivity in children and adolescents with ADHD according to an embodiment of the invention, and Figure 4 is a flowchart of a user authentication and login method.
본 발명의 일 실시예에 따른 ADHD 아동 청소년의 주의산만 및 충동성 개선을 위한 VR 기반 훈련 시스템 및 방법은 사용자(ADHD 판정을 받은 아동 또는 청소년)에 대해 VR 콘텐츠를 활용하여 훈련 시 둘 이상의 감각을 활용하게 함으로써 집중력을 발달시켜 ADHD 증상을 개선시킬 수 있는 것을 특징으로 한다. A VR-based training system and method for improving distraction and impulsivity in ADHD children and adolescents according to an embodiment of the present invention utilizes VR content for users (children or adolescents diagnosed with ADHD) to enhance two or more senses during training. It is characterized by the ability to improve ADHD symptoms by developing concentration by using it.
도 1을 참조하면, 본 실시예에 따른 ADHD 아동 청소년의 주의산만 및 충동성 개선을 위한 VR 기반 훈련 시스템(10)은 사용자 장치(100), 관리자 단말(110), 사용자 이력 관리 서버(120)를 포함할 수 있다. Referring to FIG. 1, the VR-based training system 10 for improving distraction and impulsivity in ADHD children and adolescents according to this embodiment includes a user device 100, an administrator terminal 110, and a user history management server 120. may include.
사용자 장치(100)는 VR 기반 집중력 훈련이 요구되는 ADHD 아동 및/또는 청소년 사용자(이하, '사용자'라고 칭함)가 사용하는 장치이다. The user device 100 is a device used by ADHD children and/or adolescent users (hereinafter referred to as “users”) who require VR-based concentration training.
사용자 장치(100)에는 사용자 인증부(101), 가상현실 제공부(102), VR 기반 훈련부(103), 모니터링부(105)가 포함된다. 추가적으로 VR 기반 학습부(104)가 더 포함될 수 있다. The user device 100 includes a user authentication unit 101, a virtual reality provision unit 102, a VR-based training unit 103, and a monitoring unit 105. Additionally, a VR-based learning unit 104 may be further included.
사용자 인증부(101)는 사용 요청한 사용자에 대해 인증하고, 인증에 성공한 사용자에 한해 시스템에 로그인하여 사용자 장치(100)를 사용할 수 있게 한다. 본 실시예에서는 사용자 얼굴 인식을 통해 사용자를 자동 인식할 수도 있다. The user authentication unit 101 authenticates users who request use, and allows only users who successfully authenticate to log into the system and use the user device 100. In this embodiment, the user may be automatically recognized through user face recognition.
사용자 인증부(101)는 카메라(미도시)가 구비된 단말(예를 들어, 컴퓨팅 장치)로서, 사용자의 얼굴을 촬영하고, 인증에 성공한 사용자에 한하여 해당 사용자에 대해 설정된 VR 기반 집중력 훈련을 받을 수 있게 한다. The user authentication unit 101 is a terminal (e.g., computing device) equipped with a camera (not shown), photographs the user's face, and only users who succeed in authentication receive VR-based concentration training set for that user. make it possible
사용자 인증부(101)에서 수행되는 사용자 인증 방법에 대해 도 4를 참조하여 설명하기로 한다. The user authentication method performed in the user authentication unit 101 will be described with reference to FIG. 4.
카메라를 이용하여 사용자의 얼굴을 촬영한 입력 영상을 획득한다(단계 S400). An input image of the user's face is acquired using a camera (step S400).
입력 영상은 그레이 영상으로 변환한 후, 머신러닝을 이용하여 영상에서 얼굴 영역을 검출한다(단계 S410). 만약 영상에서 다수의 얼굴이 검출되는 경우에는 얼굴 영역의 크기 정보를 이용하여 가장 큰 크기를 가지는 얼굴을 사용자 인식용 얼굴 영상으로 사용할 수 있다. The input image is converted to a gray image, and then the face area is detected from the image using machine learning (step S410). If multiple faces are detected in the image, the face with the largest size can be used as the face image for user recognition using the size information of the face area.
또한, 입력 영상에서 얼굴은 정면 얼굴일 수도 있지만, 그 외 측면 얼굴 등 다양한 각도의 얼굴이 나타날 수도 있다. 따라서, 얼굴 영상을 정면 얼굴로 변환하여 안면 인식을 수행함으로써, 인식률을 향상시킬 필요가 있을 수 있다. Additionally, the face in the input image may be a frontal face, but other faces from various angles, such as a side face, may also appear. Therefore, there may be a need to improve the recognition rate by performing facial recognition by converting the face image into a frontal face.
다양한 각도의 얼굴 영상을 정면 영상으로 변환하기 위해 눈, 코, 입, 얼굴의 윤곽 정보를 얼굴 특징점으로 추출한다(단계 S420). 얼굴 특징점 정보 획득을 위해 얼굴 랜드마크 추정(face landmark estimate) 방법을 사용할 수 있다. In order to convert face images from various angles into frontal images, information on the eyes, nose, mouth, and face outline is extracted as facial feature points (step S420). To obtain facial feature information, a face landmark estimate method can be used.
얼굴 특징점이 추출되면, 얼굴 영상을 정면 얼굴 영상으로 변환하여 얼굴 영상을 정형화한다. 그리고 데이터베이스 내에 기 저장된 사용자 얼굴 영상과 비교한다(단계 S430). 데이터베이스 내의 사용자 얼굴 영상과의 비교 방법은 딥러닝 기술을 사용하여 얻어진 특징 벡터에 대해 유클리디안 거리, 클러스터링을 통해 비교할 수 있고, 인식 대상별 문턱값을 사용하여 안면 인식을 수행할 수 있다. 인식 대상별 문턱값은 데이터베이스 내의 사용자 얼굴 영상들과 비교 수행하여 얻어진 문턱값을 사용할 수 있다. Once facial features are extracted, the face image is converted into a frontal face image and the face image is standardized. And it is compared with the user's face image already stored in the database (step S430). The comparison method with the user's face image in the database can be compared through Euclidean distance and clustering for feature vectors obtained using deep learning technology, and facial recognition can be performed using a threshold value for each recognition target. The threshold value for each recognition target can be a threshold value obtained by comparing with user face images in the database.
사용자 인식이 완료되고(단계 S440), 인식에 성공하면 해당 얼굴에 대응되는 인증된 사용자로 로그인될 수 있다(단계 S450). User recognition is completed (step S440), and if recognition is successful, the authenticated user corresponding to the face can be logged in (step S450).
만약 사용자 인식에 실패할 경우에는 입력된 영상과 유사도가 높은 사용자 리스트를 출력한다(단계 S460). If user recognition fails, a list of users with high similarity to the input image is output (step S460).
사용자 리스트에 입력 영상의 얼굴과 대응되는 사용자 ID가 있을 경우, 사용자 ID 선택 기능을 통해(단계 S470) 로그인되게 할 수 있다(단계 S450). If there is a user ID corresponding to the face of the input image in the user list, the user can be logged in (step S450) through the user ID selection function (step S470).
본 실시예에서 사용자는 아동 및/또는 청소년으로 단기간에 급성장 가능성이 높아, 얼굴의 크기, 형태 등이 유지되지 않고 변화되는 폭이 클 수 있다. 따라서, 로그인에 성공한 사용자의 경우, 현재 촬영된 사용자 얼굴을 최신의 사용자 얼굴 영상으로 데이터베이스에 업데이트할 수 있다(단계 S480). 이를 통해 데이터베이스에 저장되는 사용자 얼굴 영사이 항상 최신 버전이 되게 함으로써, 성장에 따른 사용자의 얼굴 변화에 대응하여 사용자 인증 실패 비율을 낮추고 원활한 로그인이 이루어지게 할 수 있다. In this embodiment, the user is a child and/or an adolescent and is likely to grow rapidly in a short period of time, so the size and shape of the face may not be maintained and may change significantly. Accordingly, for a user who successfully logs in, the currently captured user face can be updated to the database with the latest user face image (step S480). This ensures that the user's face projection stored in the database is always the latest version, thereby lowering the user authentication failure rate and enabling smooth login in response to changes in the user's face as he or she grows.
다시 도 1을 참조하면, 사용자 인증부(101)에 의해 사용자 인증이 완료되어 시스템에 로그인한 사용자에 대해, 사용자 장치(100)의 다른 구성요소들(가상현실 제공부(102), VR 기반 훈련부(103), 모니터링부(105), VR 기반 학습부(104))이 활성화되어 VR 기반 훈련을 받을 수 있게 한다. Referring again to FIG. 1, for a user who has completed user authentication by the user authentication unit 101 and logged in to the system, other components of the user device 100 (virtual reality provider 102, VR-based training unit) (103), monitoring unit 105, and VR-based learning unit 104) are activated to enable VR-based training.
가상현실 제공부(102)는 ADHD 증상 개선을 위한 집중력 훈련을 수행함에 있어서 사용자에 가상현실로 구현한 공간(가상공간)을 제공하여 보다 실감나는 훈련을 받을 수 있게 한다. 본 실시예에서 가상현실 제공부(102)는 페이스 마운트 디스플레이(FMD, Face Mounted Display) 및 컨트롤러(Controller)일 수 있다. When performing concentration training to improve ADHD symptoms, the virtual reality provider 102 provides the user with a space (virtual space) implemented in virtual reality so that the user can receive more realistic training. In this embodiment, the virtual reality provider 102 may be a face mounted display (FMD) and a controller.
VR 기반 훈련부(103)는 가상현실 제공부(102)에 의해 제공되는 가상현실 내에서 실행되는 VR 콘텐츠를 통해 주어지는 미션을 수행함으로써 사용자가 집중력 훈련을 수행하게 한다. The VR-based training unit 103 allows the user to perform concentration training by performing missions given through VR content executed in virtual reality provided by the virtual reality providing unit 102.
VR 기반 학습부(104)는 가상현실 제공부(102)에 의해 제공되는 가상현실 내에서 집중력 훈련 수행 중에 지정된 조건 만족 시 사용자에 대한 맞춤형 학습 문제를 제공(표출)하고 풀이하게 함으로써 학습을 수행하게 한다. The VR-based learning unit 104 performs learning by providing (expressing) and solving customized learning problems for the user when specified conditions are met during concentration training in virtual reality provided by the virtual reality providing unit 102. do.
모니터링부(105)는 가상현실 기반으로 집중력 훈련을 수행한 결과를 실시간으로 수집한다. 추가적으로 가상현실 기반으로 학습을 수행한 결과를 실시간으로 수집할 수도 있다. 수집된 훈련 결과는 사용자 식별정보와 연계되어 사용자 이력 관리 서버(120)로 전송된다. The monitoring unit 105 collects the results of concentration training based on virtual reality in real time. Additionally, the results of learning based on virtual reality can be collected in real time. The collected training results are linked to user identification information and transmitted to the user history management server 120.
사용자 이력 관리 서버(120)는 사용자 장치(100), 특히 모니터링부(105)로부터 사용자별 훈련 결과(추가적으로 학습 결과)를 전송받아 관리한다. 사용자의 로그인 정보, 훈련 종류 및 훈련 성과, 문제 및 풀이 결과가 연관되어 사용자 이력으로 데이터베이스에 저장되고 관리될 수 있다. The user history management server 120 receives training results (additionally learning results) for each user from the user device 100, especially the monitoring unit 105, and manages them. The user's login information, training type and training performance, problems and solution results can be linked and stored and managed in the database as user history.
관리자 단말(110)은 VR 기반 집중력 훈련을 계획하고 관리하는 관리자가 사용하는 단말이다. 관리자는 예를 들어 작업치료사 혹은 교사일 수 있다. 관리자 단말(110)로는 PC, 스마트폰, 태블릿 PC 등의 컴퓨팅 장치가 이용될 수 있다. The administrator terminal 110 is a terminal used by an administrator who plans and manages VR-based concentration training. The manager could be an occupational therapist or teacher, for example. A computing device such as a PC, smartphone, or tablet PC may be used as the manager terminal 110.
관리자는 관리자 단말(110)을 통해 사용자 이력 관리 서버(120)에 접속함으로써, VR 기반 집중력 훈련이 필요한 사용자가 동일 공간에 위치하지 않더라도 원활히 VR 기반 집중력 훈련을 계획하고 훈련이 제대로 이루어지고 있는지를 모니터링하며 피드백할 수 있다. VR 기반 집중력 훈련 이외에 학습도 계획하고 관리될 수 있다. By accessing the user history management server 120 through the administrator terminal 110, the administrator smoothly plans VR-based concentration training and monitors whether the training is being carried out properly even if the user who needs VR-based concentration training is not located in the same space. and you can give feedback. In addition to VR-based concentration training, learning can also be planned and managed.
관리자는 관리자 단말(110)을 통해 사용자의 콘텐츠 수행 화면을 확인할 수 있다. 관리자는 확인을 통해 콘텐츠 수행 수준이 적합하지 않을 경우 수준을 높이거나 낮추는 등 사용자의 지도에 활용할 수 있다. The administrator can check the user's content execution screen through the administrator terminal 110. Through confirmation, administrators can use it to guide users by raising or lowering the level if the content performance level is not appropriate.
미션 수행 결과 및 문제 풀이 결과는 각 사용자마다 실시간으로 공유될 수 있다. 또한, 미션 수행 결과 및 문제 풀이 결과는 관리자 단말에서도 조회가 가능하다. 관리자는 관리자 단말(110)을 통해 사용자의 연령 및 학년에 따라 문제를 직접 입력하거나 선택하여 난이도를 조절할 수 있다. Mission performance results and problem solving results can be shared in real time with each user. Additionally, mission performance results and problem solving results can be viewed on the administrator terminal. The administrator can adjust the level of difficulty by directly entering or selecting problems according to the user's age and grade through the administrator terminal 110.
즉, 본 실시예에서 사용자 장치(100)와 관리자 단말(110)을 통해 사용자와 관리자는 원격에서도 원활히 VR 기반 집중력 훈련을 진행할 수 있게 된다. That is, in this embodiment, the user and the administrator can smoothly conduct VR-based concentration training remotely through the user device 100 and the administrator terminal 110.
도 2를 참조하면, VR 기반 훈련 시스템의 아키텍처가 도시되어 있다. Referring to Figure 2, the architecture of a VR-based training system is shown.
클라이언트는 전술한 사용자 장치(100) 중 가상현실 제공부(102)에 대응된다. 가상현실 제공부(102)는 가상현실 소프트웨어를 구동시키고 훈련에 참여하는 사용자의 모습을 촬영하기 위한 VR 베이스 스테이션과, 사용자가 얼굴에 착용하는 FMD와, 사용자가 파지 혹은 착용한 상태에서 클릭, 버튼 푸시, 제스처, 모션 등으로 사용자 명령을 입력하는 컨트롤러를 포함한다. The client corresponds to the virtual reality provider 102 of the user device 100 described above. The virtual reality provision unit 102 includes a VR base station for running virtual reality software and filming the user participating in training, an FMD worn on the user's face, and a button that the user can click while holding or wearing it. It includes a controller that inputs user commands through push, gesture, motion, etc.
가상현실 제공부(102)는 HDMI, USB 등의 유선 연결 방식 혹은 Bluetooth 등의 무선 연결 방식이 적용된 어댑터를 통해 콘텐츠 프로바이더(contents provider)인 데스크탑에 연결될 수 있다. 데스크탑은 TCP/IP 등의 인터넷 연결을 통해 관리자 단말(110)에 해당하는 태블릿 PC와 연결될 수 있다. The virtual reality provider 102 can be connected to a desktop, which is a content provider, through an adapter using a wired connection such as HDMI or USB or a wireless connection such as Bluetooth. The desktop can be connected to the tablet PC corresponding to the administrator terminal 110 through an Internet connection such as TCP/IP.
태블릿 PC에는 사용자의 훈련 결과 등의 데이터가 사용자 식별정보에 매칭되어 보관되는 데이터 저장소로서 기능하는 SQL 서버와, 서버 관리자가 SQL 서버의 데이터에 접근할 수 있게 하는 사용자 인터페이스를 제공하는 UI 모듈이 설치될 수 있다.The tablet PC is equipped with a SQL server that functions as a data storage where data such as user training results are stored by matching user identification information, and a UI module that provides a user interface that allows the server administrator to access data in the SQL server. It can be.
본 실시예에서는 VR 기반 훈련부(103)를 통해 제공된 VR 콘텐츠에 대한 사용자의 미션 수행 성공이 연속되는 경우, VR 기반 학습부(104)에서 학습 향상을 위한 문제를 제시할 수 있다. 미션 수행 성공이 연속된다는 것은 사용자가 VR 콘텐츠에 대한 집중도가 높아진 상태에 있음을 의미한다. 따라서, VR 기반 학습부(104)는 사용자가 향상된 집중력을 유지한 상태에서 학습을 위한 문제(예를 들어, 영어, 수학 등의 교과목에 관련된 문제)를 제시하고 풀게 함으로써 학습 효율을 극대화할 수 있다. In this embodiment, if the user continues to successfully perform missions for VR content provided through the VR-based training unit 103, the VR-based learning unit 104 may present problems for improving learning. Continuous success in mission performance means that the user is in a state of increased concentration on VR content. Therefore, the VR-based learning unit 104 can maximize learning efficiency by presenting and solving problems for learning (for example, problems related to subjects such as English and mathematics) while the user maintains improved concentration. .
또한, 관리자 단말(110)은 VR 콘텐츠별 데이터 이력을 분석하고, 집중력 향상 성능이 부족한 VR 콘텐츠에 대해서는 수정 및 보완이 이루어지게 할 수 있다. In addition, the administrator terminal 110 can analyze data history for each VR content, and make corrections and supplements for VR content that lacks concentration improvement performance.
또한, 관리자 단말(110)에는 난이도 조절 알고리즘이 탑재되어, 현재 모니터링 중인 사용자의 과업 수행에 따라 해당 사용자 장치(100)에서 수행되는 VR 콘텐츠와 관련하여 속도가 빨라지거나 과업의 숫자가 많아지는 등 난이도가 높아지게 하거나 그 반대로 속도를 늦추거나 과업 숫자를 줄여 난이도가 낮아지게 할 수도 있다. In addition, the administrator terminal 110 is equipped with a difficulty adjustment algorithm, and according to the task performance of the user currently being monitored, the difficulty level such as speed or number of tasks related to VR content performed on the user device 100 increases. You can increase the difficulty level, or vice versa, by slowing down the speed or reducing the number of tasks.
도 3을 참조하면, 본 실시예에 따른 VR 기반 훈련 방법의 순서도가 도시되어 있다. Referring to Figure 3, a flow chart of the VR-based training method according to this embodiment is shown.
사용자는 사용자 장치(100)를 통해 사용자 인증 및 로그인을 수행한다(단계 S300). 앞서 도 4를 참조하여 사용자 인증 및 로그인 과정에 대해서는 상세히 설명한 바 있다. The user performs user authentication and login through the user device 100 (step S300). Previously, the user authentication and login process was described in detail with reference to FIG. 4.
가상현실 제공부(102)는 사용자에게 가상현실을 제공하고, VR 기반 훈련부(103)에서는 로그인한 사용자에 상응하여 설정된 VR 콘텐츠를 실행시켜 VR 기반 집중력 훈련을 시작할 수 있다(단계 S310). The virtual reality providing unit 102 provides virtual reality to the user, and the VR-based training unit 103 executes VR content set according to the logged in user to start VR-based concentration training (step S310).
VR 기반 집중력 훈련 시작 시 사용자에게 프리뷰(Preview)를 제공하여 VR 콘텐츠에 따른 집중력 훈련의 내용을 충분히 이해하고 훈련 방법을 습득할 수 있도록 하는 정보를 제공할 수 있다(단계 S320). 또한, 사용자가 쉽게 포기하지 않고 성취감을 느끼고 도전할 수 있게 하는 요소를 배치한 연습 게임을 제공할 수도 있다. When starting VR-based concentration training, a preview can be provided to the user to provide information that allows the user to fully understand the content of concentration training according to VR content and learn the training method (step S320). Additionally, it is possible to provide a practice game with elements that allow users to feel a sense of accomplishment and challenge themselves without giving up easily.
본 실시예에서 사용자는 ADHD 아동 청소년으로, 로그인을 통해 사용자를 식별한 경우, 해당 사용자가 사전 설정한 캐릭터(예를 들어, 연예인, 아이돌 등의 현실인물 캐릭터 혹은 게임, 만화 주인공 등의 가상인물 캐릭터 등)가 VR 도우미로 등장하여 프리뷰를 제공하고 연습 게임을 진행하는데 도와주도록 할 수 있다. 사용자가 선택한 캐릭터를 가상공간 내에 등장시킴으로써, 사용자의 흥미를 유발하고 관심을 집중시킴으로써 집중력 향상에 도움을 줄 수 있다. 이후 실제 훈련 과정에서도 해당 캐릭터의 음성, 영상 등이 활용될 수도 있다. In this embodiment, the user is a child or adolescent with ADHD, and when the user is identified through login, a character preset by the user (for example, a real character character such as a celebrity or idol, or a virtual character character such as a game or cartoon protagonist) etc.) can appear as a VR assistant to provide a preview and help you play a practice game. By making the character selected by the user appear in the virtual space, it can help improve concentration by arousing the user's interest and focusing their attention. Afterwards, the character's voice and video may be used in the actual training process.
프리뷰 혹은 연습게임 진행 후 집중력 훈련 콘텐츠를 통한 훈련 수행이 이루어지게 할 수 있다(단계 S330). VR 기반 집중력 훈련 콘텐츠는 과업 지시에 활용되는 제1 감각과 과업 수행에 활용되는 제2 감각이 상이하도록 설정함으로써, 사용자에게 복합적인 감각 집중 및 활용을 유도하여 보다 향상된 집중력 개선이 이루어지게 할 수 있다. 예를 들어, 과업 지시 시에는 청각적인 정보를 전달하고, 과업 수행 시에는 시각과 상지 운동을 유도할 수 있다. After the preview or practice game is played, training can be performed through concentration training content (step S330). VR-based concentration training content sets the first sense used for task instruction and the second sense used for task performance to be different, thereby encouraging users to focus and utilize multiple senses, thereby improving concentration. . For example, when giving task instructions, auditory information can be delivered, and when performing a task, vision and upper limb movements can be induced.
모니터링부(105)는 VR 기반 훈련부(103)에 의해 수행된 훈련 결과를 수집한다(단계 S340). 수집된 훈련 결과는 서버 측으로 전달되고, 관리자 단말(110)에서 해당 데이터에 대해 접근하여 모니터링하고 활용하게 할 수 있다. The monitoring unit 105 collects training results performed by the VR-based training unit 103 (step S340). The collected training results are delivered to the server side, and the administrator terminal 110 can access, monitor, and utilize the data.
본 실시예에서 VR 기반 훈련부(103)는 VR 콘텐츠의 내용에 따른 다양한 미션에 대해 사용자가 미리 지정된 조건에 따라 연속적으로 N(2 이상의 자연수)회 성공하는지를 판단할 수 있다. In this embodiment, the VR-based training unit 103 may determine whether the user successively succeeds in various missions according to the contents of VR content N (a natural number of 2 or more) times according to pre-specified conditions.
그리고 연속 N회 성공한 경우, VR 기반 훈련부(103)는 VR 콘텐츠의 실행을 잠시 중단하고, VR 기반 학습부(104)는 가상현실 내에서 학습 문제를 제출하고 사용자가 풀이하게 할 수 있다. 이는 주어진 미션에 대해 연속 N회 성공한 경우, 사용자의 집중력이 향상된 상태에 있는 것으로 보고, 집중력이 향상된 상태에서 학습 문제를 풀게 함으로써 학습 효율을 극대화하기 위함이다. And when success is achieved N times in a row, the VR-based training unit 103 temporarily stops running the VR content, and the VR-based learning unit 104 submits a learning problem within virtual reality and allows the user to solve it. This is to maximize learning efficiency by considering that if a given mission is successfully completed N times in a row, the user's concentration is improved and the learning problem is solved with improved concentration.
ADHD 아동 청소년의 집중력 향상을 위한 VR 콘텐츠가 도 5 이하의 도면에 예시되어 있다. VR content for improving the concentration of ADHD children and adolescents is illustrated in the drawings below.
도 5는 집중력 훈련을 위한 제1 콘텐츠의 시나리오이며, 도 6은 집중력 훈련을 위한 제2 콘텐츠의 시나리오이고, 도 7은 집중력 훈련을 위한 제3 콘텐츠의 시나리오이며, 도 8 내지 도 10은 제3 콘텐츠에서의 훈련 화면 예시도이다.Figure 5 is a scenario of the first content for concentration training, Figure 6 is a scenario of the second content for concentration training, Figure 7 is a scenario of the third content for concentration training, and Figures 8 to 10 are the third content This is an example of a training screen in the content.
도 5에는 제1 콘텐츠로서 '터트리기' 콘텐츠의 시나리오가 도시되어 있다. Figure 5 shows a scenario of 'explosion' content as the first content.
수행 목표는 청각 정보 확인 후 시각 응시를 통한 집중력 향상이다. The performance goal is to improve concentration through visual gaze after checking auditory information.
콘텐츠 수행 방식 중 과업 지시 방법은 청각을 이용하며, 과업 수행 방법으로는 시각 응시 및 상지근육(컨트롤러)을 활용하여 정답을 선택하게 한다. Among the content performance methods, the task instruction method uses hearing, and the task performance method uses visual gaze and upper limb muscles (controller) to select the correct answer.
몰입하고 있는 시각과 청각 자극 이외의 상황에 대해서는 최대한 반응하지 않고 목표를 수행하게 한다. 1차(1번 문제) 및 2차(2번 문제)에 걸친 복합 과업을 제공해줄 수 있다. Perform your goal without reacting as much as possible to situations other than the visual and auditory stimuli you are immersed in. It can provide a complex task spanning the first (problem 1) and second (problem 2).
1번 문제에서는 수행 목표를 음성으로 듣고, VR FMD를 이용하여 소정 시간(예컨대, 2~3초) 지속 시야 고정함으로써 목표물을 제거하게 한다. 이를 위해 VR FMD에는 아이트래킹 장치가 구비되어 있어, 사용자의 시선을 추적하도록 구현되어 있을 수 있다. In problem 1, the target is removed by listening to the performance goal in a voice and fixing the field of view for a predetermined period of time (e.g., 2 to 3 seconds) using the VR FMD. For this purpose, the VR FMD may be equipped with an eye tracking device and implemented to track the user's gaze.
2번 문제에서는 앞서 1번 문제에서의 답변 매칭 후 컨트롤러를 이용하여 연관된 항목을 선택하게 한다. 예를 들어 1번 문제가 색상에 관한 것이었을 경우, 해당 색상과 일치하는 단어 혹은 그림을 선택하게 할 수 있다. In question 2, after matching the answer in question 1, the related item is selected using a controller. For example, if question 1 was about color, you could have the child choose a word or picture that matches that color.
콘텐츠 수행 효과로는 시각 및 청각 집중력(정확도)가 향상될 수 있다. 그리고 부주의, 충동성, 산만도가 개선되고 응용능력이 향상될 수 있다. Content performance effects include improved visual and auditory concentration (accuracy). Additionally, inattention, impulsivity, and distractibility can be improved and application skills can be improved.
콘텐츠 수행의 분석 항목은 다음과 같다. 총시간은 훈련 종료시까지 소요된 훈련시간을 초(second) 단위로 측정하며, 정반응은 정답을 정확하게 선택한 수, 오경보는 오답을 선택한 수, 누락오류는 선택지를 선택하지 못한 수, 완료는 최종성공단계를 나타낸다. The analysis items of content performance are as follows. The total time is measured in seconds as the training time until the end of training. A correct response is the number of correct answers selected, a false alarm is the number of incorrect answers selected, an omission error is the number of failures to select an option, and completion is the final success stage. represents.
도 6에는 제2 콘텐츠로서, 특정 동물 소리가 제시되면 양쪽에 제시된 동물 중 소리와 매칭되는 동물을 선택하는 '소리짝' 콘텐츠의 시나리오가 도시되어 있다. Figure 6 shows a scenario of 'sound pair' content, which, as the second content, selects an animal that matches the sound among the animals presented on both sides when a specific animal sound is presented.
수행 목표는 주어진 정보(과제)에 반응하고 기억하며 목표를 수행함으로써 기억력 증진 및 시청각 인지능력을 활용한 집중력 개선이다. The performance goal is to improve memory and concentration using audiovisual cognitive abilities by responding to and remembering given information (tasks) and carrying out goals.
콘텐츠 수행 방식 중 과업 지시 방법은 청각을 이용하며, 과업 수행 방법으로는 시각을 활용하여 구분 후 상지근육(컨트롤러)를 사용하여 수행하게 한다. Among the content performance methods, the task instruction method uses hearing, and the task performance method uses vision to classify the task and then perform it using the upper limb muscles (controller).
제시된 사운드 문제에 대해 좌우측에 등장하는 동물 중 소리와 일치하는 동물을 선택하여 학습하는 방식이다. 기출되는 문항(주어진 문제에 대한 짝 맞추기)을 수행 완료시 종료된다. This is a method of learning by selecting the animal that matches the sound among the animals that appear on the left and right of the presented sound problem. It ends when the questions (matching the given problems) are completed.
콘텐츠 수행 효과로는 기억력 및 집중력이 증진될 수 있다. 주어진 정보에 대한 구분 및 판단능력이 증진될 수 있다. Effects of content performance can improve memory and concentration. The ability to distinguish and judge given information can be improved.
콘텐츠 수행의 분석 항목은 다음과 같다. 총시간은 훈련 종료시까지 소요된 훈련시간을 초 단위로 측정하며, 정반응은 정답을 정확하게 선택한 수, 오경보는 오답을 선택한 수, 누락오류는 선택지를 선택하지 못한 수, 완료는 최종성공단계를 나타낸다. The analysis items of content performance are as follows. Total time measures the training time required until the end of training in seconds. A correct response indicates the number of correct answers selected, a false alarm indicates the number of incorrect responses selected, an omission error indicates the number of failures to select an option, and completion indicates the final success stage.
도 7에는 제3 콘텐츠로서, 1회 이상 다트를 던져 획득한 점수의 합산 결과가 제시된 목표 점수에 도달할 것이 요구되는 '다트 던지기' 콘텐츠의 시나리오가 도시되어 있다. Figure 7 shows a scenario of the third content, 'dart throwing' content, which requires the sum of scores obtained by throwing darts more than once to reach a given target score.
수행 목표는 다트를 던지는 동작을 통해 상지(어깨)를 강화하고 목표물에 대한 집중력을 증진하는 것이다. 또한, 단체활동(다트게임) 및 계산(점수 합산)에 대한 이해도 증진도 수행 목표에 해당한다. The goal is to strengthen the upper extremities (shoulders) and improve concentration on the target through the dart throwing motion. In addition, improving understanding of group activities (dart games) and calculations (summing up scores) are also performance goals.
콘텐츠 수행 방식 중 과업 지시 방법은 청각 및 시각을 활용하여 사라지는 문제를 제시한다. 예를 들어, '80점을 맞춰주세요'라는 음성이 출력됨과 함께 전방에 도 7의 최좌측에 표시된 것과 같은 화면에 일정 시간 표시되고 사라지게 할 수 있다. Among the content performance methods, the task instruction method utilizes hearing and vision to present a problem that disappears. For example, a voice saying 'Please guess 80 points' can be output and displayed on a screen like the one shown on the leftmost side of Figure 7 for a certain period of time before disappearing.
다트 던지기 콘텐츠에서는 목표 점수를 제시하고 복수 회의 다트 던지기 미션을 통해 획득한 점수를 누적한다. 남은 점수에 상응하는 다트판의 점수영역에 대해서는 지정된 차례에서 혹은 무작위로 지정된 이펙트(예컨대, 영역의 하이라이트 표시, 진동 등)가 발생되게 하여 사용자에게 목표물을 인지시킬 수 있다. In the dart throwing content, a target score is presented and the points obtained through multiple dart throwing missions are accumulated. For the score area of the dartboard that corresponds to the remaining score, a designated effect (e.g., area highlighting, vibration, etc.) can be generated in a designated turn or randomly to make the user recognize the target.
과업 수행 방법으로는 다트판의 각 점수영역이 무작위로 하이라이트될 때 VR 콘텐츠에서 지정한 해당 차수에서의 점수영역에 도달한 경우 발생하는 진동을 인지하고, 상지 근육을 사용(컨트롤러 휘두르기)하거나 컨트롤러 버튼 누르기를 통해 다트를 던질 수 있다. 예를 들어, 컨트롤러를 전방을 향해 일정 속도 이상으로 휘두르는 모션을 취할 경우 VR 베이스 스테이션에서 이를 센싱하여 다트가 날아가서 다트판에 꽂히게 된다. 또는 특정 영역에서 컨트롤러의 버튼을 누를 경우 다트가 날아가서 다트판의 해당 영역에 꽂히게 된다. Methods for performing the task include recognizing the vibration that occurs when each scoring area on the dartboard is randomly highlighted and reaching the scoring area at the corresponding order specified in the VR content, and using the upper limb muscles (swinging the controller) or pressing the controller button. You can throw darts through . For example, if you swing the controller forward at a certain speed or higher, the VR base station senses this and the dart flies and lands on the dartboard. Or, if you press the button on the controller in a specific area, the dart will fly and land in that area of the dartboard.
제시한 목표 점수를 채우면 계산 과정 및 도달 점수를 표시하는 결과 화면이 도출될 수 있다. 목표 점수까지 남은 점수를 채울 때까지 다트판의 과녁을 맞추는 과제가 반복될 수 있다. When the proposed target score is met, a result screen displaying the calculation process and the achieved score can be generated. The task of hitting the target on the dartboard can be repeated until the remaining points are reached.
도 8 내지 도 10을 참조하면, 사용자의 전방에 나타나는 다트판 영상이 예시되어 있다. Referring to Figures 8 to 10, a dartboard image appearing in front of the user is illustrated.
도 8을 참조하면, 목표 점수로 80점이 제시되어 있으며, 해당 점수에 도달하기 위해 현재까지 획득한 점수를 차감하고 남은 점수가 표시될 수 있다. 남은 점수를 표시해 줌으로써, 다트게임 룰이 고득점을 추구하는 것이 아니라 지정된 점수를 획득하는 것임을 콘텐츠 수행 중에 사용자에게 자연스럽게 이해시킬 수 있다. Referring to FIG. 8, 80 points are presented as the target score, and the points remaining after subtracting the points obtained to date to reach the target score may be displayed. By displaying the remaining score, users can naturally understand while performing the content that the dart game rule is not to pursue a high score, but to obtain a designated score.
다트판 영상에서 각 점수영역은 지정된 순서에 따라 혹은 무작위로 지정된 시간(예를 들어, 1~2초) 동안 하이라이트 될 수 있다. 하이라이트 된 상태에서 사용자가 지정된 다트 던지기 행동을 취할 경우 다트가 날아가 해당 점수영역에 꽂히게 된다. In the dartboard video, each score area can be highlighted in a specified order or for a randomly specified time (for example, 1 to 2 seconds). When the user performs the designated dart throwing action in the highlighted state, the dart flies and lands in the corresponding scoring area.
이 경우 사용자에게 원활히 다트게임 룰을 이해시키고 다트게임을 진행시키기 위해, 지정된 점수영역이 하이라이트 될 때 컨트롤러에 진동을 발생시켜 사용자에게 현재 다트를 던질 타이밍임을 알려줄 수 있다. In this case, in order to help the user understand the dart game rules and proceed with the dart game, vibration may be generated on the controller when a designated score area is highlighted to inform the user that it is the current time to throw a dart.
또는 VR FMD에 아이트래킹 장치가 구비된 경우, 사용자의 시선을 추적하여 다트판의 각 점수영역 중 사용자의 시선이 머무는 곳이 하이라이트 되게 할 수도 있다. 이 경우 사용자의 시선이 머무는 점수영역이 지정된 점수영역에 해당할 경우 컨트롤러에 진동을 발생시켜 사용자에게 다트를 던질 타이밍을 알려줄 수도 있다. Alternatively, if the VR FMD is equipped with an eye tracking device, the user's gaze can be tracked and the area where the user's gaze rests among each scoring area of the dartboard can be highlighted. In this case, if the scoring area where the user's gaze is located corresponds to a designated scoring area, vibration may be generated on the controller to inform the user of the timing to throw the dart.
도 9를 참조하면, 4회 다트를 던진 이후 남은 점수가 10점으로 예시되어 있다(Track 1: 20점, Track 2: 20점, Track 3: 10점, Track 4: 20점). 다트게임은 목표 점수에 도달할 것이 요구되는 게임으로, 현재 트랙(Track 5)에서는 10점을 초과하는 점수영역에 다트가 꽂힐 경우에는 목표 점수를 초과하게 된다. Referring to Figure 9, the remaining score after throwing darts four times is illustrated as 10 points (Track 1: 20 points, Track 2: 20 points, Track 3: 10 points, Track 4: 20 points). The dart game is a game that requires reaching a target score, and in the current track (Track 5), if a dart is inserted into a score area that exceeds 10 points, the target score is exceeded.
따라서, 11점 이상의 점수영역에 대해서는 하이라이트 되지 않게 하거나 하이라이트 되더라도 진동이 발생하지 않게 함으로써, 사용자에게 현재 트랙에서 목표 점수에 도달하기 위해 다트를 던져야 할 점수영역을 자연스럽게 이해시킬 수 있다. 아이트래킹 장치를 이용하는 경우라면 사용자의 시선이 11점 이상의 점수 영역에 머무르는 경우에도 하이라이트 되지 않거나 진동이 발생하지 않게 하여, 사용자에게 다른 점수영역으로 시선을 이동시킬 것을 유도할 수 있다. Therefore, by not highlighting the score area of 11 points or more or not causing vibration even if it is highlighted, the user can naturally understand the score area where he or she must throw a dart to reach the target score on the current track. When using an eye tracking device, even if the user's gaze stays in a score area of 11 points or more, it is not highlighted or vibration occurs, encouraging the user to move his gaze to a different score area.
도 9에서는 10점 점수영역이 하이라이트 되고 해당 점수영역에서 진동을 발생시켜 사용자에게 남은 점수를 채워 목표 점수에 도달하도록 유도하는 예시가 도시되어 있다. In Figure 9, an example is shown in which a 10-point score area is highlighted and vibration is generated in the score area to encourage the user to fill the remaining score and reach the target score.
다트 게임과 관련하여 난이도를 높이는 경우가 도 10에 도시되어 있다. 도 9와 같은 상황에서, 다트를 던져야 할 제1 점수영역(10점 영역)뿐만 아니라 다트를 던지지 말아야 할 제2 점수영역(16점 영역)도 동시에 혹은 순차적으로 하이라이트 될 수 있다. A case of increasing difficulty in relation to a dart game is shown in Figure 10. In the situation shown in Figure 9, not only the first scoring area (10-point area) where darts should be thrown but also the second scoring area (16-point area) where darts should not be thrown can be highlighted simultaneously or sequentially.
사용자는 컨트롤러의 좌우 버튼 중 하나를 선택하거나 아이트래킹 장치를 통해 시선을 두 점수영역 중 하나로 이동시킴으로써 다트를 던질 점수영역을 선택할 수 있다. 올바른 선택이 이루어진 경우 진동이 발생되게 함으로써, 사용자에게 올바른 선택 여부를 인지시킬 수 있다. Users can select the scoring area to throw the dart at by selecting one of the left and right buttons on the controller or by moving their gaze to one of the two scoring areas through an eye tracking device. By generating vibration when the correct choice is made, the user can be made aware of whether the correct choice has been made.
사용자에게 다트를 던져야 할 점수영역에 대해 선택하게 함으로써, 콘텐츠에서 지정된 과정을 그대로 따라하는 수준을 넘어서서 사용자에게 다트게임을 완전히 이해시킬 수 있다. By allowing the user to select the scoring area in which to throw the dart, it is possible to provide the user with a complete understanding of the dart game beyond just following the process specified in the content.
'다트 던지기' 콘텐츠 수행 효과는 집중력 증진 및 ADHD 환자의 스트레스 해소이다. 또한, 사회적 훈련을 위한 다트게임 룰에 대한 이해도 증진도 수행 효과에 포함될 수 있다.The effect of performing 'dart throwing' content is to improve concentration and relieve stress in ADHD patients. In addition, improving understanding of dart game rules for social training can also be included in the performance effect.
콘텐츠 수행의 분석 항목은 다음과 같다. 총시간은 훈련 종료시까지 소요된 훈련시간을 초 단위로 측정하며, 정반응은 정답을 정확하게 선택한 수, 오경보는 오답을 선택한 수, 누락오류는 선택지를 선택하지 못한 수, 완료는 최종성공단계를 나타낸다. The analysis items of content performance are as follows. Total time measures the training time required until the end of training in seconds. A correct response indicates the number of correct answers selected, a false alarm indicates the number of incorrect responses selected, an omission error indicates the number of failures to select an option, and completion indicates the final success stage.
전술한 VR 기반 훈련 방법은, 컴퓨터에 의해 실행되는 애플리케이션이나 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독 가능 매체는 컴퓨터 저장 매체를 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독 가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. The VR-based training method described above can also be implemented in the form of a recording medium containing instructions executable by a computer, such as an application or program module executed by a computer. Computer-readable media can be any available media that can be accessed by a computer and includes both volatile and non-volatile media, removable and non-removable media. Additionally, computer-readable media may include computer storage media. Computer storage media includes both volatile and non-volatile, removable and non-removable media implemented in any method or technology for storage of information such as computer-readable instructions, data structures, program modules, or other data.
전술한 VR 기반 훈련 방법은, 단말기에 기본적으로 설치된 애플리케이션(이는 단말기에 기본적으로 탑재된 플랫폼이나 운영체제 등에 포함된 프로그램을 포함할 수 있음)에 의해 실행될 수 있고, 사용자가 애플리케이션 스토어 서버, 애플리케이션 또는 해당 서비스와 관련된 웹 서버 등의 애플리케이션 제공 서버를 통해 마스터 단말기에 직접 설치한 애플리케이션(즉, 프로그램)에 의해 실행될 수도 있다. 이러한 의미에서, 전술한 VR 기반 훈련 방법은 단말기에 기본적으로 설치되거나 사용자에 의해 직접 설치된 애플리케이션(즉, 프로그램)으로 구현되고 단말기 등의 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다. The VR-based training method described above can be executed by an application installed by default on the terminal (this may include programs included in the platform or operating system, etc. installed by default on the terminal), and the user can use the application store server, application or It may also be executed by an application (i.e. program) installed directly on the master terminal through an application providing server such as a service-related web server. In this sense, the VR-based training method described above can be implemented as an application (i.e., program) installed by default on the terminal or directly installed by the user and recorded on a computer-readable recording medium such as a terminal.
상기에서는 본 발명의 실시예를 참조하여 설명하였지만, 해당 기술 분야에서 통상의 지식을 가진 자라면 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.Although the present invention has been described above with reference to embodiments, those skilled in the art can modify the present invention in various ways without departing from the spirit and scope of the present invention as set forth in the claims below. and that it can be changed.
10: VR 기반 훈련 시스템
100: 사용자 장치
101: 사용자 인증부
102: 가상현실 제공부
103: VR 기반 훈련부
104: VR 기반 학습부
105: 모니터링부
110: 관리자 단말
120: 사용자 이력 관리 서버
10: VR-based training system 100: User device
101: User authentication unit 102: Virtual reality provision unit
103: VR-based training department 104: VR-based learning department
105: Monitoring unit 110: Administrator terminal
120: User history management server
Claims (7)
사용자를 인증하는 사용자 인증부;
집중력 훈련을 위한 공간을 가상현실로 구현한 가상공간을 제공하는 가상현실 제공부;
상기 가상공간에서 실행되는 VR 콘텐츠를 통해 주어지는 미션에 대해 제1 감각으로 지시받고 제2 감각을 활용하여 수행하게 함으로써 복합적인 감각 집중과 활용을 통해 상기 집중력 훈련을 수행하게 하는 VR 기반 훈련부; 및
상기 집중력 훈련의 결과를 수집하는 모니터링부를 포함하는 ADHD 아동 청소년을 위한 VR 기반 훈련 시스템의 사용자 장치.
As a user device for a VR-based training system for improving the inattention and impulsivity of children and adolescents with ADHD,
a user authentication unit that authenticates users;
A virtual reality provision department that provides a virtual space for concentration training realized in virtual reality;
A VR-based training unit that performs the concentration training through concentration and utilization of complex senses by receiving instructions with the first sense and performing the mission given through VR content running in the virtual space using the second sense; and
A user device of a VR-based training system for children and adolescents with ADHD, including a monitoring unit that collects the results of the concentration training.
상기 가상현실 제공부는, 상기 사용자가 얼굴에 착용하는 FMD(Face Mounted Display)와, 상기 사용자가 파지 혹은 착용한 상태에서 사용자 명령을 입력하는 컨트롤러와, 가상현실 소프트웨어를 구동하고 상기 사용자의 모습을 촬영하는 VR 베이스 스테이션을 포함하는 것을 특징으로 하는 ADHD 아동 청소년을 위한 VR 기반 훈련 시스템의 사용자 장치.
According to paragraph 1,
The virtual reality provider includes an FMD (Face Mounted Display) worn by the user on the face, a controller that inputs user commands while held or worn by the user, runs virtual reality software, and takes pictures of the user. A user device for a VR-based training system for children and adolescents with ADHD, comprising a VR base station.
상기 FMD는 아이트래킹 장치를 포함하며,
상기 VR 콘텐츠는 상기 제1 감각으로 청각을 활용하여 과업 지시를 받고, 상기 제2 감각으로 시각을 활용하여 상기 아이트래킹 장치로 시각 응시하게 하여 1번 문제를 해결하게 하고, 1차 수행 및 상지근육을 활용하여 상기 컨트롤러로 상기 1번 문제에 상응하는 2번 문제를 해결하게 하는 콘텐츠인 것을 특징으로 하는 ADHD 아동 청소년을 위한 VR 기반 훈련 시스템의 사용자 장치.
According to paragraph 2,
The FMD includes an eye tracking device,
The VR content uses hearing as the first sense to receive task instructions, uses vision as the second sense to solve problem No. 1 by visually gazing with the eye tracking device, and performs primary performance and upper limb muscles. A user device of a VR-based training system for children and adolescents with ADHD, characterized in that the content uses the controller to solve problem number 2 corresponding to problem number 1.
상기 VR 콘텐츠는 상기 제1 감각으로 청각을 활용하여 과업 지시를 받고, 상기 제2 감각으로 시각을 활용하여 구분 후 상지근육을 활용하여 상기 컨트롤러로 과업을 수행하게 하는 콘텐츠인 것을 특징으로 하는 ADHD 아동 청소년을 위한 VR 기반 훈련 시스템의 사용자 장치.
According to paragraph 2,
The VR content is content that allows children to receive task instructions using hearing as the first sense, classify using vision as the second sense, and then perform the task with the controller using upper limb muscles. User device of VR-based training system for adolescents.
상기 VR 콘텐츠는 상기 제1 감각으로 청각 및 시각을 활용하여 과업 지시를 받고, 상기 제2 감각으로 시각 및 촉각을 활용하여 구분 후 상지근육을 활용하여 상기 컨트롤러로 과업을 수행하게 하는 다트 던지기 콘텐츠이고,
상기 다트 던지기 콘텐츠에서는 목표 점수를 제시하고 복수 회의 다트 던지기 미션을 통해 획득한 점수를 누적하고,
남은 점수에 상응하는 다트판의 점수영역에 대해서는 지정된 차례에서 혹은 무작위로 하이라이트 되거나 진동이 발생되게 하여 상기 사용자에게 목표물을 인지시키는 것을 특징으로 하는 ADHD 아동 청소년을 위한 VR 기반 훈련 시스템의 사용자 장치.
According to paragraph 2,
The VR content is a dart throwing content that receives task instructions using hearing and vision as the first sense, distinguishes them using vision and touch as the second sense, and then performs the task with the controller using the upper limb muscles. ,
In the dart throwing content, a target score is presented and points obtained through multiple dart throwing missions are accumulated,
A user device of a VR-based training system for ADHD children and adolescents, characterized in that the score area of the dartboard corresponding to the remaining score is highlighted or vibrates in a designated turn or generates vibration to make the user recognize the target.
상기 FMD는 아이트래킹 장치를 포함하며,
상기 아이트래킹 장치를 이용하여 상기 사용자의 시선을 추적하고, 상기 남은 점수에 상응하는 점수영역에 시선이 머무르는 경우에는 지정된 이펙트를 발생시키며, 그 외 점수영역에 시선이 머무르는 경우에는 지정된 이펙트를 발생시키지 않는 것을 특징으로 하는 ADHD 아동 청소년을 위한 VR 기반 훈련 시스템의 사용자 장치.
According to clause 5,
The FMD includes an eye tracking device,
The eye tracking device is used to track the user's gaze, and when the gaze stays in the score area corresponding to the remaining score, a designated effect is generated. If the gaze stays in other score areas, the designated effect is not generated. A user device for a VR-based training system for children and adolescents with ADHD.
상기 VR 기반 훈련부는 프리뷰 및 연습게임 중 적어도 하나를 선행시킬 때 상기 사용자가 설정한 캐릭터를 상기 가상공간에 VR 도우미로 등장시키는 것을 특징으로 하는 ADHD 아동 청소년을 위한 VR 기반 훈련 시스템의 사용자 장치.
According to paragraph 1,
The VR-based training unit is a user device of a VR-based training system for ADHD children and adolescents, characterized in that the character set by the user appears as a VR helper in the virtual space when at least one of the preview and practice game is preceded.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220052860A KR20230153552A (en) | 2022-04-28 | 2022-04-28 | VR-based training system and method for improving distraction and impulsivity in children and adolescents with ADHD |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220052860A KR20230153552A (en) | 2022-04-28 | 2022-04-28 | VR-based training system and method for improving distraction and impulsivity in children and adolescents with ADHD |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20230153552A true KR20230153552A (en) | 2023-11-07 |
Family
ID=88747122
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020220052860A KR20230153552A (en) | 2022-04-28 | 2022-04-28 | VR-based training system and method for improving distraction and impulsivity in children and adolescents with ADHD |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR20230153552A (en) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20210106634A (en) | 2020-02-21 | 2021-08-31 | 주식회사 에스와이이노테크 | VR-Based Recognition Training System For Treating Depression and Insomnia |
-
2022
- 2022-04-28 KR KR1020220052860A patent/KR20230153552A/en unknown
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20210106634A (en) | 2020-02-21 | 2021-08-31 | 주식회사 에스와이이노테크 | VR-Based Recognition Training System For Treating Depression and Insomnia |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11610500B2 (en) | Adaptive learning environment driven by real-time identification of engagement level | |
| US10474793B2 (en) | Systems, apparatus and methods for delivery and augmentation of behavior modification therapy and teaching | |
| McRobert et al. | Tracing the process of expertise in a simulated anticipation task | |
| US7881493B1 (en) | Methods and apparatuses for use of eye interpretation information | |
| TW201830354A (en) | Interactive and adaptive training and learning management system using face tracking and emotion detection with associated methods | |
| US20090258703A1 (en) | Motion Assessment Using a Game Controller | |
| Zhang et al. | Wandering eyes: Eye movements during mind wandering in video lectures | |
| US20140051053A1 (en) | Method and Apparatus for Brain Development Training Using Eye Tracking | |
| CN103959357A (en) | System, method and computer program for training for ophthalmic examinations | |
| KR20160090065A (en) | Rehabilitation system based on gaze tracking | |
| JP2006023506A (en) | Electronic teaching material learning support device, electronic teaching material learning support system, electronic teaching material learning support method, and electronic learning support program | |
| Wang et al. | Automated student engagement monitoring and evaluation during learning in the wild | |
| US20200193854A1 (en) | Virtual reality training method for developing soft skills | |
| Tsangouri et al. | An interactive facial-expression training platform for individuals with autism spectrum disorder | |
| Itzhak et al. | An individualized and adaptive game-based therapy for cerebral visual impairment: Design, development, and evaluation | |
| RU2708114C1 (en) | System and method of monitoring and teaching children with autism spectrum disorders | |
| JP2020173787A (en) | Information processing apparatus, information processing system, information processing method, and information processing program | |
| Mavromoustakos-Blom et al. | Personalized crisis management training on a tablet | |
| US20210401339A1 (en) | Adaptive behavioral training, and training of associated physiological responses, with assessment and diagnostic functionality | |
| WO2021090331A1 (en) | A system and method of diagnosing or predicting the levels of autism spectrum disorders (asd) using xr-ai platform | |
| Ward et al. | Protocols for the investigation of information processing in human assessment of fundamental movement skills | |
| KR20230153552A (en) | VR-based training system and method for improving distraction and impulsivity in children and adolescents with ADHD | |
| US20230360548A1 (en) | Assist system, assist method, and assist program | |
| Kuklick et al. | Developing physical educators’ knowledge of opaque and transparent technologies and its implications for student learning | |
| Rao et al. | Teacher assistance system to detect distracted students in online classroom environment |