KR102348692B1 - virtual mediation cognitive rehabilitation system - Google Patents

virtual mediation cognitive rehabilitation system Download PDF

Info

Publication number
KR102348692B1
KR102348692B1 KR1020200064365A KR20200064365A KR102348692B1 KR 102348692 B1 KR102348692 B1 KR 102348692B1 KR 1020200064365 A KR1020200064365 A KR 1020200064365A KR 20200064365 A KR20200064365 A KR 20200064365A KR 102348692 B1 KR102348692 B1 KR 102348692B1
Authority
KR
South Korea
Prior art keywords
user
content
intervention
reaction
touch
Prior art date
Application number
KR1020200064365A
Other languages
Korean (ko)
Other versions
KR20210148486A (en
Inventor
김병일
이현숙
노근필
정희태
김선칠
Original Assignee
주식회사 우리소프트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 우리소프트 filed Critical 주식회사 우리소프트
Priority to KR1020200064365A priority Critical patent/KR102348692B1/en
Publication of KR20210148486A publication Critical patent/KR20210148486A/en
Application granted granted Critical
Publication of KR102348692B1 publication Critical patent/KR102348692B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/70—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mental therapies, e.g. psychological therapy or autogenous training
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/162—Testing reaction times
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/40—Detecting, measuring or recording for evaluating the nervous system
    • A61B5/4076—Diagnosing or monitoring particular conditions of the nervous system
    • A61B5/4088—Diagnosing of monitoring cognitive diseases, e.g. Alzheimer, prion diseases or dementia
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/60—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A61M2021/0005—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus
    • A61M2021/0044—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus by the sight sense
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2205/00—General characteristics of the apparatus
    • A61M2205/35—Communication
    • A61M2205/3576—Communication with non implanted data transmission devices, e.g. using external transmitter or receiver
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2205/00—General characteristics of the apparatus
    • A61M2205/50—General characteristics of the apparatus with microprocessors or computers
    • A61M2205/502—User interfaces, e.g. screens or keyboards
    • A61M2205/505—Touch-screens; Virtual keyboard or keypads; Virtual buttons; Soft keys; Mouse touches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04104—Multi-touch detection in digitiser, i.e. details about the simultaneous detection of a plurality of touching locations, e.g. multiple fingers or pen and finger

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • General Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Psychology (AREA)
  • Biomedical Technology (AREA)
  • Developmental Disabilities (AREA)
  • Child & Adolescent Psychology (AREA)
  • General Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychiatry (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Neurology (AREA)
  • Biophysics (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Primary Health Care (AREA)
  • Pathology (AREA)
  • Business, Economics & Management (AREA)
  • Educational Technology (AREA)
  • Epidemiology (AREA)
  • Tourism & Hospitality (AREA)
  • Neurosurgery (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Physiology (AREA)
  • Acoustics & Sound (AREA)
  • Anesthesiology (AREA)

Abstract

가상중재 인지재활시스템에 관한 기술이 개시된다. 상기 가상중재 인지재활시스템은 사용자가 사용하는 학습자단말기, 상기 학습자단말기와 네트워크로 연결되는 중재자단말기, 상기 학습자단말기에 상기 사용자의 인지능력을 분석하기 위한 컨텐츠가 실행되는 환경에서 상기 컨텐츠에 대한 상기 사용자의 반응정보를 획득하는 인터페이스부, 획득된 상기 반응정보로부터 상기 사용자에게 중재가 필요한지 여부를 판단하는 중재여부판단부 및 상기 중재여부판단부의 판단결과에 따라 상기 컨텐츠를 계속 실행하거나 상기 컨텐츠의 실행과 관련하여 중재자에게 중재를 요청할지를 결정하는 중재요청부를 포함한다.
본 명세서에서 개시하는 기술은 센터를 직접 방문하여 인지재활훈련을 받기 어려운 환경에 있는 사용자도 원격으로 인지재활훈련을 받을 수 있는 효과를 제공해 줄 수 있다. 특히, 사용자의 반응정보 획득을 통하여 중재자의 중재를 요청함으로써 사용자에게는 필요한 시점에 전문가인 중재자의 도움을 받을 수 있는 기회를 제공하고, 중재자에게는 사용자가 필요한 시점에만 중재가 요청되므로 중재자는 더 많은 수의 사용자에게 중재를 통한 전문적인 인지재활서비스를 제공할 수 해 줄 수 있다는 효과를 제공해 줄 수 있다.A technology related to a virtual intervention cognitive rehabilitation system is disclosed. The virtual intervention cognitive rehabilitation system is a learner terminal used by the user, a moderator terminal connected to the learner terminal and a network, and the user for the content in an environment where the content for analyzing the user's cognitive ability is executed in the learner terminal An interface unit for obtaining reaction information of the obtained reaction information, an arbitration decision unit for determining whether intervention is necessary for the user from the obtained reaction information, and a continuous execution of the content or execution of the content according to the determination result of the arbitration decision unit Includes a request for arbitration section that decides whether to request arbitration from the arbitrator in this regard.
The technology disclosed in the present specification can provide the effect that a user in an environment in which it is difficult to receive cognitive rehabilitation training by directly visiting the center can receive cognitive rehabilitation training remotely. In particular, by requesting the mediator's mediation by acquiring the user's response information, the user is provided with an opportunity to receive the help of an expert mediator at a time when the user needs it. It can provide the effect of being able to provide professional cognitive rehabilitation services through intervention to users of

Description

가상중재 인지재활시스템{virtual mediation cognitive rehabilitation system}Virtual mediation cognitive rehabilitation system

본 명세서에 개시하는 기술은 대체로 인지재활시스템에 관한 것으로, 보다 구체적으로는 가상중재 인지재활시스템에 관한 것이다.The technology disclosed herein generally relates to a cognitive rehabilitation system, and more specifically to a virtual intervention cognitive rehabilitation system.

컴퓨터와 태블릿 PC 등의 IT 기술을 사용한 인지 훈련 제품이 판매되고 있지만, 대부분의 제품은 환자가 직접 훈련을 실시하거나 중재자인 치료사가 환자를 대신하여 직접 조작해야 하므로 훈련 효과가 떨어지고, 치료사의 추가적인 업무량도 많아지고 있다.Cognitive training products using IT technology such as computers and tablet PCs are sold, but most products require the patient to train himself or a therapist who is an intermediary to operate on behalf of the patient, so the training effect is reduced, and the additional workload of the therapist is reduced. is also increasing.

인지 훈련을 위해 개발된 전산화된 프로그램은 기본으로 설정된 규칙에 의해서 진행되어서 중재자가 환자에 맞는 훈련을 설계하기 어렵고, 중재자가 조정하는 기능이 없어서 훈련 중에 환자가 어려움을 겪을 경우에도 중재하기 어려운 경우가 많다.The computerized program developed for cognitive training proceeds according to the rules set by default, so it is difficult for the mediator to design the appropriate training for the patient. many.

훈련과정을 중재하기 위해서는 치료사가 계속해서 훈련 과정을 지켜보고, 필요한 데이터 수집하여 그 결과를 직접 작성해야 하므로 제한된 시간에 환자 치료에 관련된 업무를 처리하기 어려운 문제가 있다.In order to mediate the training process, it is difficult for the therapist to continuously monitor the training process, collect necessary data, and write the results directly, so it is difficult to handle the tasks related to patient treatment in a limited time.

최근 노인이나 아동의 인지 훈련을 목적으로 VR 훈련 제품들이 출시되고 있지만, 가상 공간 훈련에서 환자가 훈련에 어려움을 겪을 경우에 훈련을 중재할 방법이 부족한 실정이다.Recently, VR training products have been released for the purpose of cognitive training of the elderly or children, but there is a lack of methods to mediate training when a patient has difficulties in training in virtual space training.

VR 훈련은 현실이 아닌 완전히 가상적인 공간으로 환자의 행동에 따라서 여러 상황이 생길 수 있지만, VR 프로그램이 실제 훈련과 같이 치료사의 중재를 대신하기 어려운 문제가 있다.VR training is a completely virtual space, not reality, and various situations can occur depending on the patient's behavior, but there is a problem in that VR programs cannot replace the intervention of a therapist like actual training.

또한, 최근 IT 기술의 발전으로 인하여 대부분 사람들은 스마트 폰 앱과 게임과 같이 재미와 사용자 친화적 환경에 익숙해져 있지만, 기존 인지 재활을 목적으로 사용하는 훈련 도구 및 방법은 다른 분야에 비해서 여전히 전통적인 방법을 사용하고 있으며, 사용자 친화적이지 못하여 환자는 적극적 참여가 부족하거나 훈련 중에 거부감을 표시하여 원하는 훈련 효과를 얻지 못하는 경우가 많아지고 있다.In addition, due to the recent development of IT technology, most people are accustomed to fun and user-friendly environments such as smart phone apps and games, but training tools and methods used for the purpose of cognitive rehabilitation still use traditional methods compared to other fields. In many cases, the desired training effect is not obtained because the patient lacks active participation or expresses reluctance during training because it is not user-friendly.

현재 인지 재활을 목적으로 하는 여러 가지 훈련 도구가 있지만, 제한된 도구 종류와 훈련 방식으로 반복적 훈련으로 환자들이 훈련 참여에 적극적이지 않다. 이와 관련하여 IT기술을 사용한 다양한 훈련 프로그램을 개발하려고 하지만, 훈련 효과를 측정하기 어려운 문제가 있다.Currently, there are several training tools aimed at cognitive rehabilitation, but patients are not actively participating in training due to repetitive training with limited types of tools and training methods. In this regard, various training programs using IT technology are being developed, but there is a problem in that it is difficult to measure the training effect.

인지 장애를 가진 환자가 사용하는 훈련 도구는 재활을 목적으로 하기 때문에 정해진 규칙과 방법에 의해 사용해야 하므로, 환자는 재미와 흥미를 느끼지 못해서 중간에 포기하는 경우가 있다. 치료사의 중재와 동기 부여를 통해서 참여의지를 높이기 위해 노력하고 있지만, 여전히 지속적, 반복적 훈련이라는 틀에 의해서 그 한계가 존재한다.Since the training tools used by patients with cognitive impairment are for the purpose of rehabilitation, they must be used according to set rules and methods. Although efforts are being made to increase the will to participate through the intervention and motivation of the therapist, there are still limitations due to the framework of continuous and repetitive training.

인지재활시스템과 관련한 종래기술로는 대한민국공개특허 제10-2019-0112962호 “인지재활훈련 시스템” 등이 있다.As a prior art related to the cognitive rehabilitation system, there is a Republic of Korea Patent Publication No. 10-2019-0112962 "Cognitive rehabilitation training system" and the like.

본 명세서에서 개시하는 기술은 상기한 종래기술의 문제점을 해결하기 위하여 도출된 것으로, 사용자가 가정 등에서 디지털 기기, 콘텐츠 등을 사용하여 인지재활훈련 진행 시에 훈련 컨텐츠의 사용에 어려움이 있을 경우 이를 감지하여 중재자의 중재를 제공하는 기술에 관한 것이다.The technology disclosed in this specification is derived to solve the problems of the prior art, and when a user has difficulty in using the training content when performing cognitive rehabilitation training using digital devices and contents at home, it is detected. It relates to the technology of providing arbitration by an arbitrator.

또한, 본 명세서에서 개시하는 기술은 상기한 종래기술의 문제점을 해결하기 위하여 도출된 것으로서, 컨텐츠를 통한 지속적, 반복적인 인지재활 훈련에 따른 사용자의 현재상황을 판단하여 사용자에게 중재가 필요한 것으로 판단되면 사용자의 학습자단말기에 컨텐츠가 실행되는 환경에서 중재자의 영상, 음성, 중재자가 작성하는 중재자컨텐츠 등을 표현하여 중재함으로써 인지재활 훈련효과를 높이는 기술을 제공하는 것이다.In addition, the technology disclosed in this specification is derived to solve the problems of the prior art, and when it is determined that the user needs intervention by determining the user's current situation according to continuous and repetitive cognitive rehabilitation training through content It is to provide a technology to increase the cognitive rehabilitation training effect by expressing and mediating the mediator's video, voice, and mediator content written by the mediator in an environment where the content is executed on the user's learner terminal.

일 실시 예에 있어서, 가상중재 인지재활시스템에 관한 기술이 개시(disclosure)된다. 상기 가상중재 인지재활시스템은 사용자가 사용하는 학습자단말기, 상기 학습자단말기와 네트워크로 연결되는 중재자단말기, 상기 학습자단말기에 상기 사용자의 인지능력을 분석하기 위한 컨텐츠가 실행되는 환경에서 상기 컨텐츠에 대한 상기 사용자의 반응정보를 획득하는 인터페이스부, 획득된 상기 반응정보로부터 상기 사용자에게 중재가 필요한지 여부를 판단하는 중재여부판단부 및 상기 중재여부판단부의 판단결과에 따라 상기 컨텐츠를 계속 실행하거나 상기 컨텐츠의 실행과 관련하여 중재자에게 중재를 요청할지를 결정하는 중재요청부를 포함한다.In one embodiment, a technology related to a virtual intervention cognitive rehabilitation system is disclosed (disclosure). The virtual intervention cognitive rehabilitation system is a learner terminal used by the user, a moderator terminal connected to the learner terminal and a network, and the user for the content in an environment where the content for analyzing the user's cognitive ability is executed in the learner terminal An interface unit for obtaining reaction information of the obtained reaction information, an arbitration decision unit for judging whether intervention is necessary for the user from the obtained reaction information, and the execution of the content continuously or according to the determination result of the arbitration decision unit Includes a request for arbitration section that decides whether to request arbitration from the arbitrator in this regard.

상기 중재요청부의 결정에 따라 중재가 요청되면 상기 중재자단말기에는 상기 학습자단말기에 실행되는 상기 컨텐츠가 표시될 수 있다. 상기 학습자단말기에는 상기 컨텐츠가 실행되는 환경에서 상기 중재자의 영상, 음성, 상기 중재자가 작성하는 중재자컨텐츠 및 이들의 조합 중에서 선택되는 적어도 어느 하나가 표시될 수 있다.When mediation is requested according to the decision of the mediation requesting unit, the content executed on the learner terminal may be displayed on the mediator terminal. At least one selected from the video and audio of the moderator, mediator content created by the moderator, and a combination thereof may be displayed on the learner terminal in an environment in which the content is executed.

상기 중재여부판단부는 획득된 상기 반응정보로부터 상기 사용자의 정상반응 및 비정상반응을 분석하는 반응정보분석부 및 분석된 상기 정상반응 및 상기 비정상반응 정보로부터 상기 사용자의 현재상황을 판단하여 상기 중재가 필요한지 여부를 판단하는 사용자상황판단부를 포함할 수 있다.The intervention determination unit determines whether the intervention is necessary by determining the current situation of the user from the reaction information analysis unit and the analyzed normal reaction and abnormal reaction information to analyze the user's normal reaction and abnormal reaction from the acquired reaction information It may include a user situation determination unit to determine whether or not.

상기 컨텐츠의 실행과정에서 사용자선택대상객체가 제시될 수 있다. 상기 인터페이스부는 상기 사용자가 상기 사용자선택대상객체를 터치하는 터치위치정보를 포함하는 상기 반응정보를 획득할 수 있다. 상기 반응정보분석부는 획득된 상기 터치위치정보로부터 상기 정상반응 및 상기 비정상반응을 분석할 수 있다.In the process of executing the content, a user selection target object may be presented. The interface unit may acquire the reaction information including touch location information where the user touches the user selection target object. The reaction information analysis unit may analyze the normal reaction and the abnormal reaction from the acquired touch location information.

상기 컨텐츠는 영상으로 제시될 수 있다. 제시되는 상기 영상은 상기 사용자선택대상객체를 감싸는 제1영역과 상기 제1영역 이외의 영역인 제2영역으로 구획될 수 있다. 상기 반응정보분석부는 상기 터치위치정보 중 상기 제1영역에 포함되는 터치위치정보 및 상기 터치위치정보 중 상기 제2영역에 포함되는 터치위치정보를 각각 정상터치 및 비정상터치로 판단하고, 상기 정상터치 및 상기 비정상터치로부터 각각 상기 정상반응 및 상기 비정상반응을 분석할 수 있다.The content may be presented as an image. The presented image may be divided into a first area surrounding the user selection target object and a second area other than the first area. The response information analysis unit determines the touch location information included in the first area of the touch location information and the touch location information included in the second area of the touch location information as a normal touch and an abnormal touch, respectively, and the normal touch and the normal reaction and the abnormal reaction may be analyzed from the abnormal touch, respectively.

일례로, 상기 사용자상황판단부는 상기 정상터치와 상기 비정상터치의 값의 차이가 제1문턱값(threshold)에 미달하면 상기 사용자의 상기 현재상황을 중재가 필요한 상황으로 판단할 수 있다.For example, when the difference between the values of the normal touch and the abnormal touch is less than a first threshold, the user situation determining unit may determine the current situation of the user as a situation requiring intervention.

다른 예로, 상기 사용자상황판단부는 상기 정상터치와 상기 비정상터치의 값의 차이가 제1문턱값(threshold)을 넘더라도 상기 사용자선택대상객체가 제시된 후 정답에 해당하는 상기 사용자선택대상객체를 최초로 터치하는 최초터치시간이 제2문턱값을 넘어서면 상기 현재상황을 중재가 필요한 상황으로 판단할 수 있다.As another example, the user context determining unit first touches the user selection target object corresponding to the correct answer after the user selection target object is presented even if the difference between the values of the normal touch and the abnormal touch exceeds a first threshold When the first touch time exceeds the second threshold, the current situation may be determined as a situation requiring intervention.

한편, 상기 컨텐츠의 실행과정에서 사용자선택대상객체가 제시될 수 있다. 상기 컨텐츠는 영상으로 제시될 수 있다. 제시되는 상기 영상은 상기 사용자선택대상객체를 감싸는 제1영역과 상기 제1영역 이외의 영역인 제2영역으로 구획될 수 있다. 상기 인터페이스부는 상기 사용자가 상기 사용자대상객체를 주시하는 주시위치정보를 포함하는 상기 반응정보를 획득할 수 있다. 상기 반응정보분석부는 획득된 상기 주시위치정보로부터 상기 정상반응 및 상기 비정상반응을 분석할 수 있다. 상기 반응정보분석부는 상기 주시위치정보 중 상기 제1영역에 포함되는 주시위치정보 및 상기 주시위치정보 중 상기 제2영역에 포함되는 주시위치정보를 각각 정상주시 및 비정상주시로 판단하고, 상기 정상주시 및 상기 비정상주시로부터 각각 상기 정상반응 및 상기 비정상반응을 분석할 수 있다. 이 경우, 상기 사용자상황판단부는 상기 비정상주시 시간이 제1기준시간을 넘으면 상기 사용자의 상기 현재상황을 중재가 필요한 상황으로 판단할 수 있다.Meanwhile, a user selection target object may be presented in the process of executing the content. The content may be presented as an image. The presented image may be divided into a first area surrounding the user selection target object and a second area other than the first area. The interface unit may acquire the reaction information including information on the location where the user gazes at the user target object. The reaction information analysis unit may analyze the normal reaction and the abnormal reaction from the obtained gaze position information. The reaction information analysis unit determines the gaze location information included in the first area of the gaze location information and the gaze location information included in the second area of the gaze location information as normal gaze and abnormal gaze, respectively, and and the normal reaction and the abnormal reaction may be analyzed from the abnormal gaze, respectively. In this case, when the abnormal gaze time exceeds the first reference time, the user situation determining unit may determine the current situation of the user as a situation requiring intervention.

본 명세서에서 개시하는 기술은 아동발달센터를 직접 방문하여 인지재활훈련을 받기 어려운 환경에 있는 사용자도 원격으로 인지재활훈련을 받을 수 있는 효과를 제공해 줄 수 있다. 특히, 사용자의 반응정보 획득을 통하여 중재자의 중재를 요청함으로써 사용자에게는 필요한 시점에 전문가인 중재자의 도움을 받을 수 있는 기회를 제공하고, 중재자에게는 사용자가 필요한 시점에만 중재가 요청되므로 중재자는 더 많은 수의 사용자에게 중재를 통한 전문적인 인지재활서비스를 제공할 수 해 줄 수 있다는 효과를 제공해 줄 수 있다.The technology disclosed in this specification can provide the effect that users in an environment where it is difficult to receive cognitive rehabilitation training by directly visiting the child development center can receive cognitive rehabilitation training remotely. In particular, by requesting the mediator's intervention by obtaining the user's response information, the user is provided with the opportunity to receive the help of an expert mediator at a time when the user needs it. It can provide the effect of being able to provide professional cognitive rehabilitation services through intervention to users of

또한, 본 명세서에서 개시하는 기술은 컨텐츠를 통한 지속적, 반복적인 인지재활 훈련에 따른 사용자의 현재상황을 판단하여 사용자에게 중재가 필요한 것으로 판단되면 사용자의 학습자단말기에 컨텐츠가 실행되는 환경에서 중재자의 영상, 음성, 중재자가 작성하는 중재자컨텐츠 등을 표현하여 중재함으로써 인지재활 훈련효과를 높이는 기술을 제공하는 것이다.In addition, the technology disclosed in this specification determines the user's current situation according to continuous and repetitive cognitive rehabilitation training through content, and when it is determined that the user needs intervention, the video of the moderator in the environment where the content is executed on the user's learner terminal It is to provide a technique to increase the cognitive rehabilitation training effect by expressing and mediating mediator contents, such as , voice, and mediator contents.

또한, 본 명세서에서 개시하는 기술은 컨텐츠를 통한 지속적, 반복적인 인지재활 훈련에 따른 사용자의 현재상황을 판단하여 중재함으로써 중재자는 중재과정에서 사용자의 인지 수준에 적합한 컨텐츠를 제공할 수 있는 효과를 제공해 줄 수 있다.In addition, the technology disclosed in this specification provides an effect that the mediator can provide content suitable for the user's cognitive level in the mediation process by arbitrating by judging the user's current situation according to continuous and repetitive cognitive rehabilitation training through content. can give

전술한 내용은 이후 보다 자세하게 기술되는 사항에 대해 간략화된 형태로 선택적인 개념만을 제공한다. 본 내용은 특허 청구 범위의 주요 특징 또는 필수적 특징을 한정하거나, 특허청구범위의 범위를 제한할 의도로 제공되는 것은 아니다.The foregoing provides only optional concepts in a simplified form for matters to be described in more detail later. It is not intended to limit key features or essential features of the claims, or to limit the scope of the claims.

도 1은 일 실시 예에 따른 본 명세서에서 개시하는 가상중재 인지재활시스템의 개념도이다.
도 2는 본 명세서에서 개시하는 도움이 필요한 사용자를 위한 직접 및 간접 중재를 하는 과정을 보여주는 도면이다.1 is a conceptual diagram of a virtual intervention cognitive rehabilitation system disclosed herein according to an embodiment.
2 is a diagram showing a process of direct and indirect intervention for a user in need disclosed herein.

이하, 본 명세서에 개시된 실시 예들을 도면을 참조하여 상세하게 설명하고자 한다. 본문에서 달리 명시하지 않는 한, 도면의 유사한 참조번호들은 유사한 구성요소들을 나타낸다. 상세한 설명, 도면들 및 청구항들에서 상술하는 예시적인 실시 예들은 한정을 위한 것이 아니며, 다른 실시 예들이 이용될 수 있으며, 여기서 개시되는 기술의 사상이나 범주를 벗어나지 않는 한 다른 변경들도 가능하다. 본 기술분야의 통상의 기술자는 본 개시의 구성요소들, 즉 여기서 일반적으로 기술되고, 도면에 기재되는 구성요소들을 다양하게 다른 구성으로 배열, 구성, 결합, 도안할 수 있으며, 이것들의 모두는 명백하게 고안되며, 본 개시의 일부를 형성하고 있음을 용이하게 이해할 수 있을 것이다. 도면에서 여러 층(또는 막), 영역 및 형상을 명확하게 표현하기 위하여 구성요소의 폭, 길이, 두께 또는 형상 등은 과장되어 표현될 수도 있다.Hereinafter, embodiments disclosed in the present specification will be described in detail with reference to the drawings. Unless otherwise specified in the text, like reference numbers in the drawings indicate like elements. Exemplary embodiments described above in the detailed description, drawings, and claims are not intended to be limiting, and other embodiments may be used, and other changes may be made without departing from the spirit or scope of the technology disclosed herein. A person skilled in the art may arrange, construct, combine, and design in variously different configurations the components of the present disclosure, i.e., the components generally described herein and illustrated in the drawings, all of which are obviously It will be readily understood that the invention is intended to form a part of the present disclosure. In order to clearly express various layers (or films), regions, and shapes in the drawings, the width, length, thickness, or shape of the components may be exaggerated.

개시된 기술에 관한 설명은 구조적 내지 기능적 설명을 위한 실시 예에 불과하므로, 개시된 기술의 권리범위는 본문에 설명된 실시 예에 의하여 제한되는 것으로 해석되어서는 아니 된다. 즉, 실시 예는 다양한 변경이 가능하고 여러 가지 형태를 가질 수 있으므로 개시된 기술의 권리범위는 기술적 사상을 실현할 수 있는 균등물을 포함하는 것으로 이해되어야 한다.Since the description of the disclosed technology is merely an embodiment for structural or functional description, the scope of the disclosed technology should not be construed as being limited by the embodiment described in the text. That is, since the embodiment may have various changes and may have various forms, it should be understood that the scope of the disclosed technology includes equivalents capable of realizing the technical idea.

단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, “포함하다” 또는 “가지다” 등의 용어는 실시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The singular expression is to be understood as including the plural expression unless the context clearly dictates otherwise, and terms such as “comprises” or “have” refer to the embodied feature, number, step, action, component, part or these It is to be understood that this is intended to indicate that a combination exists, and does not preclude the possibility of addition or existence of one or more other features or numbers, steps, operations, components, parts, or combinations thereof.

여기서 사용된 모든 용어들은 다르게 정의되지 않는 한, 개시된 기술이 속하는 분야에서 통상의 기술자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한 이상적이거나 과도하게 형식적인 의미를 지니는 것으로 해석될 수 없다.All terms used herein have the same meaning as commonly understood by one of ordinary skill in the art to which the disclosed technology belongs, unless defined otherwise. Terms defined in commonly used dictionaries should be interpreted as having the meaning consistent with the context of the related art, and cannot be interpreted as having an ideal or excessively formal meaning unless explicitly defined in the present application.

도 1은 일 실시 예에 따른 본 명세서에서 개시하는 가상중재 인지재활시스템의 개념도이다. 도 2는 본 명세서에서 개시하는 도움이 필요한 사용자를 위한 직접 및 간접 중재를 하는 과정을 보여주는 도면이다.1 is a conceptual diagram of a virtual intervention cognitive rehabilitation system disclosed herein according to an embodiment. 2 is a diagram showing a process of direct and indirect intervention for a user in need disclosed herein.

이하 도면을 참조하여 본 명세서에서 개시하는 가상중재 인지재활시스템에 대하여 설명하기로 한다.Hereinafter, the virtual intervention cognitive rehabilitation system disclosed in the present specification will be described with reference to the drawings.

도면을 참조하면, 가상중재 인지재활시스템(100)은 학습자단말기(10), 중재자단말기(20), 인터페이스부(110), 중재여부판단부(120) 및 중재요청부(130)를 포함한다.Referring to the drawings, the virtual intervention cognitive rehabilitation system 100 includes a learner terminal 10 , a moderator terminal 20 , an interface unit 110 , an intervention decision unit 120 , and an intervention request unit 130 .

학습자단말기(10)는 사용자가 사용한다. 학습자단말기(10)로는 PC, Tablet PC, 스마트폰 등 다양한 장치들이 활용될 수 있다.The learner terminal 10 is used by the user. As the learner terminal 10 , various devices such as a PC, a tablet PC, and a smart phone may be utilized.

중재자단말기(20)는 학습자단말기(10)와 네트워크를 통하여 연결된다. 중재자단말기(20)로는 PC, Tablet PC, 스마트폰 등 다양한 장치들이 활용될 수 있다. 후술할 중재요청부(130)로부터 중재요청이 있는 경우는 물론이고, 중재자는 중재자단말기(20)를 통하여 학습자의 훈련과정에 문제가 있거나 도움이 필요한 경우 학습자단말기(10)와 연결하여 직간접적으로 가이드제시가 가능하다.The moderator terminal 20 is connected to the learner terminal 10 through a network. Various devices such as a PC, a Tablet PC, and a smart phone may be utilized as the moderator terminal 20 . Not only when there is a request for mediation from the mediation request unit 130 to be described later, but also when the mediator has a problem or needs help in the learner's training process through the mediator terminal 20, it is directly or indirectly connected to the learner terminal 10. Guide can be provided.

인터페이스부(110)는 학습자단말기(10)에 상기 사용자의 인지능력을 분석하기 위한 컨텐츠가 실행되는 환경에서 상기 컨텐츠에 대한 상기 사용자의 반응정보를 획득한다.The interface unit 110 acquires the user's reaction information to the content in an environment in which the content for analyzing the user's cognitive ability is executed in the learner terminal 10 .

실행되는 상기 컨텐츠는 예로서 노인을 대상으로 하는 MMSE(Mini-Mental State Examination, 간이신경검사) 등과 유사한 역할을 하는 인지선별검사 또는 훈련도구일 수 있다. 노인을 대상으로 하는 MMSE와 같은 기존 선별 검사 도구는 질문과 답변으로 구성된 1회 대면 검사와 답변의 성공여부에 따른 점수로 대상자의 인지 능력을 판별하는 방식을 취한다. 하지만, 검사자의 개인 역량, 검사 장소 및 대상자의 건강 상태 등에 따라 대상자의 인지 능력이 정확하게 반영되지 못하거나 검사 대상자에 따른 편차와 반복 검사에 따라 결과의 오차가 발생할 수 있다.The content to be executed may be, for example, a cognitive screening test or a training tool that performs a role similar to MMSE (mini-mental state examination) targeting the elderly. Existing screening tools such as the MMSE targeting the elderly take a method of determining the cognitive ability of a subject based on a one-time face-to-face test consisting of questions and answers and a score based on the success of the answers. However, the cognitive ability of the subject may not be accurately reflected depending on the examiner's personal competency, the examination location, and the subject's health condition, or an error of the result may occur due to deviations and repeated examinations according to the subject.

온라인 게임은 3D, 실사 렌더링과 같은 디지털 콘텐츠 기술 성숙되어 있고, 원격에서도 콘텐츠의 조작과 제어가 용이한 인터넷 기반의 서버 시스템 기술들이 이미 검증되어 있어 인지 재활 훈련 콘텐츠로 가장 적합하다. 또한, 대부분의 일반인이 사용하고 있는 스마트폰 및 태블릿 PC에 최적화된 개발 및 사용환경을 제공하고 있어서 가장 적합한 조건을 갖추고 있다.Online games are most suitable for cognitive rehabilitation training content because digital content technologies such as 3D and photorealistic rendering are mature, and Internet-based server system technologies that allow easy manipulation and control of content from a remote location have already been verified. In addition, it has the most suitable conditions as it provides an optimized development and use environment for smartphones and tablet PCs used by most of the general public.

기존의 훈련 도구를 사용하여 반복적으로 문제를 해결하는 방식에서 훈련 대상자의 취향에 맞는 게임 배경과 친근한 3D캐릭터를 사용하여 훈련의 집중도를 높일 수 있다. 훈련 도구마다 일률적이고, 치료사의 경험에 의해 결정하는 ‘난이도 결정 방식’에서 벗어나 선별 검사 결과 베이스라인에 따른 훈련 대상자 ‘인지 능력 맞춤형 난이도 결정방식’을 사용하여 훈련 대상자의 훈련 집중도를 높일 수 있다.In the method of repeatedly solving problems using existing training tools, it is possible to increase the concentration of training by using game backgrounds and friendly 3D characters that suit the taste of the trainee. It is possible to increase the training concentration of trainees by using the ‘difficulty determination method tailored to the cognitive ability’ according to the screening test result baseline instead of the ‘difficulty determination method’ that is uniform for each training tool and determined by the therapist’s experience.

본 명세서에서 개시하는 상기 컨텐츠는 사용자가 활용하는 단말기(10)에 구동되는 문답형의 컨텐츠, 게임형태로 진행되는 컨텐츠 등일 수 있으나 이에 한정되지 아니하고 사용자의 인지능력을 분석하는데 활용하는 모든 컨텐츠를 망라한다 할 것이다. 훈련 대상자인 사용자의 훈련 집중도를 높일 수 있다는 측면에서 상기 컨텐츠는 게임형태의 컨텐츠가 바람직할 수 있다.The content disclosed in this specification may be a question-and-answer-type content driven by the terminal 10 used by the user, a game-type content, etc., but is not limited thereto, and encompasses all content used to analyze the user's cognitive ability. will do In terms of increasing the training concentration of a user who is a training target, the content may preferably be in the form of a game.

인터페이스부(110)는 예로서 키보드, 마우스, 시선추적장치 등을 통하여 상기 컨텐츠에 대하여 상기 사용자의 상기 반응정보를 획득할 수 있으며, 상기의 예시는 이해를 위한 예시로서 사용자의 반응정보를 입력받을 수 있는 모든 입력수단이 활용될 수 있다.The interface unit 110 may obtain the reaction information of the user with respect to the content through, for example, a keyboard, a mouse, an eye tracking device, etc., and the above example is an example for understanding. All possible input means can be utilized.

중재여부판단부(120)는 획득된 상기 반응정보로부터 상기 사용자에게 중재가 필요한지 여부를 판단한다.The intervention determination unit 120 determines whether intervention is necessary for the user from the obtained response information.

중재여부판단부(120)는 획득된 상기 반응정보로부터 상기 사용자의 정상반응 및 비정상반응을 분석하는 반응정보분석부(122) 및 분석된 상기 정상반응 및 상기 비정상반응 정보로부터 상기 사용자의 현재상황을 판단하여 상기 중재가 필요한지 여부를 판단하는 사용자상황판단부(124)를 포함할 수 있다.The intervention determination unit 120 determines the current situation of the user from the reaction information analysis unit 122 that analyzes the normal reaction and the abnormal reaction of the user from the obtained reaction information, and the analyzed normal reaction and the abnormal reaction information. It may include a user situation determination unit 124 that determines whether the intervention is necessary.

중재요청부(130)는 중재여부판단부(120)의 판단결과에 따라 상기 컨텐츠를 계속 실행하거나 상기 컨텐츠의 실행과 관련하여 중재자에게 중재를 요청할지를 결정한다. 중재자에 대한 중재요청은 시각적, 음향적 수단 등으로 다양하게 이뤄질 수 있다.The arbitration request unit 130 determines whether to continue executing the content or to request an arbitration from the arbitrator in relation to the execution of the content according to the determination result of the arbitration decision unit 120 . The request for arbitration to the arbitrator can be made in various ways, such as visual and acoustic means.

일 실시 예에 있어서, 상기 컨텐츠의 실행과정에서 사용자선택대상객체(12)가 제시될 수 있다. 인터페이스부(110)는 상기 사용자가 사용자선택대상객체(12)를 터치하는 터치위치정보를 포함하는 상기 반응정보를 획득할 수 있다. 반응정보분석부(122)는 획득된 상기 터치위치정보로부터 상기 정상반응 및 상기 비정상반응을 분석할 수 있다.In an embodiment, the user selection target object 12 may be presented during the execution of the content. The interface unit 110 may acquire the reaction information including touch location information where the user touches the user selection target object 12 . The reaction information analysis unit 122 may analyze the normal reaction and the abnormal reaction from the acquired touch location information.

상기 컨텐츠는 예로서 영상(14)으로 제시될 수 있다. 본 명세서에서 사용하는 영상이라는 용어는 사진, 동영상 등을 아우르는 용어로 이해되어야 한다. 제시되는 영상(14)은 사용자선택대상객체(12)를 감싸는 제1영역(14a)과 제1영역(14a) 이외의 영역인 제2영역(14b)으로 구획될 수 있다. 반응정보분석부(122)는 상기 터치위치정보 중 제1영역(14a)에 포함되는 터치위치정보 및 상기 터치위치정보 중 제2영역(14b)에 포함되는 터치위치정보를 각각 정상터치 및 비정상터치로 판단할 수 있다. 반응정보분석부(122)는 상기 정상터치 및 상기 비정상터치로부터 각각 상기 정상반응 및 상기 비정상반응을 분석할 수 있다.The content may be presented as an image 14 for example. The term image used in this specification should be understood as a term encompassing photos, moving pictures, and the like. The presented image 14 may be divided into a first area 14a surrounding the user selection target object 12 and a second area 14b that is an area other than the first area 14a. The response information analysis unit 122 applies the touch location information included in the first area 14a of the touch location information and the touch location information included in the second area 14b of the touch location information to a normal touch and an abnormal touch, respectively. can be judged as The reaction information analysis unit 122 may analyze the normal reaction and the abnormal reaction from the normal touch and the abnormal touch, respectively.

일례로, 사용자상황판단부(124)는 상기 정상터치와 상기 비정상터치의 값의 차이가 제1문턱값(threshold)에 미달하면 상기 사용자의 상기 현재상황을 중재가 필요한 상황으로 판단할 수 있다. 상기 제1문턱값은 예로서 실행중인 상기 컨텐츠에 대하여 인지재활치료사가 설정한 값일 수 있다. 즉, 정상터치가 비정상터치에 비하여 상기 제1문턱값에 미달한다는 의미는 사용자가 현재 실행중인 컨텐츠에 집중하지 못한다는 의미를 가진다. 본 명세서에서는 이를 현재 실행중인 컨텐츠에 대한 사용자의 주의집중저하, 의욕상실 등으로 규정하여 중재자의 중재가 필요한 상황으로 판단한다.For example, when the difference between the values of the normal touch and the abnormal touch is less than a first threshold, the user situation determining unit 124 may determine the current situation of the user as a situation requiring intervention. The first threshold value may be, for example, a value set by a cognitive rehabilitation therapist for the content being executed. That is, the meaning that the normal touch is less than the first threshold value compared to the abnormal touch means that the user cannot concentrate on the currently executed content. In this specification, this is stipulated as a decrease in the user's attention to the currently running content, loss of motivation, etc., so that it is determined as a situation requiring mediation by an arbitrator.

다른 예로, 사용자상황판단부(124)는 상기 정상터치와 상기 비정상터치의 값의 차이가 제1문턱값(threshold)을 넘더라도 사용자선택대상객체(12)가 제시된 후 정답에 해당하는 사용자선택대상객체(12)를 최초로 터치하는 최초터치시간이 제2문턱값을 넘어서면 상기 현재상황을 중재가 필요한 상황으로 판단할 수 있다. 상기 제2문턱값은 예로서 실행중인 상기 컨텐츠에 대하여 인지재활치료사가 설정한 값일 수 있다.As another example, even if the difference between the values of the normal touch and the abnormal touch exceeds a first threshold, the user situation determination unit 124 may determine the user selection target corresponding to the correct answer after the user selection target object 12 is presented. When the first touch time for first touching the object 12 exceeds the second threshold, the current situation may be determined as a situation requiring intervention. The second threshold may be, for example, a value set by a cognitive rehabilitation therapist for the content being executed.

다시 말하면, 상기 정상터치와 상기 비정상터치의 값의 차이가 제1문턱값(threshold)을 넘어서더라도 최초터치시간이 제2문턱값을 넘어서면 사용자선택대상객체(12)에 대한 관심이 낮은 상황으로 볼 수 있으며, 이에 본 명세서에서 개시하는 기술은 최초터치시간을 중재가 필요한 시점의 판단의 기준으로 추가하여 중재자의 중재여부가 필요한지 여부를 판단하는 기술을 아울러 제시하고 있다.In other words, even if the difference between the values of the normal touch and the abnormal touch exceeds a first threshold, if the initial touch time exceeds the second threshold, interest in the user selection target object 12 is low. In this regard, the technology disclosed in this specification also suggests a technology for determining whether an arbitrator's arbitration is necessary by adding the first touch time as a criterion for judging the time when arbitration is required.

일례로, 중재요청부(130)의 결정에 따라 중재가 필요하다고 판단되면 중재자단말기(20)에는 학습자단말기(10)에 실행되는 상기 컨텐츠가 표시될 수 있다. 학습자단말기(10)에는 상기 컨텐츠가 실행되는 환경에서 상기 중재자의 영상, 음성, 상기 중재자가 작성하는 중재자컨텐츠 및 이들의 조합 중에서 선택되는 적어도 어느 하나가 표시될 수 있다. 이를 통하여 중재자는 사용자에게 중재를 제공할 수 있다.For example, if it is determined that mediation is necessary according to the decision of the mediation request unit 130 , the mediator terminal 20 may display the contents executed on the learner terminal 10 . At least one selected from among video and audio of the moderator, mediator content created by the moderator, and a combination thereof may be displayed on the learner terminal 10 in an environment in which the content is executed. Through this, the moderator can provide mediation to the user.

한편, 본 명세서에서 개시하는 가상중재 인지재활시스템(100)은 상기 중재여부판단부의 판단결과에 따라 상기 컨텐츠를 계속 실행하거나 상기 컨텐츠를 변경하여 실행할지를 결정하는 컨텐츠실행부(140)를 더 포함할 수 있다.On the other hand, the virtual arbitration cognitive rehabilitation system 100 disclosed in the present specification may further include a content execution unit 140 that determines whether to continue executing the content or to change and execute the content according to the determination result of the arbitration decision unit. can

다른 예로, 중재요청부(130)의 결정에 따라 중재가 필요한 상황으로 판단되면, 컨텐츠실행부(140)는 상기 컨텐츠를 변경하여 실행할 수 있다. 컨텐츠실행부(140)에 의한 상기 컨텐츠의 변경은 컨텐츠 배경 변경, 동기 부여 컨텐츠 제공, 컨텐츠 객체 변경, 컨텐츠 난이도 변경 및 이들의 조합 중에서 선택되는 적어도 어느 하나를 포함할 수 있다. 컨텐츠실행부(140)를 통해 중재자의 직접적 개입없이 프로그램 측면에서 중재가 수행될 수 있다.As another example, if it is determined that mediation is necessary according to the decision of the arbitration request unit 130 , the content execution unit 140 may change and execute the content. The content change by the content execution unit 140 may include at least one selected from content background change, motivational content provision, content object change, content difficulty change, and a combination thereof. Mediation may be performed in terms of a program without direct intervention of an arbitrator through the content execution unit 140 .

보다 구체적으로 설명하면, 컨텐츠 중 특히 게임형태의 컨텐츠는 사용자의 적극적인 참여를 촉진하고, 문제 해결을 위하여 보상, 경쟁, 도전과 같은 요소를 활용하며, 사용자 간의 도전, 경쟁 등의 요소로 흥미와 재미를 유발하여 사용자의 지속적 참여(engagement)와 충성도(loyalty)를 유발할 수 있다. 기존의 인지 훈련은 치료사가 환자의 훈련 참여를 독려하기 위하여 제한된 수준에서 보상이나 도전의식을 높이고 있지만, 과학적 근거에 의해서 정해진 방법으로 훈련을 해야 하고, 훈련 대상이 인지 장애가 있는 환자인 것을 고려하면 보상과 도전으로 지속적 참여를 유도하기에는 어려움이 있다.More specifically, among the contents, especially game-type contents promote active participation of users, utilize factors such as rewards, competition, and challenges to solve problems, and provide interest and fun as factors such as challenges and competitions between users. can induce user's continuous engagement and loyalty. In the existing cognitive training, the therapist raises the reward or challenge at a limited level to encourage the patient's participation in training, but the training must be conducted in a method determined by scientific evidence, and if the training target is a patient with cognitive impairment, it is rewarded It is difficult to induce continuous participation through overwork and challenges.

컨텐츠를 이용한 본 명세서에서 개시하는 기술은 위와 같은 문제점을 고려하여 환자가 훈련에 대한 관심이 떨어지거나 실증을 내는 의욕 상실을 감지하여 이를 중재가 필요한 시점으로 판단하여 훈련 게임의 배경을 변경하거나 문제의 난이도와 등장하는 콘텐츠를 변경하여 동기부여를 통해 훈련을 끝까지 할 수 있도록 촉진할 수 있는 효과를 제공해 줄 수 있다.The technology disclosed in this specification using content detects a patient's lack of interest in training or a loss of motivation to demonstrate, in consideration of the above problems, and determines this as a time when intervention is necessary to change the background of the training game or solve the problem By changing the difficulty level and the content that appears, it can provide the effect of motivating and facilitating the training to the end.

사용자에게 중재가 필요한지 여부를 감지하기 위해서는 카메라, 레이저 등 여러 가지 센서를 사용할 수 있으나, 추가적인 장치가 필요해 비용 상승과 사용자가 착용 거부감을 느낄 수도 있다. 이에 본 명세서에서 개시하는 기술은 사용자의 인지능력을 분석하기 위한 훈련 게임 등과 같은 컨텐츠의 실행 환경에서 사용자의 모든 터치 데이터, 후술하는 주시정보 등을 저장하고 분석한 결과를 사용하여 사용자에게 중재가 필요한지 여부를 감지하는 기술을 제안하고 있다.Various sensors such as cameras and lasers can be used to detect whether a user needs intervention, but an additional device is required, which increases the cost and the user may feel reluctant to wear it. Accordingly, the technology disclosed in this specification stores all the touch data of the user and gaze information to be described later in the execution environment of contents such as a training game for analyzing the user's cognitive ability and uses the analysis result to determine whether the user needs intervention We propose a technology to detect whether

정상과 비정상 터치는 도 1에서 보듯이 터치를 해야 하는 대상객체인 사용자선택대상객체(12) 주변에 예로서 사각형의 범위를 정하고, 그 범위안을 터치하면 ‘정상 터치’로 간주하고, 그 밖은 ‘비정상 터치’로 판단한다. 이를 위하여 컨텐츠에서 사용하는 모든 터치대상객체인 사용자선택대상객체(12)는 ‘폭’과 ‘높이’ 값을 속성으로 추가하고, 사용자가 컨텐츠 실행과정에서 예로서 태블릿PC, 스마트폰 등의 사용자단말기(10)를 통하여 제시되는 사용자선택대상객체(12)를 터치할 때마다 컨텐츠인 훈련 게임은 정상 터치인지를 확인하고, 그 결과를 메모리(미도시, 예로서 사용자단말기(10)의 저장소)에 기록한다.For normal and abnormal touch, as shown in FIG. 1, the range of a rectangle is defined around the user selection target object 12, which is the target object to be touched, and if touched within the range, it is regarded as a 'normal touch', and the others are It is judged as 'abnormal touch'. To this end, the user selection target object 12, which is all touch target objects used in the content, adds the 'width' and 'height' values as attributes, and the user uses a user terminal such as a tablet PC or a smartphone in the content execution process. Whenever the user selection target object 12 presented through (10) is touched, it is checked whether the training game, which is the content, is a normal touch, and the result is stored in a memory (not shown, for example, the storage of the user terminal 10). record

이렇게 수집한 정상 및 비정상 터치에 대한 데이터를 통하여 각 개인별 정상/비정상 터치 표준 값을 개발할 수 있다. 또한, 가장 최근 실시한 인지재활훈련의 정상 및 비정상 터치 값의 차이가 치료사가 설정한 문턱 값(threshold)인 제1문턱값에 미달하면 사용자의 현재상황을 중재가 필요한 상황으로 정의할 수 있다. 중재가 필요한 상황으로 판단되면, 컨텐츠실행부(140)는 컨텐츠의 한 예인 훈련 게임을 미리 치료사 또는 사용자의 선호도에 의해서 설정된 방법에 따라 변경실행할 수 있다. ‘동기 부여’를 위한 컨텐츠의 변경은 ‘게임의 배경 변경’, ‘동기 부여 게임’, “객체 변경”, “난이도 변경” 등이 선택할 수 있으며, 컨텐츠실행부(140)는 사용자의 기본 정보에 근거하여 가장 적합한 컨텐츠를 제시할 수 있다.Through the collected data on normal and abnormal touch, normal/abnormal touch standard values for each individual can be developed. In addition, when the difference between the normal and abnormal touch values of the most recently performed cognitive rehabilitation training is less than the first threshold, which is a threshold set by the therapist, the user's current situation can be defined as a situation requiring intervention. If it is determined that the situation requires intervention, the content execution unit 140 may change and execute the training game, which is an example of the content, according to a method previously set by the therapist or the user's preference. Change of content for 'motivation' can be selected from 'change game background', 'motivation game', "object change", "difficulty change", etc., and the content execution unit 140 is Based on this, we can present the most appropriate content.

다른 실시 예에 있어서, 상기 컨텐츠의 실행과정에서 사용자선택대상객체(12)가 제시될 수 있다. 상기 컨텐츠는 영상으로 제시될 수 있다. 제시되는 상기 영상은 사용자선택대상객체(12)를 감싸는 제1영역(14a)과 제1영역(14a) 이외의 영역인 제2영역(14b)으로 구획될 수 있다. 인터페이스부(110)는 상기 사용자가 사용자대상객체(12)를 주시하는 주시위치정보를 포함하는 상기 반응정보를 획득할 수 있다. 반응정보분석부(122)는 획득된 상기 주시위치정보로부터 상기 정상반응 및 상기 비정상반응을 분석할 수 있다. 이 경우, 반응정보분석부(122)는 상기 주시위치정보 중 제1영역(14a)에 포함되는 주시위치정보 및 상기 주시위치정보 중 제2영역(14b)에 포함되는 주시위치정보를 각각 정상주시 및 비정상주시로 판단하고, 상기 정상주시 및 상기 비정상주시로부터 각각 상기 정상반응 및 상기 비정상반응을 분석할 수 있다.In another embodiment, the user selection target object 12 may be presented during the execution of the content. The content may be presented as an image. The presented image may be divided into a first area 14a surrounding the user selection target 12 and a second area 14b that is an area other than the first area 14a. The interface unit 110 may acquire the reaction information including the gaze location information at which the user gazes at the user target object 12 . The reaction information analysis unit 122 may analyze the normal reaction and the abnormal reaction from the obtained gaze position information. In this case, the reaction information analysis unit 122 normally gazes at the gaze location information included in the first area 14a of the gaze location information and the gaze location information included in the second area 14b of the gaze location information, respectively. and abnormal gaze, and the normal reaction and the abnormal response may be analyzed from the normal gaze and the abnormal gaze, respectively.

일례로, 사용자상황판단부(124)는 상기 비정상주시 시간이 제1기준시간을 넘으면 상기 사용자의 상기 현재상황을 중재가 필요한 상황으로 판단할 수 있다. 상기 제1기준시간은 예로서 실행중인 상기 컨텐츠에 대하여 중재자 또는 인지재활치료사가 설정한 값일 수 있다. 즉, 비정상주시 시간이 상기 제1기준시간을 넘는다는 의미는 사용자가 현재 실행중인 컨텐츠에 집중하지 못하고 다른 곳을 바라본다는 의미를 가진다. 본 명세서에서는 이를 현재 실행중인 컨텐츠에 대한 사용자의 주의집중저하, 의욕상실 등으로 규정하여 중재자의 중재가 필요한 상황으로 판단한다.For example, when the abnormal gaze time exceeds a first reference time, the user situation determination unit 124 may determine the current situation of the user as a situation requiring intervention. The first reference time may be, for example, a value set by a mediator or a cognitive rehabilitation therapist for the content being executed. That is, the meaning that the abnormal gaze time exceeds the first reference time means that the user does not focus on the currently running content and looks at another place. In this specification, this is stipulated as a decrease in the user's attention to the currently running content, loss of motivation, etc., so that it is determined as a situation requiring mediation by an arbitrator.

다른 예로, 사용자상황판단부(124)는 상기 비정상주시 시간이 제1기준시간 이내라 하더라도 사용자선택대상객체(12)가 제시된 후 정답에 해당하는 사용자선택대상객체(12)를 최초로 터치하는 최초터치시간이 제2문턱값을 넘어서면 상기 현재상황을 중재가 필요한 상황으로 판단할 수 있다. 상기 제2문턱값은 예로서 실행중인 상기 컨텐츠에 대하여 인지재활치료사가 설정한 값일 수 있다.As another example, the user situation determination unit 124 first touches the user selection target object 12 corresponding to the correct answer after the user selection target object 12 is presented even if the abnormal gaze time is within the first reference time. When the time exceeds the second threshold, the current situation may be determined as a situation requiring intervention. The second threshold may be, for example, a value set by a cognitive rehabilitation therapist for the content being executed.

다시 말하면, 상기 비정상주시 시간이 상기 제1기준시간 이내라 하더라도 최초터치시간이 제2문턱값을 넘어서면 사용자선택대상객체(12)에 대한 관심이 낮은 상황으로 볼 수 있으며, 이에 본 명세서에서 개시하는 기술은 최초터치시간을 중재가 필요한 시점의 판단의 기준으로 추가하여 중재자의 중재여부가 필요한지 여부를 판단하는 기술을 아울러 제시하고 있다.In other words, even if the abnormal gaze time is within the first reference time, if the first touch time exceeds the second threshold value, it can be seen as a situation in which interest in the user selection target object 12 is low, which is disclosed herein. The technique for judging whether an arbitrator's intervention is necessary by adding the first touch time as a criterion for judging when mediation is necessary is also presented.

정리하면, 인지재활훈련이 발달센터에서 진행되는 경우에는 환자가 치료사의 지시에 따라 훈련을 하므로, 중재자인 치료사는 중재자용 프로그램을 사용하여 직접 중재를 실시할 수 있으며, 중재 대상은 게임의 난이도 단계, 허용 시간, 동기 부여 동작 등 게임에서 설정할 수 있는 모든 대상이 포함된다.In summary, when cognitive rehabilitation training is conducted at the development center, the patient trains according to the therapist's instructions. , allowable time, and motivating actions, all of which can be set in the game.

인지재활훈련에 대한 중재자의 중재가 인터넷상에서 이루어지는 경우에는 사용자 상황이 중재자인 치료사의 중재가 필요한 상황인가의 확인은 컨텐츠(예로서 게임)의 데이터 수집과 분석을 통해서 자동 감지하는 방법과 환자가 버튼이나 소리 등으로 직접 요청하는 방법으로 처리될 수 있다.When the intervention of the moderator for cognitive rehabilitation training is performed on the Internet, the confirmation of whether the user's situation is a situation that requires the intervention of a therapist who is the mediator is automatically detected through data collection and analysis of content (eg, a game), and the patient's button It can be processed by direct request with voice or sound.

인지재활훈련은 스스로 자기 표현이 어려울 수도 있는 인지 장애 환자 또한 그 대상으로 하므로, 중재의 필요 여부에 대하여 자동 감지 방법을 기본적으로 사용하는 것이 필요하지만, 환자가 도움이 필요하다고 판단하면 ‘약속된 소리’, ‘버튼’, ‘제스처’ 등을 감지하여 중재 즉, 도움을 요청할 수 있도록 할 수도 있다.Cognitive rehabilitation training also targets patients with cognitive impairment who may find it difficult to express themselves on their own, so it is necessary to basically use an automatic detection method to determine whether intervention is necessary. ', 'button', 'gesture', etc. can be detected to request intervention, that is, help.

태블릿 PC 등을 활용하는 과정에서 중재자의 중재 즉, 도움 요청에 대한 자동 감지는 사용자 터치가 지속적으로 객체 밖에서 이뤄지거나 일정 시간 동안 화면 터치를 하지 않으면 이를 감지할 수 있다. 컨텐츠가 VR로 제공되는 경우, 사용자의 반응정보를 획득하는 수단으로 사용자가 착용하는 VR용 HMD(Head Mount Display)를 통한 사용자의 시선추적을 통해, 사용자가 사용자선택대상객체(12) 등으로 주어진 문제가 제시되는 화면 방향으로 보지 않고, 다른 방향(주로 배경)으로 보고 있으면 이를 감지하여 중재자의 중재 필요여부를 감지할 수 있다.In the process of using a tablet PC, etc., the moderator's intervention, that is, automatic detection of a request for help, can detect if the user's touch is continuously outside the object or if the screen is not touched for a certain period of time. When the content is provided in VR, as a means of acquiring the user's reaction information, through the user's eye tracking through a VR HMD (Head Mount Display) worn by the user, the user is given If the problem is not viewed in the direction of the screen in which it is presented, but in a different direction (mainly the background), it can be detected and the need for intervention by the moderator can be detected.

한편, VR 훈련에서는 환자가 도움이 필요하면 현재와 같이 치료사의 말로 지시하는 방법이 아니라, 치료사가 컨텐츠 즉, VR훈련 게임에 직접 참여하여 중재를 통한 훈련 효과를 높일 수 있다. 이는 학습자단말기(10)에 상기 컨텐츠가 실행되는 환경에서 중재자인 치료사가 작성 또는 생성하는 중재자의 영상, 음성, 중재자컨텐츠 및 이들의 조합 중에서 선택되는 적어도 어느 하나를 표시하는 방법을 통하여 수행될 수 있다.On the other hand, in VR training, if the patient needs help, the therapist directly participates in the content, that is, the VR training game, rather than the current method of instructing the therapist with the words of the therapist, thereby increasing the training effect through intervention. This may be performed through a method of displaying on the learner terminal 10 at least one selected from among video, audio, mediator content, and a combination thereof created or created by a therapist who is a mediator in an environment in which the content is executed. .

상기 컨텐츠로서 제공되는 VR 프로그램은 가상공간에서 발달센터의 1:1 대면 치료와 같은 중재를 할 수 있도록 중재자도 센서가 장착된 VR HMD를 착용하고 상기 컨텐츠에 참여하여 중재(가상 중재)를 할 수 있도록 할 수 있다.In the VR program provided as the content, the mediator can also wear a VR HMD equipped with a sensor and participate in the content to conduct intervention (virtual intervention) so that interventions such as 1:1 face-to-face treatment at the development center can be performed in a virtual space. can make it

발달센터와 같이 오프라인에서는 중재자인 치료사와 사용자인 아동이 같은 장소에서 훈련을 실시하므로, 컨텐츠를 사용하여 훈련 과정에서 사용자에게 필요한 서비스는 자동 또는 요청에 의해서 중재자를 통하여 중재될 수 있다. 하지만, 가정 등 원격에서 훈련할 때도 중재자의 중재를 받기 어려운 문제가 있다. 본 명세서에서 개시하는 기술은 사용자의 반응정보 획득을 통하여 중재자의 중재를 요청함으로써 사용자에게는 필요한 시점에 전문가인 중재자의 도움을 받을 수 있는 기회를 제공함으로써 아동발달센터와 같은 오프라인에서 중재자인 치료사로부터 사용자가 중재받는 수준과 실질적으로 같은 수준의 중재자인 치료사에 의한 중재 서비스를 받을 수 있도록 기술을 제시한다.In offline like the development center, since the therapist, the mediator, and the child, the user, train in the same place, the services needed by the user in the training process using the contents can be mediated through the mediator either automatically or by request. However, there is a problem in that it is difficult to receive the intervention of a moderator even when training remotely, such as at home. The technology disclosed in this specification provides the user with the opportunity to receive the help of an expert mediator at a time when necessary by requesting the intervention of the mediator through obtaining the user's response information, thereby providing the user from the therapist who is the mediator offline, such as the Child Development Center. Presents the technology to receive intervention services by a therapist who is substantially the same level as the one receiving the intervention.

도 2는 본 명세서에서 개시하는 도움이 필요한 사용자를 위한 직접 및 간접 중재를 하는 과정을 보여주는 도면이다.2 is a diagram showing a process of direct and indirect intervention for a user in need disclosed herein.

중재자인 치료사의 중재를 요청하는 사용자인 인지재활훈련자는 “도움” 버튼 선택, 음성(도움을 요청하는 특정 단어), 제스처(도움을 요청하는 손동작) 등을 통해 중재자에게 직접적인 도움을 요청할 수 있다. 다르게는, 중재자인 치료사의 중재를 요청하는 사용자인 인지재활훈련자의 도움 요청은 사용자 터치(일정시간 동안 중지), 사용자의 시선의 방황(목표 외 방향으로) 등과 같은 사용자의 반응정보를 인터페이스부(110)로 획득하고, 중재여부판단부(120) 및 중재요청부(130)의 결정 또는 중재여부판단부(120) 및 컨텐츠실행부(140)를 통하여 자동으로 감지하여 중재자에게 중재를 요청하거나 자동으로 중재가 진행되도록 할 수도 있다.A cognitive rehabilitation trainer who is a user who requests the intervention of a therapist, who is a mediator, can directly request help from the mediator by selecting the “Help” button, voice (specific word for help), and gesture (hand gesture asking for help). Alternatively, the user's request for help from a cognitive rehabilitation trainer who is a user who requests the intervention of a therapist, who is an arbiter, displays the user's reaction information such as user touch (stopped for a certain period of time), user's gaze wandering (outside the target), etc. to the interface unit ( 110), and automatically detects the decision of the arbitration decision unit 120 and the arbitration request unit 130 or through the arbitration decision unit 120 and the content execution unit 140 to request the arbitrator to arbitrate or automatically may allow mediation to proceed.

일례로, 인지재활훈련에 사용되는 컨텐츠로서 Tablet PC 인지 훈련 게임이 활용될 경우, 사용자 터치(일정시간 동안 중지), “도움” 버튼 선택, 음성(도움을 요청하는 특정 단어) 등은 사용자에게 중재가 필요한지 여부를 판단하는 사용자의 반응정보로서 활용될 수 있다. 다른 예로, 인지재활훈련에 사용되는 컨텐츠로서 VR 인지 훈련 게임이 활용될 경우, “도움” 버튼 선택, 음성(도움을 요청하는 특정 단어), 제스처(도움을 요청하는 손동작), 사용자의 시선의 방황(목표 외 방향으로) 등은 사용자에게 중재가 필요한지 여부를 판단하는 사용자의 반응정보로서 활용될 수 있다.For example, when a Tablet PC cognitive training game is used as content used for cognitive rehabilitation training, user touch (pause for a certain period of time), “help” button selection, voice (specific word for help), etc. are mediated by the user It can be used as reaction information of the user to determine whether or not is necessary. As another example, when a VR cognitive training game is used as a content used for cognitive rehabilitation training, the “help” button selection, voice (specific word for help), gesture (hand gesture to request help), and the user's gaze wander (in a direction outside the target), etc., can be used as the user's reaction information to determine whether the user needs intervention.

상기 컨텐츠를 통하여 사용자에게 중재자의 중재가 필요한 상황으로 판단되면, 게임제어(게임 난이도 조정), 치료사 대면 지원(발달센터), 가상 중재(치료사 VR 등 컨텐츠에 직접 참여) 등을 통하여 중재자인 치료사는 직접적으로 사용자를 중재할 수 있다. 다르게는, 상기 컨텐츠를 통하여 사용자에게 중재자의 중재가 필요한 상황으로 판단되면, 화상 채팅(카메라), 보이스(통화) 등을 통하여 중재자인 치료사는 간접적으로 사용자를 중재할 수 있다.If it is determined through the above content that the user needs intervention by the mediator, the therapist who is the mediator can use game control (adjustment of game difficulty), therapist face-to-face support (development center), virtual intervention (direct participation in content such as therapist VR), etc. You can moderate users directly. Alternatively, if it is determined through the content that the user needs intervention by the moderator, the therapist who is the moderator may indirectly mediate the user through video chatting (camera), voice (call), or the like.

상기로부터, 본 개시의 다양한 실시 예들이 예시를 위해 기술되었으며, 아울러 본 개시의 범주 및 사상으로부터 벗어나지 않고 가능한 다양한 변형 예들이 존재함을 이해할 수 있을 것이다. 그리고 개시되고 있는 상기 다양한 실시 예들은 본 개시된 사상을 한정하기 위한 것이 아니며, 진정한 사상 및 범주는 하기의 청구항으로부터 제시될 것이다.From the above, various embodiments of the present disclosure have been described for purposes of illustration, and it will be understood that various modifications are possible without departing from the scope and spirit of the present disclosure. And the various embodiments disclosed above are not intended to limit the spirit of the present disclosure, the true spirit and scope will be presented from the following claims.

10: 학습자단말기
12: 사용자선택대상객체
14: 컨텐츠 영상
14a: 제1영역
14b: 제2영역
20: 중재자단말기
100: 가상중재 인지재활시스템
110: 인터페이스부
120: 중재여부판단부
122: 반응정보분석부
124: 사용자상황판단부
130: 중재요청부
140: 컨텐츠실행부10: Learner terminal
12: User selection target object
14: content video
14a: first area
14b: second area
20: moderator terminal
100: virtual intervention cognitive rehabilitation system
110: interface unit
120: Arbitration decision unit
122: reaction information analysis unit
124: user situation judgment unit
130: request for arbitration
140: content execution unit

Claims (9)

사용자가 사용하는 학습자단말기;
상기 학습자단말기와 네트워크로 연결되는 중재자단말기;
상기 학습자단말기에 상기 사용자의 인지능력을 분석하기 위한 컨텐츠가 실행되는 환경에서 상기 컨텐츠에 대한 상기 사용자의 반응정보를 획득하는 인터페이스부;
획득된 상기 반응정보로부터 상기 사용자에게 중재가 필요한지 여부를 판단하는 중재여부판단부; 및
상기 중재여부판단부의 판단결과에 따라 상기 컨텐츠를 계속 실행하거나 상기 컨텐츠의 실행과 관련하여 중재자에게 중재를 요청할지를 결정하는 중재요청부를 포함하며,
상기 중재여부판단부는
획득된 상기 반응정보로부터 상기 사용자의 정상반응 및 비정상반응을 분석하는 반응정보분석부; 및
분석된 상기 정상반응 및 상기 비정상반응 정보로부터 상기 사용자의 현재상황을 판단하여 상기 중재가 필요한지 여부를 판단하는 사용자상황판단부를 포함하며,
상기 컨텐츠의 실행과정에서 사용자선택대상객체가 제시되며,
상기 인터페이스부는 상기 사용자가 상기 사용자선택대상객체를 터치하는 터치위치정보를 포함하는 상기 반응정보를 획득하며,
상기 반응정보분석부는 획득된 상기 터치위치정보로부터 상기 정상반응 및 상기 비정상반응을 분석하며,
상기 컨텐츠는 영상으로 제시되며,
제시되는 상기 영상은 상기 사용자선택대상객체를 감싸는 제1영역과 상기 제1영역 이외의 영역인 제2영역으로 구획되며,
상기 반응정보분석부는 상기 터치위치정보 중 상기 제1영역에 포함되는 터치위치정보 및 상기 터치위치정보 중 상기 제2영역에 포함되는 터치위치정보를 각각 정상터치 및 비정상터치로 판단하고, 상기 정상터치 및 상기 비정상터치로부터 각각 상기 정상반응 및 상기 비정상반응을 분석하며,
상기 사용자상황판단부는 상기 정상터치와 상기 비정상터치의 값의 차이가 제1문턱값(threshold)을 넘더라도 상기 사용자선택대상객체가 제시된 후 정답에 해당하는 상기 사용자선택대상객체를 최초로 터치하는 최초터치시간이 제2문턱값을 넘어서면 상기 현재상황을 중재가 필요한 상황으로 판단하는 가상중재 인지재활시스템.the learner terminal used by the user;
a moderator terminal connected to the learner terminal and a network;
an interface unit for obtaining reaction information of the user to the content in an environment in which the content for analyzing the user's cognitive ability is executed in the learner terminal;
an intervention determination unit for determining whether intervention is necessary for the user from the obtained response information; and
and an arbitration request unit for determining whether to continue executing the content or request an arbitrator for arbitration in relation to the execution of the content according to the judgment result of the arbitration decision unit,
The arbitration decision unit
a reaction information analysis unit that analyzes the user's normal reaction and abnormal reaction from the obtained reaction information; and
and a user situation determination unit for determining whether the intervention is necessary by judging the current situation of the user from the analyzed normal reaction and abnormal response information,
In the process of executing the content, a user selection target object is presented,
The interface unit acquires the reaction information including touch location information where the user touches the user selection target object,
The reaction information analysis unit analyzes the normal reaction and the abnormal reaction from the acquired touch location information,
The content is presented as an image,
The image to be presented is divided into a first area surrounding the user selection target object and a second area that is an area other than the first area,
The response information analysis unit determines the touch location information included in the first area of the touch location information and the touch location information included in the second area of the touch location information as a normal touch and an abnormal touch, respectively, and the normal touch and analyzing the normal reaction and the abnormal reaction from the abnormal touch, respectively,
The user context determining unit first touches the user selection target object corresponding to the correct answer after the user selection target object is presented even if the difference between the values of the normal touch and the abnormal touch exceeds a first threshold When the time exceeds the second threshold, the virtual intervention cognitive rehabilitation system for judging the current situation as a situation requiring intervention. 제1항에 있어서,
상기 중재요청부의 결정에 따라 중재가 필요하다고 판단되면 상기 중재자단말기에는 상기 학습자단말기에 실행되는 상기 컨텐츠가 표시되며,
상기 학습자단말기에는 상기 컨텐츠가 실행되는 환경에서 상기 중재자의 영상, 음성, 상기 중재자가 작성하는 중재자컨텐츠 및 이들의 조합 중에서 선택되는 적어도 어느 하나가 표시되는 가상중재 인지재활시스템.According to claim 1,
When it is determined that mediation is necessary according to the decision of the mediation requesting unit, the content executed on the learner terminal is displayed on the mediator terminal,
Virtual intervention cognitive rehabilitation system in which at least one selected from the video and audio of the moderator, mediator content created by the mediator, and a combination thereof in the environment in which the content is executed is displayed on the learner terminal. 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete
KR1020200064365A 2020-05-28 2020-05-28 virtual mediation cognitive rehabilitation system KR102348692B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200064365A KR102348692B1 (en) 2020-05-28 2020-05-28 virtual mediation cognitive rehabilitation system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200064365A KR102348692B1 (en) 2020-05-28 2020-05-28 virtual mediation cognitive rehabilitation system

Publications (2)

Publication Number Publication Date
KR20210148486A KR20210148486A (en) 2021-12-08
KR102348692B1 true KR102348692B1 (en) 2022-01-10

Family

ID=78867642

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200064365A KR102348692B1 (en) 2020-05-28 2020-05-28 virtual mediation cognitive rehabilitation system

Country Status (1)

Country Link
KR (1) KR102348692B1 (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4874332B2 (en) * 2006-05-18 2012-02-15 株式会社Ｖｉｓ総研 Control device for evaluating user response to content
JP2013097311A (en) * 2011-11-04 2013-05-20 Zenrin Datacom Co Ltd Learning support device, learning support method and learning support program
KR102021700B1 (en) * 2018-05-30 2019-09-16 부산대학교 산학협력단 System and method for rehabilitate language disorder custermized patient based on internet of things

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170127123A (en) * 2016-05-11 2017-11-21 (주)메디즈 Group Cognitive Rehabilitation System

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4874332B2 (en) * 2006-05-18 2012-02-15 株式会社Ｖｉｓ総研 Control device for evaluating user response to content
JP2013097311A (en) * 2011-11-04 2013-05-20 Zenrin Datacom Co Ltd Learning support device, learning support method and learning support program
KR102021700B1 (en) * 2018-05-30 2019-09-16 부산대학교 산학협력단 System and method for rehabilitate language disorder custermized patient based on internet of things

Also Published As

Publication number Publication date
KR20210148486A (en) 2021-12-08

Similar Documents

Publication Publication Date Title
JP7431272B2 (en) Enhancement of cognition in the presence of attentional diversion and/or distraction
Howard Virtual reality interventions for personal development: A meta-analysis of hardware and software
EP3384437B1 (en) Systems, computer medium and methods for management training systems
Rebelo et al. Using virtual reality to assess user experience
Harjunen et al. Persuaded by the machine: The effect of virtual nonverbal cues and individual differences on compliance in economic bargaining
Tabbaa et al. A reflection on virtual reality design for psychological, cognitive and behavioral interventions: design needs, opportunities and challenges
CN113748449B (en) Evaluation and training system
US20200251211A1 (en) Mixed-Reality Autism Spectrum Disorder Therapy
JP2023507853A (en) Extended Reality System for Treating Subjects Associated with Autism Spectrum Disorder
Takac et al. Addressing virtual reality misclassification: A hardware‐based qualification matrix for virtual reality technology
Stammler et al. Negami: an augmented reality app for the treatment of spatial neglect after stroke
KR102348692B1 (en) virtual mediation cognitive rehabilitation system
KR102359061B1 (en) cognitive rehabilitation system based on judgment of user’s attention
Dæhlen Towards developing an eye-tracker based virtual reality application for supporting vision screening
Teruel et al. Exploiting awareness for the development of collaborative rehabilitation systems
Carman et al. Initial validation of the GUESS-18 for usability in virtual reality gaming environments: a pilot study
ZHANG Healthy Eyes, Healthy Life: The Viewing Distance Monitor
Teruel et al. Towards an awareness interpretation for physical and cognitive rehabilitation systems
Gauci Game Accessibility for Children with Cognitive Disabilities: Comparing Gesture-based and Touch Interaction
Takac Defining and Addressing Research-Level and Therapist-Level Barriers to Virtual Reality Therapy Implementation in Mental Health Settings
Piazza VR Game Design in Unity: A Template for Graduated Acclimation Techniques
Ahire Respiratory Biofeedback based Virtual Environment to Increase Subjective Vitality and Reduce Stress in International Students: Usability, Feasibility and Effectiveness pilot study.
Vulink The Effects of Instruction on At-Home Use of the Virtual Reality Environment'Walk in Nature'
Salmerón An Adaptive Approach to Exergames with Support for Multimodal Interfaces
Konstenius Enabling non-intrusive gaze interactions in existing computer games

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant