KR102611969B1 - 혼합현실 기반의 인지기능 평가 시스템 및 방법 - Google Patents
혼합현실 기반의 인지기능 평가 시스템 및 방법 Download PDFInfo
- Publication number
- KR102611969B1 KR102611969B1 KR1020230085659A KR20230085659A KR102611969B1 KR 102611969 B1 KR102611969 B1 KR 102611969B1 KR 1020230085659 A KR1020230085659 A KR 1020230085659A KR 20230085659 A KR20230085659 A KR 20230085659A KR 102611969 B1 KR102611969 B1 KR 102611969B1
- Authority
- KR
- South Korea
- Prior art keywords
- user
- cognitive function
- content
- control unit
- difficulty
- Prior art date
Links
- 230000003920 cognitive function Effects 0.000 title claims abstract description 118
- 238000000034 method Methods 0.000 title claims description 23
- 201000010099 disease Diseases 0.000 claims abstract description 20
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims abstract description 20
- 238000013136 deep learning model Methods 0.000 claims abstract description 18
- 238000004364 calculation method Methods 0.000 claims description 13
- 230000035484 reaction time Effects 0.000 claims description 7
- 210000004556 brain Anatomy 0.000 claims description 6
- 230000001939 inductive effect Effects 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 7
- 238000011156 evaluation Methods 0.000 description 28
- 238000010586 diagram Methods 0.000 description 15
- 208000010877 cognitive disease Diseases 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 206010012289 Dementia Diseases 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 3
- 238000009795 derivation Methods 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 3
- 210000003128 head Anatomy 0.000 description 3
- 230000010365 information processing Effects 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 230000002452 interceptive effect Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000003190 augmentative effect Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 239000003814 drug Substances 0.000 description 2
- 229940079593 drug Drugs 0.000 description 2
- 239000004615 ingredient Substances 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 208000027061 mild cognitive impairment Diseases 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 241000219315 Spinacia Species 0.000 description 1
- 235000009337 Spinacia oleracea Nutrition 0.000 description 1
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 230000003930 cognitive ability Effects 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/40—Detecting, measuring or recording for evaluating the nervous system
- A61B5/4076—Diagnosing or monitoring particular conditions of the nervous system
- A61B5/4088—Diagnosing of monitoring cognitive diseases, e.g. Alzheimer, prion diseases or dementia
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/162—Testing reaction times
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
- A61B5/372—Analysis of electroencephalograms
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/74—Details of notification to user or communication with user or patient ; user input means
- A61B5/7475—User input or interface means, e.g. keyboard, pointing device, joystick
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
- G16H10/20—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for electronic clinical trials or questionnaires
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Public Health (AREA)
- Medical Informatics (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Pathology (AREA)
- Surgery (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- Biophysics (AREA)
- Veterinary Medicine (AREA)
- Epidemiology (AREA)
- Physics & Mathematics (AREA)
- Heart & Thoracic Surgery (AREA)
- Primary Health Care (AREA)
- Psychology (AREA)
- Data Mining & Analysis (AREA)
- Psychiatry (AREA)
- Databases & Information Systems (AREA)
- Neurology (AREA)
- Hospice & Palliative Care (AREA)
- Child & Adolescent Psychology (AREA)
- Developmental Disabilities (AREA)
- Educational Technology (AREA)
- Social Psychology (AREA)
- Electrically Operated Instructional Devices (AREA)
- Neurosurgery (AREA)
- Physiology (AREA)
Abstract
본 발명은 제어부가 인지기능과 관련된 콘텐츠를 선택하도록 안내하는 제 1 단계; 상기 콘텐츠 중 어느 하나가 선택되면, 상기 제어부가 상기 선택된 콘텐츠를 HMD 단말기를 통해 사용자에게 제공하는 제 2 단계; 상기 제어부가 콘트롤러 및 핸드 트래킹 단말기 중 적어도 하나를 통해 입력되는 상기 사용자의 입력정보에 따라 상기 사용자의 인지기능을 평가하는 제 3 단계; 및 상기 제어부가 상기 평가된 인지기능 점수 및 상기 사용자의 신체정보를 미리 학습된 딥러닝 모델에 적용하여, 질병 및 상기 질병 상태 예측을 포함하는 제 1 정보를 도출하는 제 4 단계; 를 포함하고, 상기 제 2 단계에서 상기 콘텐츠는, 미리 지정된 복수의 인지기능 요소 각각이 적어도 1회 이상 노출되도록 구성되며, 상기 제 3 단계에서 상기 선택된 콘텐츠가 적어도 2회 이상 반복된 결과를 기초로 상기 사용자의 인지기능을 평가하는 것을 특징으로 하여, 보다 효율적으로 인지기능을 측정 및 평가할 수 있는 효과가 있다.
Description
본 발명은 HMD 단말기로 사용자에게 인지기능과 관련된 콘텐츠를 제공하면서 콘트롤러 및 핸드 트래킹 단말기로 미션을 수행하도록 유도하여 인지기능을 평가하고, 평가된 인지기능 점수와 사용자의 신체정보를 딥러닝 모델에 적용하여 질병 및 질병 상태 예측에 대한 결과 데이터를 도출하되, 인지기능 점수 및 신체정보에 대응하여 콘텐츠의 난이도가 조절되도록 하면서 사용자마다 맞춤형 미션이 제시되는 구성을 통해 보다 효율적으로 인지기능을 측정 및 평가할 수 있는 혼합현실 기반의 인지기능 평가 시스템 및 방법에 관한 것이다.
현대사회에 들어, 평균수명이 연장됨에 따라 치매 등의 인지기능 장애로 인한 환자수가 급증하고 있고, 가령, 한국과학기술기획평가원에 따르면 우리나라 65세 이상 노인인구 중 치매환자는 2016년 66만명에서 2050년에는 3백만명을 넘어설 것이라고 예상하고 있으며, 이로 인한 사회적 비용이 증가하고 있는 추세이다.
또한, 치매 등 인지기능 장애는 환자 뿐만아니라 가족까지 고통을 받게 되며, 이는 더 이상 한 가정의 문제가 아니라 사회적인 문제로 해결해야 하는 것으로 많은 사람들이 공감하고 있다.
특히, 인지기능 장애 중에서 비교적 정도가 낮은 경도 인지장애의 경우에는 더 이상 치매로 발전되지 않도록 관리하고 모니터링 할 필요가 있다.
이러한 인지기능 장애를 진단하고 이에 대한 치료 및 증상 완화를 위해서 종래에는 약물을 이용하였으나, 치료 약물의 경우 부작용의 우려가 있고 치료 효율도 낮은 편이다.
또한, 기존 인지기능 검사 및 진단은 단지 여러 문항의 설문을 기반하고 있으므로, 선별 검사로서의 효율이 부족하며, 이에 전반적인 인지 기능 장애에 대해 이를 개선할 수 있는 보다 효과적인 콘텐츠의 제공 및 치료 기술에 대한 요구가 증가하고 있다.
한편, 상기와 같은 상황에서 가상현실(Virtual Reality)을 이용한 운동 및 인지기능 훈련의 효과는 다양한 연구결과를 통해 입증이 되고 있는데, 인지기능이 저하된 사람과 고령자가 사용하기에는 불편하고 어려운 점이 많기 때문에 인지기능 평가 및 훈련을 위한 진일보한 시스템임에도 불구하고 실제 활용도가 다소 저조한 실정이다.
따라서, 본 발명은 상기와 같은 문제점을 해결하기 위해 안출된 것으로서, HMD 단말기로 사용자에게 인지기능과 관련된 콘텐츠를 제공하면서 콘트롤러 및 핸드 트래킹 단말기로 미션을 수행하도록 유도하여 인지기능을 평가하고, 평가된 인지기능 점수와 사용자의 신체정보를 딥러닝 모델에 적용하여 질병 및 질병 상태 예측에 대한 결과 데이터를 도출하되, 인지기능 점수 및 신체정보에 대응하여 콘텐츠의 난이도가 조절되도록 하면서 사용자마다 맞춤형 미션이 제시되는 구성을 통해 보다 효율적으로 인지기능을 측정 및 평가할 수 있는 혼합현실 기반의 인지기능 평가 시스템 및 방법을 제공하는데 목적이 있다.
다만, 본 발명에서 이루고자 하는 기술적 과제는 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
상기와 같은 목적을 달성하기 위한 기술적 방법인 본 발명의 일 실시예에 따른 혼합현실 기반의 인지기능 평가 방법은, 제어부가 인지기능과 관련된 콘텐츠를 선택하도록 안내하는 제 1 단계; 상기 콘텐츠 중 어느 하나가 선택되면, 상기 제어부가 상기 선택된 콘텐츠를 HMD 단말기를 통해 사용자에게 제공하는 제 2 단계; 상기 제어부가 콘트롤러 및 핸드 트래킹 단말기 중 적어도 하나를 통해 입력되는 상기 사용자의 입력정보에 따라 상기 사용자의 인지기능을 평가하는 제 3 단계; 및 상기 제어부가 상기 평가된 인지기능 점수 및 상기 사용자의 신체정보를 미리 학습된 딥러닝 모델에 적용하여, 질병 및 상기 질병 상태 예측을 포함하는 제 1 정보를 도출하는 제 4 단계; 를 포함하고, 상기 제 2 단계에서 상기 콘텐츠는, 미리 지정된 복수의 인지기능 요소 각각이 적어도 1회 이상 노출되도록 구성되며, 상기 제 3 단계에서 상기 선택된 콘텐츠가 적어도 2회 이상 반복된 결과를 기초로 상기 사용자의 인지기능을 평가할 수 있다.
또한, 상기 미리 지정된 복수의 인지기능 요소는, 기억력 요소, 집중력 요소 및 판단력 요소를 포함하고, 상기 제 3 단계의 상기 사용자의 입력정보는, 상기 사용자의 반응시간, 문제에 대한 정답율 및 상기 콘트롤러 및 상기 핸드 트래킹 단말기 중 적어도 하나를 통해 획득된 상기 사용자의 손의 궤적 정보를 포함할 수 있다.
또한, 상기 제 3 단계에서, 외부기기로부터 획득된 상기 사용자의 뇌파 데이터를 추가적으로 활용하여 상기 사용자의 인지기능을 평가하고, 상기 평가된 인지기능 점수는, 상기 복수의 인지기능 요소 각각으로 구분되어 점수화될 수 있다.
또한, 상기 사용자는 복수이고, 상기 미리 학습된 딥러닝 모델은, 상기 복수의 사용자로부터 획득한 평가된 인지기능 점수 및 신체정보를 누적하여 추가 학습할 수 있다.
또한, 상기 제 1 단계에서는 상기 선택을 유도하는 콘텐츠 출력이 추가되고, 상기 콘텐츠는, 복수의 선택지를 제시하고 적어도 하나의 정답을 선택하는 콘텐츠 및 계산하는 콘텐츠 중 적어도 하나를 포함할 수 있다.
또한, 상기 평가된 인지기능 점수 및 상기 사용자의 신체정보 중 적어도 하나를 기초로 상기 선택된 콘텐츠의 난이도가 변경될 수 있다.
또한, 상기 선택된 콘텐츠의 난이도는, 상기 선택하는 정답의 수 증가, 상기 복수의 선택지의 수 증가 및 계산 방식은 동일하게 적용되면서 상기 계산의 단위가 증가하는 방법 중 적어도 하나를 통해 높아질 수 있다.
또한, 상기 난이도가 증가함에 따라 상기 제 1 단계에서 출력되는 상기 선택을 유도하는 콘텐츠 출력이 축소 또는 생략될 수 있다.
한편, 상기와 같은 목적을 달성하기 위한 기술적 수단인 본 발명의 일 실시예에 따른 혼합현실 기반의 인지기능 평가 시스템은, 인지기능과 관련된 콘텐츠를 선택하도록 안내하는 제어부; 상기 콘텐츠 중 어느 하나가 선택되면, 상기 제어부의 제어에 따라 상기 선택된 콘텐츠를 사용자에게 제공하는 HMD 단말기; 및 상기 선택된 콘텐츠에 대한 상기 사용자의 피드백을 입력 받기 위한 콘트롤러와 핸드 트래킹 단말기;를 포함하고, 상기 제어부는, 상기 콘트롤러 및 핸드 트래킹 단말기 중 적어도 하나를 통해 입력되는 상기 사용자의 입력정보에 따라 상기 사용자의 인지기능을 평가하고, 상기 평가된 인지기능 점수 및 상기 사용자의 신체정보를 미리 학습된 딥러닝 모델에 적용하여, 질병 및 상기 질병 상태 예측을 포함하는 제 1 정보를 도출하며, 상기 콘텐츠는, 미리 지정된 복수의 인지기능 요소 각각이 적어도 1회 이상 노출되도록 구성되고, 상기 제어부는, 상기 선택된 콘텐츠가 적어도 2회 이상 반복된 결과를 기초로 상기 사용자의 인지기능을 평가할 수 있다.
또한, 상기 미리 지정된 복수의 인지기능 요소는, 기억력 요소, 집중력 요소 및 판단력 요소를 포함하고, 상기 사용자의 입력정보는, 상기 사용자의 반응시간, 문제에 대한 정답율 및 상기 콘트롤러 및 상기 핸드 트래킹 단말기 중 적어도 하나를 통해 획득된 상기 사용자의 손의 궤적 정보를 포함하며, 상기 사용자는 복수이고, 상기 미리 학습된 딥러닝 모델은, 상기 복수의 사용자로부터 획득한 평가된 인지기능 점수 및 신체정보를 누적하여 추가 학습할 수 있다.
또한, 상기 HMD 단말기에서는 상기 선택을 유도하는 콘텐츠 출력이 추가되고, 상기 콘텐츠는 복수의 선택지를 제시하고 적어도 하나의 정답을 선택하는 콘텐츠 및 계산하는 콘텐츠 중 적어도 하나를 포함하며, 상기 평가된 인지기능 점수 및 상기 사용자의 신체정보 중 적어도 하나를 기초로 상기 선택된 콘텐츠의 난이도가 변경될 수 있다.
또한, 상기 선택된 콘텐츠의 난이도는, 상기 선택하는 정답의 수 증가, 상기 복수의 선택지의 수 증가 및 계산 방식은 동일하게 적용되면서 상기 계산의 단위가 증가하는 방법 중 적어도 하나를 통해 높아지고, 상기 난이도가 증가함에 따라 상기 HMD 단말기에서 출력되는 상기 선택을 유도하는 콘텐츠 출력이 축소 또는 생략될 수 있다.
본 발명에 따른 혼합현실 기반의 인지기능 평가 시스템 및 방법은, HMD 단말기로 사용자에게 인지기능과 관련된 콘텐츠를 제공하면서 콘트롤러 및 핸드 트래킹 단말기로 미션을 수행하도록 유도하여 인지기능을 평가하고, 평가된 인지기능 점수와 사용자의 신체정보를 딥러닝 모델에 적용하여 질병 및 질병 상태 예측에 대한 결과 데이터를 도출하되, 인지기능 점수 및 신체정보에 대응하여 콘텐츠의 난이도가 조절되도록 하면서 사용자마다 맞춤형 미션이 제시되는 구성을 통해 보다 효율적으로 인지기능을 측정 및 평가할 수 있는 효과가 있다.
다만, 본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 실시예에 따른 혼합현실 기반의 인지기능 평가 시스템의 외부구성 및 사용예를 나타낸 도면.
도 2는 도 1에 따른 상기 인지기능 평가 시스템 중 핸드 트래킹 단말기를 구현하기 위한 트래킹 시스템의 전자적인 구성을 개략적으로 나타낸 블록도.
도 3은 도 2에 따른 상기 트래킹 시스템의 센서 시스템에 구비된 센서를 배치하는 방식의 일 예를 나타내는 개략도.
도 4는 도 2에 따른 상기 트래킹 시스템의 메인 시스템과 센서 시스템의 네트워크 연결 중 링크에서의 패킷 전달 순서를 나타내는 개략도.
도 5는 도 2에 따른 상기 트래킹 시스템에서 핸드트래킹 정보의 시간 오차를 보정하는 일 예를 나타내는 개략도.
도 6은 본 발명의 실시예에 따른 혼합현실 기반의 인지기능 평가 방법을 나타낸 흐름도.
도 7은 도 6에 따른 상호 작용 순서를 개략적으로 나타낸 순서도.
도 8은 도 1 및 도 6에 따른 상기 인지기능 평가 시스템 및 방법에서 콘텐츠의 난이도 조정을 나타낸 개략도.
도 9는 사용자의 문제 수행력에 따른 난이도 조정을 나타낸 순서도.
도 10은 도 9의 난이도 조정에서 난이도 상향 추이를 나타낸 그래프.
도 11은 도 9의 난이도 조정에서 난이도 하향 추이를 나타낸 그래프.
도 12 내지 30은 난이도 상향이 필요한 '사용자 A'의 예시를 나타낸 도면.
도 31 내지 도 54는 난이도 하향이 필요한 '사용자 B'의 예시를 나타낸 도면.
도 2는 도 1에 따른 상기 인지기능 평가 시스템 중 핸드 트래킹 단말기를 구현하기 위한 트래킹 시스템의 전자적인 구성을 개략적으로 나타낸 블록도.
도 3은 도 2에 따른 상기 트래킹 시스템의 센서 시스템에 구비된 센서를 배치하는 방식의 일 예를 나타내는 개략도.
도 4는 도 2에 따른 상기 트래킹 시스템의 메인 시스템과 센서 시스템의 네트워크 연결 중 링크에서의 패킷 전달 순서를 나타내는 개략도.
도 5는 도 2에 따른 상기 트래킹 시스템에서 핸드트래킹 정보의 시간 오차를 보정하는 일 예를 나타내는 개략도.
도 6은 본 발명의 실시예에 따른 혼합현실 기반의 인지기능 평가 방법을 나타낸 흐름도.
도 7은 도 6에 따른 상호 작용 순서를 개략적으로 나타낸 순서도.
도 8은 도 1 및 도 6에 따른 상기 인지기능 평가 시스템 및 방법에서 콘텐츠의 난이도 조정을 나타낸 개략도.
도 9는 사용자의 문제 수행력에 따른 난이도 조정을 나타낸 순서도.
도 10은 도 9의 난이도 조정에서 난이도 상향 추이를 나타낸 그래프.
도 11은 도 9의 난이도 조정에서 난이도 하향 추이를 나타낸 그래프.
도 12 내지 30은 난이도 상향이 필요한 '사용자 A'의 예시를 나타낸 도면.
도 31 내지 도 54는 난이도 하향이 필요한 '사용자 B'의 예시를 나타낸 도면.
이하에서는, 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명에 관한 설명은 구조적 내지 기능적 설명을 위한 실시예에 불과하므로, 본 발명의 권리범위는 본문에 설명된 실시예에 의하여 제한되는 것으로 해석되어서는 아니 된다. 즉, 실시예는 다양한 변경이 가능하고 여러 가지 형태를 가질 수 있으므로 본 발명의 권리범위는 기술적 사상을 실현할 수 있는 균등물들을 포함하는 것으로 이해되어야 한다. 또한, 본 발명에서 제시된 목적 또는 효과는 특정 실시예가 이를 전부 포함하여야 한다거나 그러한 효과만을 포함하여야 한다는 의미는 아니므로, 본 발명의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.
본 발명에서 서술되는 용어의 의미는 다음과 같이 이해되어야 할 것이다.
"제1", "제2" 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위한 것으로, 이들 용어들에 의해 권리범위가 한정되어서는 아니 된다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 어떤 구성요소가 다른 구성요소에 "연결되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결될 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다고 언급된 때에는 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 한편, 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
여기서 사용되는 모든 용어들은 다르게 정의되지 않는 한, 본 발명이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한 이상적이거나 과도하게 형식적인 의미를 지니는 것으로 해석될 수 없다.
도 1은 본 발명의 실시예에 따른 혼합현실 기반의 인지기능 평가 시스템의 외부구성 및 사용예를 나타낸 도면이고, 도 2는 도 1에 따른 상기 인지기능 평가 시스템 중 핸드 트래킹 단말기를 구현하기 위한 트래킹 시스템의 전자적인 구성을 개략적으로 나타낸 블록도이며, 도 3은 도 2에 따른 상기 트래킹 시스템의 센서 시스템에 구비된 센서를 배치하는 방식의 일 예를 나타내는 개략도이고, 도 4는 도 2에 따른 상기 트래킹 시스템의 메인 시스템과 센서 시스템의 네트워크 연결 중 링크에서의 패킷 전달 순서를 나타내는 개략도이며, 도 5는 도 2에 따른 상기 트래킹 시스템에서 핸드트래킹 정보의 시간 오차를 보정하는 일 예를 나타내는 개략도이고, 도 6은 본 발명의 실시예에 따른 혼합현실 기반의 인지기능 평가 방법을 나타낸 흐름도이며, 도 7은 도 6에 따른 상호 작용 순서를 개략적으로 나타낸 순서도이고, 도 8은 도 1 및 도 6에 따른 상기 인지기능 평가 시스템 및 방법에서 콘텐츠의 난이도 조정을 나타낸 개략도이며, 도 9는 사용자의 문제 수행력에 따른 난이도 조정을 나타낸 순서도이고, 도 10은 도 9의 난이도 조정에서 난이도 상향 추이를 나타낸 그래프이며, 도 11은 도 9의 난이도 조정에서 난이도 하향 추이를 나타낸 그래프이고, 도 12 내지 30은 난이도 상향이 필요한 '사용자 A'의 예시를 나타낸 도면이며, 도 31 내지 도 54는 난이도 하향이 필요한 '사용자 B'의 예시를 나타낸 도면이다.
인지기능 평가 시스템
도 1에 도시한 바와 같이, 본 발명에 따른 혼합현실 기반의 인지기능 평가 시스템(1)은 제어부(10), HMD 단말기(20), 콘트롤러(30) 및 핸드 트래킹 단말기(40)를 포함하여 구성할 수 있다.
단, 도 1에 도시된 구성요소들이 본 발명을 위해 필수적인 최소한의 구성일뿐, 이보다 더 부가적인 구성요소들을 갖는 인지기능 평가 시스템이 구현될 수 있다.
상기 제어부(10)는 인지기능과 관련된 콘텐츠를 선택하도록 안내하는 기능을 수행한다.
여기서, 상기 콘텐츠는 가상현실(VR - Virtual Reality), 증강현실(AR - Augmented Reality)을 아우르는 혼합현실(MR - Mixed Reality) 기술을 망라한 확장현실(XR - eXtended Reality; 확장 현실)의 방식으로 제공되는 인지기능 관련 콘텐츠인 것이 바람직하다.
또한, 상기 콘텐츠는 후술될 콘트롤러(30) 및 핸드 트래킹 단말기(40)를 통해 입력되는 사용자의 입력정보에 반응하여 후술될 HMD 단말기(20)를 통해 출력되는 오브젝트를 변경하는 상호반응형 콘텐츠를 포함할 수도 있다.
상기 HMD(Head Mount Display) 단말기(20)는 안경처럼 사용자의 머리에 착용한 상태에서 가상 오브젝트와 현실을 함께 볼 수 있게 하는 디스플레이 장치이다.
즉, 상기 HMD 단말기(20)는 더 바람직하게는, 안구와 두부 전면을 감싸는 형태로 형성되어, 환경에 따라 100% 가상현실은 VR, 일부 현실정보를 포함하는 MR, 현실환경을 기반으로 동작하는 AR로 구성되는 콘텐츠를 사용자가 시청할 수 있게 한다.
이러한 상기 HMD 단말기(20)는 상술한 콘텐츠 중 어느 하나가 선택되면, 상기 제어부(10)의 제어에 따라 상기 선택된 콘텐츠를 사용자에게 제공하도록 구성된다.
상기 콘트롤러(30) 및 핸드 트래킹 단말기(40)는 상기 선택된 콘텐츠에 대한 상기 사용자의 피드백을 입력 받기 위한 구성으로서, 본 발명에 의하면, 상기 콘트롤러(30)는 조이스틱 또는 상호작용을 위해 특별히 제작된 도구로 사용자가 손에 쥐고 버튼을 누르거나 움직여서 XR 방식의 상호반응형 인지기능 콘텐츠의 오브젝트와 상호작용하는 방식으로, 콘트롤러(30)에서 감지되는 값을 수신하는 수신부와 콘트롤러(30)의 위치를 인식하기 위한 모션캡쳐 센서 및 이를 처리하기 위한 모듈로 구성될 수 있다.
또한, 상기 핸드 트래킹 단말기(40)는 사용자의 손 위치 감지를 위한 깊이측정센서를 포함하는 것이 바람직하고, 가상현실에서의 중심좌표를 기준으로 상호작용 가능한 오브젝트의 좌표를 결정하며, 상기 깊이측정센서를 통해 획득된 사용자의 손 위치를 토대로, 사용자의 손의 궤적 정보를 검출한다.
좀 더 구체적으로, 상기 핸드 트래킹 단말기(40)를 구현하기 위한 트래킹 시스템은 도 2를 참조하여, 메인 시스템(100), 센서 시스템(200) 및 라우터(300)로 이루어질 수 있다.
상기 메인 시스템(100)은 로컬 네트워크에 구성되며, 라우터(300)를 통해 센서 시스템(200)과 네트워크 연결된다.
이러한 메인 시스템(100)은 도 4에 나타낸 바와 같이, 상기 센서 시스템(200)과 네트워크 연결되어, 센서 시스템(200)에서 송신된 핸드트래킹 정보(210)를 수신하며, 수신한 핸드트래킹 정보(210)를 보정하고, 보정한 핸드트래킹 정보(210)를 가상현실에 전달한다.
특히, 상기 메인 시스템(100)은 도 5에 도시된 정보처리부(120)가 구비되어, 센서 시스템(200)으로부터 수신한 핸드트래킹 정보(210)에 네트워크 시간 오차, 센서의 위치, 방향 및 유효성 값(w)을 반영하여 보정한 후에 가상현실에 전달한다.
이때, 네트워크 시간 오차라 함은 메인 시스템(100)(바람직하게는, 정보처리부(120))이 다중 구성되는 센서 시스템(200)로부터 수신한 제1 핸드트래킹 정보(110)를 시간순으로 정렬한 것과, 다중 구성되는 센서 시스템(200)의 핸드트래킹 정보(210)의 시간 순서가 다른 것을 의미한다.
또한, 센서의 위치, 방향이라 함은 센서 시스템(200)의 다중 센서 중 적어도 하나의 센서를 기준 센서로 설정하고, 남은 다른 센서들의 x,y,z 좌표를 의미한다.
상기 다중 센서의 위치 및 방향은 한 번의 과정을 통해 산출되는 것은 아니며, 상기 과정을 반복한다음 산출되는 센서 각각의 위치 및 방향 평균값을 의미한다.
그리고 유효성 값(w)이라 함은 센서 시스템(200)의 센서마다 위치 및 방향이 달라 동일한 핸드트래킹 정보를 산출할 수 없기 때문에 발생하는 오류와, 위치 및 방향이 다름에 따라 센서마다 다르게 감지되는 사용자의 손 면적에 따른 오류를 제거하기 위해, 핸드트래킹 정보마다 센서의 방향과 사용자 손바닥의 방향을 반영하여 유효한 핸드트래킹 정보를 확정하는 값을 의미한다.
또한, 메인 시스템(100)은 센서 시스템(200)에서 송신한 상태 정보인 센서시스템 정보(220)를 수신한다. 이를 통해, 메인 시스템(100)은 센서 시스템(200)의 상태를 판단할 수 있게 된다.
더 나아가, 메인 시스템(100)은 센서 시스템(200)으로부터 수신하는 패킷을 처리할 수 있는 최소한의 처리속도를 가진다.
상기 센서 시스템(200)은 로컬 네트워크에 구성되며, 라우터(300)를 통해 센서 시스템(200)과 네트워크 연결된다. 이러한 센서 시스템(200)은 다중으로 구성되며, 센서가 각각 구비된다. 구체적인 일 예를 들면, 도 3을 함께 참조하여, 제1 센서 시스템(200-1)은 제1 센서(201), 제2 센서 시스템(200-2)은 제2 센서(203), 제3 센서 시스템(200-3)은 제3 센서(205), 그리고 제N 센서 시스템(200-n)은 제n 센서(미도시)가 구비된다. 여기서, 제1 센서(201)과 제2 센서(203), 제3 센서(205), 제n 센서(미도시)는 서로 다른 x,y,z 좌표를 가지며, 서로 다른 방향을 향하게 설치된다.
여기서, 센서 시스템(200)은 센서를 통해 사용자 손 및 손가락의 위치, 움직임, 방향을 캡쳐하여 획득한 핸드트래킹 정보(210)를 메인 시스템(100)에 송신한다.
또한, 센서 시스템(200)은 상태 변화가 발생될 때마다, 센서시스템 정보(220)를 메인 시스템(100)에 송신한다.
더 나아가, 센서 시스템(200)은 핸드트래킹 정보(210)를 초당 30개 이상 처리하여 메인 시스템(100)에 송신할 수 있다. 이는, 핸드트래킹 정보(210)의 실시간 처리에 필요한 최소 요구사항이다.
상기 라우터(300)는 라우팅 기능을 갖는 공유기로 대체 가능하며, 메인 시스템(100)과 센서 시스템(200) 간의 네트워크 연결을 중계한다. 이러한 라우터(300)는 패킷(핸드트래킹 정보(210), 센서시스템 정보(220))의 위치를 추출하여, 그 위치에 대한 최적의 경로를 지정하고, 상기 최적의 경로를 따라 핸드트래킹 정보(210) 및 센서시스템 정보(220)가 전송되도록 중계한다.
본 발명의 바람직한 실시예에 따르면, 상기 제어부(10)는 상술한 콘트롤러(30) 및 핸드 트래킹 단말기(40) 중 적어도 하나를 통해 입력되는 상기 사용자의 입력정보에 따라 상기 사용자의 인지기능을 평가하고, 상기 평가된 인지기능 점수 및 상기 사용자의 신체정보를 미리 학습된 딥러닝 모델에 적용하여, 질병 및 상기 질병 상태 예측을 포함하는 제 1 정보를 도출하도록 구성될 수 있다.
또한, 상기 콘텐츠는 미리 지정된 복수의 인지기능 요소 각각이 적어도 1회 이상 노출되도록 구성되는 것이 바람직하고, 상기 제어부(10)는 상기 선택된 콘텐츠가 적어도 2회 이상 반복된 결과를 기초로 상기 사용자의 인지기능을 평가하도록 구성되는 것이 바람직하다.
이때, 상기 미리 지정된 복수의 인지기능 요소는 기억력 요소, 집중력 요소 및 판단력 요소를 포함하고, 상기 사용자의 입력정보는 사용자의 반응시간, 문제에 대한 정답율 및 상기 콘트롤러(30) 및 핸드 트래킹 단말기(40) 중 적어도 하나를 통해 획득된 상기 사용자의 손의 궤적 정보, 손의 가속도, 외부기기로부터 획득된 뇌파 데이터를 포함할 수 있다.
즉, 상기 제어부(10)는 외부기기로부터 획득된 상기 사용자의 뇌파 데이터를 추가적으로 활용하여 상기 사용자의 인지기능을 보다 정확하고 효용성있게 평가할 수 있게 된다.
더불어, 상기 사용자는 복수인 것이 바람직하고, 상기 미리 학습된 딥러닝 모델은 상기 복수의 사용자로부터 획득한 평가된 인지기능 점수 및 신체정보를 누적하여 추가 학습할 수 있다.
나아가, 도 8을 참조하여, 본 발명에 따른 상기 HMD 단말기(20)에서는 상기 선택을 유도하는 콘텐츠 출력이 추가되고, 상기 콘텐츠는 복수의 선택지를 제시하고 적어도 하나의 정답을 선택하는 콘텐츠 및 계산하는 콘텐츠 중 적어도 하나를 포함하며, 상기 평가된 인지기능 점수 및 상기 사용자의 신체정보 중 적어도 하나를 기초로 상기 선택된 콘텐츠의 난이도가 변경될 수 있다.
또한, 상기 선택된 콘텐츠의 난이도는 상기 선택하는 정답의 수 증가, 상기 복수의 선택지의 수 증가 및 계산 방식은 동일하게 적용되면서 상기 계산의 단위가 증가하는 방법 중 적어도 하나를 통해 높아지고, 상기 난이도가 증가함에 따라 상기 HMD 단말기(20)에서 출력되는 상기 선택을 유도하는 콘텐츠 출력이 축소 또는 생략될 수 있다.
예컨대, 도 9는 사용자의 문제 수행력에 따른 난이도 조정을 나타낸 순서도로서, 도 9를 참조하면, 상기 콘텐츠에 제공되는 다수의 미션 m개 중에서 하나의 미션을 수행한다고 가정하고, 이때 각 체험 미션에는 n개의 난이도로 구분되는 섹션이 있다고 가정한다. 이때, 각 단계는 난이도가 낮은 미션 체험 단계(낮은 레벨) 혹은 난이도가 높은 체험 단계(높은 레벨)로 난이도를 변경하기 위한 다음과 같은 조건을 포함하고 있다.
가령, 현재의 난이도를 X라 할 때, 난이도를 하향시키기 위한 최소한의 오답 선택 횟수(a), 난이도를 상향시키기 위한 최소한의 정답 선택 횟수(b), 사용자가 오답을 선택한 횟수(c), 사용자가 정답을 선택한 횟수(d)로 구성될 수 있다.
이때, 상기 문제 수행력이란, 사용자가 오답을 선택한 횟수(c), 사용자가 정답을 선택한 횟수(d)를 분석하여 현재 미션에 설정된 x단계의 난이도가 사용자에게 적합한 수준의 난이도인지 판별하는 작업을 말한다.
먼저, 미션을 시작하면, 설정된 난이도(x)를 통해 a, b가 설정되고, 현재 미션에 누적된 c는 0이 되고, 미션의 난이도가 조정되면 현재 미션에 누적된 d는 0이 된다. 이때, 각 미션은 각각의 d 값을 저장하고 있다.
이어, 사용자가 수행된 미션에 대한 문제 수행력을 판단하면, 난이도를 하향 또는 상향 조정하게 되는데, 가령, 사용자가 오답을 선택하면 c는 증가하고, 현재 수행 중인 미션에서 c가 a 이상일 경우, c가 1 이상일 경우 c를 감소시킨다. 이때, c가 0이하일 때 난이도가 하향된다.
반면, 사용자가 정답을 선택하면 d는 증가한다. 이때, d가 b 이상일 경우 난이도가 상향된다.
또한, 각 미션에서 준비된 1~n개의 난이도에서, 난이도를 상향시키기 위한 최소한의 정답 선택 횟수(b)를 설정하는 공식은 하기의 수학식 1 및 도 10과 같다.
[수학식 1]
여기서, 각각 x 는 1~n 사이의 입력 난이도, b 는 x단계 난이도에서 난이도 상향이 필요한 최소한의 정답 선택 횟수, e(상수)는 현재 미션의 가장 낮은 난이도(1)에서 난이도 상향에 필요한 정답 선택 횟수, f(상수)는 현재 미션의 가장 높은 난이도(n)에서 난이도 상향에 필요한 정답 선택 횟수, n(상수)는 총 난이도 단계의 개수를 말한다. 이때, b는 소수 첫째 자리에서 반올림한 정수의 절대값이다.
도 10은 도 9의 난이도 조정에서 난이도 상향 추이를 나타낸 그래프로, 도 10을 참조하면, 예를 들어, 현재 체험단계에서 총 난이도의 개수(n)가 5이며, 가장 낮은 난이도(x=1)에서는 정답 선택 회수(d)가 1회(e) 이상 누적되면 난이도가 상향된다. 현재 체험단계에서 가장 높은 난이도(x=5)에서는 정답 선택 횟수(d)가 3회(f)이상 누적되면 난이도가 상향될 수 있다. 이때, 현재 난이도의 단계(x)가 3일 때에는 상기 수학식 1에 따라 난이도 상향에 필요한 최소한의 정답 선택 회수(b)는 2가 된다. 그러므로 사용자는 정답 선택 횟수(d)가 2회(b)이상 누적되어야 난이도가 상향된다. 또한, 가장 높은 난이도(n)에서는 난이도 상향 조건을 충족할지라도 난이도가 높아지지 않는다. 다만, 해당 미션에서 누적된 정답 선택 횟수(d)와 오답선택회수(c)만 초기화 된다.
또한, 각 미션의 1~n개의 난이도에, 난이도를 하향시키기 위한 최소한의 오답 선택 횟수(a) 를 설정하는 공식은 하기의 수학식 2 및 도 11과 같다.
[수학식 2]
여기서, x 는 1~n 사이의 입력 난이도, a는 x단계 난이도에서 난이도 하향 필요한 최소한의 오답 선택 횟수, g(상수)는 현재 미션의 가장 낮은 난이도(1)에서 난이도 하향에 필요한 오답 선택 횟수, h(상수)는 현재 체험단계의 가장 높은 난이도(n)에서 난이도 하향에 필요한 오답 선택 횟수, n(상수)는 총 난이도 단계의 개수를 말한다. 이때, a는 소수 첫째 자리에서 반올림한 정수의 절대값이다.
도 11은 도 9의 난이도 조정에서 난이도 하향 추이를 나타낸 그래프로, 도 11을 참조하면, 예를 들어, 현재 체험단계에서 총 난이도의 개수(n)가 5이며, 현재 체험단계에서 가장 낮은 난이도(x=1)에서는 오답 선택 횟수(c)가 3회(g)이상 누적되면 해당 미션의 정답 선택횟수(d)를 하나 줄이거나 정답 선택 횟수(d)r가 O이라면 난이도가 하향된다. 또한, 현재 체험단계에서 가장 높은 난이도(x=5)에서는 오답 선택 횟수(c)가 1회(h) 이상 누적되면 해당 미션의 정답 선택 횟수(d)를하나 줄이거나 정답 선택 횟수(d)가 0이라면 난이도가 하향된다고 가정한다. 이때, 현재 난이도의 단계(x)가 3일 때는 위 공식에 따라 난이도 하향에 필요한 최소한 오답 선택 횟수(a)는 2가 된다. 그러므로 사용자는 오답 선택 횟수(c)가 2회(a) 이상 누적되면 해당 미션의 정답 선택 횟수(d)를 하나 줄이거나 정답 선택 횟수(d)가 0이라면 난이도가 하향된다. 또한, 가장 낮은 난이도(1)에서는 난이도 하향 조건을 충족할지라도 난이도가 낮아지지 않는다. 다만, 해당 미션에서 누적된 정답선택횟수(d)와 오답선택횟수(c)만 초기화 된다.
이하에서, 도 12 내지 도 54를 참조하여, 미션 '김밥 만들기'를 예를 들어 도 9 내지 도 11에서의 난이도 조정을 보다 자세히 설명한다.
예를 들어, 미션은 시장 안에서 김밥 만들기를 체험한다. 이어, 미션을 시작하면 손님들이 오기 시작한다.
이때, '기본 김밥'은 모든 재료를 하나씩 넣은 김밥이다. 각기 사람들은 '기본 김밥' 외에 다른 주문을 요구할 수도 있다. 예를 들어, '기본 김밥'은 나열된 모든 재료(선택지)를 하나씩 넣어야 하며, 손님에 따라 시금치를 빼달라던지, 햄을 하나 더 넣어달라든지 등의 주문이 들어올 수 있다.
또한, '김밥 만들기' 미션을 수행한 결과에서, 만족한 손님의 수가 과반수 이상이어야 '정답 선택'으로 인정되어 정답을 선택한 횟수(d)를 누적시키며, 반대로 만족한 손님의 수가 과반수 미만일 경우 오답을 선택한 횟수(c)를 누적시킨다.
이때, '김밥 만들기' 미션에서 준비된 가장 높은 난이도(n)은 5로 가정한다.
또한, 콘텐트 상수 값 설정을 살펴보면 다음과 같다.
- 현재 미션의 가장 낮은 난이도(1)에서, 난이도 상향에 필요한 정답 선택 횟수(e)는 1로 가정한다.
- 현재 미션의 가장 높은 난이도(5)에서, 난이도 상향에 필요한 정답 선택 횟수(f)는 3으로 가정한다. 다만, 가장 높은 난이도에서 난이도 상향 조건을 충족하더라도 실제 난이도 상향이 되지 않고, 누적된 정답 선택횟수(d)와 오답 선택횟수(c)만 초기화 된다.
- 현재 미션의 가장 낮은 난이도(1)에서, 난이도 하향에 필요한 오답 선택 횟수(g)는 3으로 가정한다. 다만, 가장 낮은 난이도에서 난이도 하향 조건을 충족하더라도 실제 난이도 하향이 되지 않고, 누적된 정답 선택횟수(d)와 오답 선택횟수(c)만 초기화 된다.
- 현재 미션의 가장 높은 난이도(5)에서, 난이도 하향에 필요한 오답 선택 횟수(h)는 1로 가정한다.
도 12 내지 도 30은 난이도 상향이 필요한 '사용자 A'의 예시를 보여준다.
도 12 내지 도 30을 참조하면, 현재 난이도(x) 3에서, 해당 미션을 수행한 결과에서 만족한 손님의 수가 과반수 이상이므로 해당 미션을 '정답'처리하고, 사용자가 정답을 선택한 횟수(d)는 1회 누적시킨다. d가 b이상이면 난이도를 상향 조정하여 다음 미션 수행에서 현재 난이도(x)를 3에서 4인 미션으로 난이도를 상향 조정한다.
도 31 내지 도 54는 난이도 하향이 필요한 '사용자 B'의 예시를 보여준다.
도 31 내지 도 54를 참조하면, 현재 난이도(x) 5에서, 해당 미션을 수행한 결과에서 만족한 손님의 수가 과반수 미만이므로 '오답'처리하고, 사용자가 오답을 선택한 횟수(c)는 1회 누적되어, c가 a이상이면 정답 선택횟수(d)를 감소시키거나 d가 0이하이면 난이도를 하향 조정하여 다음 미션 수행에서 현재 난이도(x)를 5에서 4인 미션으로 난이도를 하향 조정한다.
한편, 사용자 개인의 인지기능에 따라 맞춤형 인지기능 훈련이 가능하도록 보다 개인화된 평가 시스템을 위한 본 발명의 다른 실시예에 따르면, 상기 콘텐츠는 상기 미리 지정된 복수의 인지기능 요소 중 둘 이상이 복합적으로 적용된 미션을 무작위 또는 미리 설정된 순서에 따라 특정 시간 동안 반복 수행하도록 구성될 수 있다.
여기서, 상기 제어부(10)는 상기 미션 수행 시에 발생된 상기 사용자의 입력정보(반응시간, 정답율, 손의 궤적 정보, 손의 가속도, 뇌파 데이터) 중 둘 이상을 조합하여 인지기능을 점수화(평가)하고, 이때, 상기 입력정보 및 인지기능 점수는 사용자별로 구분되어 별도의 구동장치 또는 서버에 기록되는 것이 바람직하다.
상기 제어부(10)는 상기 구동장치 또는 서버에 상기 사용자의 제1 정보 및 신체정보가 기존재할 경우, 이를 상기 인지기능 점수와 함께 딥러닝 모델에 적용하여, 사용자의 인지기능 수준에 맞는 난이도가 적용된 콘텐츠를 제공할 수 있다.
또한, 상기 제어부(10)는 상술한 딥러닝 모델의 학습 데이터가 부족하여 적용이 어려운 경우, 상기 입력정보, 제1 정보, 신체정보를 딥러닝 학습 모델로 사용하고, 상기 미션의 연속 정답율에 따라 난이도를 적용할 수도 있다.
이때, 상기 딥러닝 학습은 사용자별 구분없이 하나의 모델로 학습하도록 구성될 수 있다.
나아가, 상기 제어부(10)는 이동 통신망 서버와 연결되어 음성 및 영상 통화 서비스를 지원가능하게 구성될 수 있으며, 상기 HMD 단말기(20)와의 작용을 통해 사용자(환자) 및 담당 전문의 간 화상 통화를 제공하면서, 이와 동시에 상기 담당 전문의가 이용하는 단말기로 상기 사용자의 입력정보, 인지기능 점수, 신체정보, 제1 정보 중 적어도 하나를 전송하여 전송된 자료(결과 데이터)들을 기반으로 원격 진료 수행이 가능해지도록 한다.
인지기능 평가 방법
다음으로, 상술한 바와 같이 구성된 혼합현실 기반의 인지기능 평가 시스템(1)을 이용한 인지기능 평가 방법은 도 6 및 도 7을 참조하여, 콘텐츠 선택단계(S100), 콘텐츠 실행단계(S200), 인지기능 평가단계(S300) 및 제1 정보 도출단계(S400)를 포함하여 구성할 수 있다.
상기 콘텐츠 선택단계(S100)에서는 제어부(10)가 인지기능과 관련된 콘텐츠를 선택하도록 안내한다.
또한, 상기 콘텐츠 선택단계(S100)에서는 상기 선택을 유도하는 콘텐츠 출력이 추가되고, 상기 콘텐츠는 복수의 선택지를 제시하고 적어도 하나의 정답을 선택하는 콘텐츠 및 계산하는 콘텐츠 중 적어도 하나를 포함할 수 있다.
상기 콘텐츠 실행단계(S200)에서는 상기 콘텐츠 중 어느 하나가 선택되면, 상기 제어부(10)가 상기 선택된 콘텐츠를 HMD 단말기(20)를 통해 사용자에게 제공한다.
이때, 상기 콘텐츠 실행단계(S200)에서 상기 콘텐츠는 미리 지정된 복수의 인지기능 요소 각각이 적어도 1회 이상 노출되도록 구성되며, 여기서, 상기 미리 지정된 복수의 인지기능 요소는 기억력 요소, 집중력 요소 및 판단력 요소를 포함할 수 있다.
상기 인지기능 평가단계(S300)에서는 상기 제어부(10)가 콘트롤러(30) 및 핸드 트래킹 단말기(40) 중 적어도 하나를 통해 입력되는 상기 사용자의 입력정보에 따라 상기 사용자의 인지기능을 평가한다.
이때, 상기 인지기능 평가단계(S300)에서 상기 선택된 콘텐츠가 적어도 2회 이상 반복된 결과를 기초로 상기 사용자의 인지기능을 평가할 수 있다.
또한, 상기 인지기능 평가단계(S300)의 상기 사용자의 입력정보는 상기 사용자의 반응시간, 문제에 대한 정답율 및 상기 콘트롤러 및 상기 핸드 트래킹 단말기 중 적어도 하나를 통해 획득된 상기 사용자의 손의 궤적 정보 및 손의 가속도를 포함할 수 있다.
더불어, 상기 인지기능 평가단계(S300)에서는 상기 제어부(10)가 외부기기로부터 획득된 상기 사용자의 뇌파 데이터를 추가적으로 활용하여 상기 사용자의 인지기능을 평가하고, 상기 평가된 인지기능 점수는 상기 복수의 인지기능 요소 각각으로 구분되어 점수화될 수 있다.
여기서, 상기 평가된 인지기능 점수 및 상기 사용자의 신체정보 중 적어도 하나를 기초로 상기 선택된 콘텐츠의 난이도가 변경될 수 있다.
이러한 상기 선택된 콘텐츠의 난이도는 상기 선택하는 정답의 수 증가, 상기 복수의 선택지의 수 증가 및 계산 방식은 동일하게 적용되면서 상기 계산의 단위가 증가하는 방법 중 적어도 하나를 통해 높아질 수 있다.
나아가, 상기 난이도가 증가함에 따라 상기 콘텐츠 선택단계(S100)에서 출력되는 상기 선택을 유도하는 콘텐츠 출력이 축소 또는 생략될 수 있다.
상기 제1 정보 도출단계(S400)에서는 상기 제어부(10)가 상기 평가된 인지기능 점수 및 상기 사용자의 신체정보를 미리 학습된 딥러닝 모델에 적용하여, 질병 및 상기 질병 상태 예측을 포함하는 제 1 정보를 도출한다.
이때, 상기 사용자는 복수인 것이 바람직하고, 상기 미리 학습된 딥러닝 모델은 상기 복수의 사용자로부터 획득한 평가된 인지기능 점수 및 신체정보를 누적하여 추가 학습할 수 있다.
상술한 바와 같이 개시된 본 발명의 바람직한 실시예들에 대한 상세한 설명은 당업자가 본 발명을 구현하고 실시할 수 있도록 제공되었다. 상기에서는 본 발명의 바람직한 실시예들을 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 본 발명의 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다. 예를 들어, 당업자는 상술한 실시예들에 기재된 각 구성을 서로 조합하는 방식으로 이용할 수 있다. 따라서, 본 발명은 여기에 나타난 실시형태들에 제한되려는 것이 아니라, 여기서 개시된 원리들 및 신규한 특징들과 일치하는 최광의 범위를 부여하려는 것이다.
본 발명은 본 발명의 정신 및 필수적 특징을 벗어나지 않는 범위에서 다른 특정한 형태로 구체화될 수 있다. 따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니 되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다. 본 발명은 여기에 나타난 실시형태들에 제한되려는 것이 아니라, 여기서 개시된 원리들 및 신규한 특징들과 일치하는 최광의 범위를 부여하려는 것이다. 또한, 특허청구범위에서 명시적인 인용 관계가 있지 않은 청구항들을 결합하여 실시예를 구성하거나 출원 후의 보정에 의해 새로운 청구항으로 포함할 수 있다.
1 : 혼합현실 기반의 인지기능 평가 시스템
10 : 제어부
20 : HMD 단말기
30 : 콘트롤러
40 : 핸드 트래킹 단말기
100 : 메인 시스템
110 : 제1 핸드트래킹 정보
120 : 정보처리부
200 : 센서 시스템
201 : 제1 센서
203 : 제2 센서
205 : 제3 센서
210 : 센서의 핸드트래킹 정보
220 : 센서 시스템 정보
S100 : 콘텐츠 선택단계
S200 : 콘텐츠 실행단계
S300 : 인지기능 평가단계
S400 : 제1 정보 도출단계
10 : 제어부
20 : HMD 단말기
30 : 콘트롤러
40 : 핸드 트래킹 단말기
100 : 메인 시스템
110 : 제1 핸드트래킹 정보
120 : 정보처리부
200 : 센서 시스템
201 : 제1 센서
203 : 제2 센서
205 : 제3 센서
210 : 센서의 핸드트래킹 정보
220 : 센서 시스템 정보
S100 : 콘텐츠 선택단계
S200 : 콘텐츠 실행단계
S300 : 인지기능 평가단계
S400 : 제1 정보 도출단계
Claims (12)
- 제어부가 인지기능과 관련된 콘텐츠를 선택하도록 안내하는 제 1 단계;
상기 콘텐츠 중 어느 하나가 선택되면, 상기 제어부가 상기 선택된 콘텐츠를 HMD 단말기를 통해 사용자에게 제공하는 제 2 단계;
상기 제어부가 콘트롤러 및 핸드 트래킹 단말기 중 적어도 하나를 통해 입력되는 상기 사용자의 입력정보에 따라 상기 사용자의 인지기능을 평가하는 제 3 단계; 및
상기 제어부가 상기 평가된 인지기능 점수 및 상기 사용자의 신체정보를 미리 학습된 딥러닝 모델에 적용하여, 질병 및 상기 질병 상태 예측을 포함하는 제 1 정보를 도출하는 제 4 단계; 를 포함하고,
상기 제 2 단계에서 상기 콘텐츠는, 미리 지정된 복수의 인지기능 요소 각각이 적어도 1회 이상 노출되도록 구성되며,
상기 제 3 단계에서 상기 선택된 콘텐츠가 적어도 2회 이상 반복된 결과를 기초로 상기 사용자의 인지기능을 평가하고,
상기 미리 지정된 복수의 인지기능 요소는, 기억력 요소, 집중력 요소 및 판단력 요소를 포함하며,
상기 제 3 단계의 상기 사용자의 입력정보는, 상기 사용자의 반응시간, 문제에 대한 정답율 및 상기 콘트롤러 및 상기 핸드 트래킹 단말기 중 적어도 하나를 통해 획득된 상기 사용자의 손의 궤적 정보를 포함하는 방법.
- 삭제
- 제 1 항에 있어서,
상기 제 3 단계에서, 외부기기로부터 획득된 상기 사용자의 뇌파 데이터를 추가적으로 활용하여 상기 사용자의 인지기능을 평가하고,
상기 평가된 인지기능 점수는, 상기 복수의 인지기능 요소 각각으로 구분되어 점수화되는 방법.
- 제 1 항에 있어서,
상기 사용자는 복수이고,
상기 미리 학습된 딥러닝 모델은, 상기 복수의 사용자로부터 획득한 평가된 인지기능 점수 및 신체정보를 누적하여 추가 학습하는 방법.
- 제 1 항에 있어서,
상기 제 1 단계에서는 상기 선택을 유도하는 콘텐츠 출력이 추가되고,
상기 콘텐츠는,
복수의 선택지를 제시하고 적어도 하나의 정답을 선택하는 콘텐츠 및 계산하는 콘텐츠 중 적어도 하나를 포함하는 방법.
- 제 5 항에 있어서,
상기 평가된 인지기능 점수 및 상기 사용자의 신체정보 중 적어도 하나를 기초로 상기 선택된 콘텐츠의 난이도가 변경되는 방법.
- 제 6 항에 있어서,
상기 선택된 콘텐츠의 난이도는,
상기 선택하는 정답의 수 증가, 상기 복수의 선택지의 수 증가 및 계산 방식은 동일하게 적용되면서 상기 계산의 단위가 증가하는 방법 중 적어도 하나를 통해 높아지는 방법.
- 제 6 항에 있어서,
상기 난이도가 증가함에 따라 상기 제 1 단계에서 출력되는 상기 선택을 유도하는 콘텐츠 출력이 축소 또는 생략되는 방법.
- 인지기능과 관련된 콘텐츠를 선택하도록 안내하는 제어부;
상기 콘텐츠 중 어느 하나가 선택되면, 상기 제어부의 제어에 따라 상기 선택된 콘텐츠를 사용자에게 제공하는 HMD 단말기; 및
상기 선택된 콘텐츠에 대한 상기 사용자의 피드백을 입력 받기 위한 콘트롤러와 핸드 트래킹 단말기;를 포함하고,
상기 제어부는,
상기 콘트롤러 및 핸드 트래킹 단말기 중 적어도 하나를 통해 입력되는 상기 사용자의 입력정보에 따라 상기 사용자의 인지기능을 평가하고,
상기 평가된 인지기능 점수 및 상기 사용자의 신체정보를 미리 학습된 딥러닝 모델에 적용하여, 질병 및 상기 질병 상태 예측을 포함하는 제 1 정보를 도출하며,
상기 콘텐츠는, 미리 지정된 복수의 인지기능 요소 각각이 적어도 1회 이상 노출되도록 구성되고,
상기 제어부는, 상기 선택된 콘텐츠가 적어도 2회 이상 반복된 결과를 기초로 상기 사용자의 인지기능을 평가하며,
상기 미리 지정된 복수의 인지기능 요소는, 기억력 요소, 집중력 요소 및 판단력 요소를 포함하고,
상기 사용자의 입력정보는, 상기 사용자의 반응시간, 문제에 대한 정답율 및 상기 콘트롤러 및 상기 핸드 트래킹 단말기 중 적어도 하나를 통해 획득된 상기 사용자의 손의 궤적 정보를 포함하며,
상기 사용자는 복수이고,
상기 미리 학습된 딥러닝 모델은, 상기 복수의 사용자로부터 획득한 평가된 인지기능 점수 및 신체정보를 누적하여 추가 학습하는 시스템.
- 삭제
- 제 9 항에 있어서,
상기 HMD 단말기에서는 상기 선택을 유도하는 콘텐츠 출력이 추가되고,
상기 콘텐츠는 복수의 선택지를 제시하고 적어도 하나의 정답을 선택하는 콘텐츠 및 계산하는 콘텐츠 중 적어도 하나를 포함하며,
상기 평가된 인지기능 점수 및 상기 사용자의 신체정보 중 적어도 하나를 기초로 상기 선택된 콘텐츠의 난이도가 변경되는 시스템.
- 제 11 항에 있어서,
상기 선택된 콘텐츠의 난이도는,
상기 선택하는 정답의 수 증가, 상기 복수의 선택지의 수 증가 및 계산 방식은 동일하게 적용되면서 상기 계산의 단위가 증가하는 방법 중 적어도 하나를 통해 높아지고,
상기 난이도가 증가함에 따라 상기 HMD 단말기에서 출력되는 상기 선택을 유도하는 콘텐츠 출력이 축소 또는 생략되는 시스템.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020230085659A KR102611969B1 (ko) | 2023-07-03 | 2023-07-03 | 혼합현실 기반의 인지기능 평가 시스템 및 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020230085659A KR102611969B1 (ko) | 2023-07-03 | 2023-07-03 | 혼합현실 기반의 인지기능 평가 시스템 및 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102611969B1 true KR102611969B1 (ko) | 2023-12-11 |
Family
ID=89162938
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020230085659A KR102611969B1 (ko) | 2023-07-03 | 2023-07-03 | 혼합현실 기반의 인지기능 평가 시스템 및 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102611969B1 (ko) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101881986B1 (ko) | 2016-11-29 | 2018-07-26 | 주식회사 에스와이이노테크 | 경도인지장애 노인의 인지능력 향상을 위한 vr 인지재활훈련 시스템 및 방법 |
| KR20220014307A (ko) * | 2020-07-28 | 2022-02-04 | 재단법인 아산사회복지재단 | 가상 현실 기반 중추신경계 탈수초 질환 환자의 뇌 훈련 장치, 방법 및 시스템 |
| KR20220056652A (ko) * | 2020-10-28 | 2022-05-06 | 주식회사 지엘 | 인지기능 재활훈련 시스템 및 그에 따른 방법 |
-
2023
- 2023-07-03 KR KR1020230085659A patent/KR102611969B1/ko active IP Right Grant
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101881986B1 (ko) | 2016-11-29 | 2018-07-26 | 주식회사 에스와이이노테크 | 경도인지장애 노인의 인지능력 향상을 위한 vr 인지재활훈련 시스템 및 방법 |
| KR20220014307A (ko) * | 2020-07-28 | 2022-02-04 | 재단법인 아산사회복지재단 | 가상 현실 기반 중추신경계 탈수초 질환 환자의 뇌 훈련 장치, 방법 및 시스템 |
| KR20220056652A (ko) * | 2020-10-28 | 2022-05-06 | 주식회사 지엘 | 인지기능 재활훈련 시스템 및 그에 따른 방법 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20190282154A1 (en) | Human-digital media interaction tracking | |
| Bishop et al. | Psychosocial adaptation and quality of life in multiple sclerosis: assessment of the disability centrality model. | |
| WO2017181278A1 (en) | Apparatus and methodologies for personal health analysis | |
| ES2333104T3 (es) | Metodo y aparato para obtener realimentacion auditiva y gestual en un sistema de recomendacion. | |
| JP7048695B2 (ja) | ユーザの知識および活動に基づいて健康判定サービスを提供するためのシステムおよび方法 | |
| US20200237302A1 (en) | Device, method and application for establishing a current load level | |
| KR102324431B1 (ko) | 뇌파신호를 센싱하는 헤드폰겸용 호흡명상유도장치 및 그 장치를 이용하여 뇌파신호를 표시 및 저장하는 호흡명상유도시스템 | |
| KR101967342B1 (ko) | 웨어러블 기기 기반 운동 가이드 시스템 | |
| US20200242957A1 (en) | Multi-level executive functioning tasks | |
| US20200104935A1 (en) | Systems and methods for wealth and health planning | |
| US20150170538A1 (en) | System and method for adapting the delivery of information to patients | |
| US20220104755A1 (en) | Digital biomarker | |
| EP3944249A1 (en) | Intoxication degree determination system, intoxication degree determination method, and intoxication degree determination program | |
| KR102611969B1 (ko) | 혼합현실 기반의 인지기능 평가 시스템 및 방법 | |
| KR102482933B1 (ko) | 운동·인지 이중 과제 훈련 및 속도-정확도 관계 평가 시스템 및 장치 | |
| KR102667890B1 (ko) | 혼합현실 기반의 인지기능 트레이닝 시스템 및 이를 이용한 인지기능 트레이닝 방법 | |
| CN107516003A (zh) | 动态问卷调查方法 | |
| EP2568402A1 (en) | An analysis system for performing an analysis of measured blood glucose values and a method for using the analyzing system | |
| JP2018503187A (ja) | 被験者とのインタラクションのスケジューリング | |
| JP4456416B2 (ja) | 運動指導支援システム | |
| CN114052736B (zh) | 认知功能的评估系统和方法 | |
| US20190272516A1 (en) | Participative Health Kiosk | |
| KR20200031383A (ko) | 식생활습관과 건강상태 자가진단 체크 시스템 및 이를 이용한 맞춤형 건강정보 제공방법 | |
| WO2023090103A1 (ja) | 情報処理装置および情報処理方法 | |
| KR102616791B1 (ko) | 빅데이터와 카메라 필터기능을 활용한 자가시력진단 시스템 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |