KR20190036038A - 신경질환 진단용 가상현실 장치, 시스템 및 제공방법 - Google Patents

신경질환 진단용 가상현실 장치, 시스템 및 제공방법 Download PDF

Info

Publication number
KR20190036038A
KR20190036038A KR1020170124778A KR20170124778A KR20190036038A KR 20190036038 A KR20190036038 A KR 20190036038A KR 1020170124778 A KR1020170124778 A KR 1020170124778A KR 20170124778 A KR20170124778 A KR 20170124778A KR 20190036038 A KR20190036038 A KR 20190036038A
Authority
KR
South Korea
Prior art keywords
image
user
response
virtual reality
question
Prior art date
Application number
KR1020170124778A
Other languages
English (en)
Inventor
나덕렬
김고운
최종두
진주희
이병화
최지현
이혜주
한효빈
Original Assignee
사회복지법인 삼성생명공익재단
한국과학기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 사회복지법인 삼성생명공익재단, 한국과학기술연구원 filed Critical 사회복지법인 삼성생명공익재단
Priority to KR1020170124778A priority Critical patent/KR20190036038A/ko
Priority to US16/131,269 priority patent/US11317849B2/en
Publication of KR20190036038A publication Critical patent/KR20190036038A/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/40—Detecting, measuring or recording for evaluating the nervous system
    • A61B5/4076—Diagnosing or monitoring particular conditions of the nervous system
    • A61B5/4088—Diagnosing of monitoring cognitive diseases, e.g. Alzheimer, prion diseases or dementia
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/40—Detecting, measuring or recording for evaluating the nervous system
    • A61B5/4076—Diagnosing or monitoring particular conditions of the nervous system
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/7475—User input or interface means, e.g. keyboard, pointing device, joystick
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B23/00—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes
    • G09B23/28—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B7/00—Electrically-operated teaching apparatus or devices working with questions and answers
    • G09B7/02—Electrically-operated teaching apparatus or devices working with questions and answers of the type wherein the student is expected to construct an answer to the question which is presented or wherein the machine gives an answer to the question presented by a student
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02—Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0204—Acoustic sensors
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Abstract

본 발명은 신경질환 진단용 가상현실 장치, 시스템 및 제공방법에 관한 것으로, 상기 장치는 사용자에게 영상에 의한 가상현실 환경을 제공하는 디스플레이부; 및 상기 영상에 대한 사용자의 응답을 수신하는 사용자응답수신부;를 포함하고, 상기 영상은 2인 이상의 등장인물이 포함된 소개영상과, 상기 소개영상 이후에 제공되는 것으로 상기 등장인물과 관련된 질문이 포함된 질문영상을 포함하는 것을 특징으로 하여, 사용자의 언어 능력, 시각 능력, 연상 능력을 종합적으로 평가할 수 있는 효과가 있고, 사용자의 학력과 나이에 영향을 받지 않으면서, 보다 더 정확하게 사용자의 신경질환 정도를 파악할 수 있는 것이다.

Description

신경질환 진단용 가상현실 장치, 시스템 및 제공방법{VIRTUAL REALITY DEVICE FOR DIAGNOSIS OF NERVE DISPRDER, SYSTEM AND METHOD FOR THEREOF}
본 발명은 가상현실(Virtual Reality : VR)을 이용하여 신경질환을 진단하는 장치 및 방법에 대한 것으로, 특히 사용자의 언어 능력, 시각 능력, 연상 능력을 종합적으로 평가할 수 있고, 사용자의 학력과 나이에 영향을 받지 않으면서, 보다 더 정확하게 사용자의 신경질환 정도를 파악할 수 있는 신경질환 진단용 가상현실 장치, 시스템 및 제공방법에 대한 것이다.
전 세계적으로 고령화가 급속히 진행 중에 있으며, 이와 함께 치매 환자도 급격히 증가하고 있다. 따라서 치매환자를 관리하고 치료하기 위한 경제적 비용이 증가하고 있다. 최근, 치매증상이 나타나는 것을 지연하고 개선할 수 있는 치료약들이 개발되고 있으며, 더욱 효능이 개선된 치료약들을 개발하기 위한 투자와 노력이 계속되고 있다. 그러나 상기 치료약은 치매의 초기 단계에 사용해야 효능이 있기 때문에 치매의 조기 진단과 조기 치료가 중요하다.
치매를 진단하기 위한 기존의 방법으로는, MRI 장비 등을 이용해 뇌영상을 촬영하여 치매 진행 정도를 진단하는 방법, 치매 환자로부터 추출한 혈액이나 뇌척수액을 분석 하여 치매 진행 정도를 진단하는 바이오마커(Bio-marker) 방법, 또는 뇌파(EEG 또는 MEG)를 측정하여 치매를 진단 하는 방법 등이 존재한다. 그러나, 이러한 방법들은 고가의 장비를 사용함으로써 비용 부담이 증가하고, 환자의 혈액이나 뇌척수액을 추출해야 하기 때문에 환자의 고통이 수반된다.
한편에서는, 치매를 진단하기 위해 심리학적인 문진을 통한 치매 진단 방법이 일반적으로 행하여지고 있다. 그러나 심리학적인 문진을 통한 치매 진단 방법은 진료실 환경에서 장시간 문진이 필요하므로, 환자에게 정신적인 압박이나 스트레스를 줄 수 있고, 이는 테스트의 정확도 저하를 초래할 수 있다. 또한, 문진 검사는 서면에 의해 이루어지기 때문에 길고 딱딱한 검사여서 환자들이 당황할 뿐만 아니라, 테스트 동기(motivation)가 약하기 때문에 끝까지 수행하기가 어렵고, 지필검사는 학력에 의해 많은 영향을 받는다.
이에 따라, 치매 환자가 일상생활에서 겪는 인지 수행과정을 반영할 수 있는 테스가 필요한 실정이다.
본 발명은 상기와 같은 문제점을 해결하기 위한 것으로, 사용자의 언어 능력, 시각 능력, 연상 능력을 실제 일상생활을 기반으로 종합적으로 평가할 수 있는 신경질환 진단용 가상현실 장치, 시스템 및 제공방법을 제공하는 것이 목적이다.
또한, 본 발명은 기존의 언어기억검사(Seoul Verbal Learning Test : SVLT)와 유의한 상관관계를 가질 뿐만 아니라, 기존의 간이정신상태검사(Mini Mental State Examination : MMSE)와는 다르게 사용자의 학력과 나이에 영향을 받지 않고, 베타아밀로이드의 양성/음성에 따른 차이도 구분할 수 있으며, 이를 통해 기존보다 더 정확하게 사용자의 신경질환 정도를 파악하기 위한 것이다.
본 발명의 바람직한 일 실시예에 따른 신경질환 진단용 가상현실 장치는, 사용자에게 영상에 의한 가상현실 환경을 제공하는 디스플레이부; 및 상기 영상에 대한 사용자의 응답을 수신하는 사용자응답수신부;를 포함하고, 상기 영상은 2인 이상의 등장인물이 포함된 소개영상과, 상기 소개영상 이후에 제공되는 것으로 상기 등장인물과 관련된 질문이 포함된 질문영상을 포함하는 것이다.
여기서, 상기 디스플레이부는, 가상현실 환경을 제공하는 디스플레이를 포함하는 헤드마운트디스플레이(Head Mounted Display : HMD)인 것이 가능하다.
그리고, 상기 사용자응답수신부는 상기 질문영상에 대한 사용자의 응답을 수신하는 버튼부를 포함하는 컨트롤러일 수 있다.
또한, 본 발명은 상기 사용자응답수신부에 의해 수신된 사용자의 응답을 분석하고, 상기 분석한 사용자의 응답에 따라 상기 사용자를 구분하는 사용자응답분석부;를 더 포함하는 것이 가능하다.
또한, 상기 소개영상은 360도 카메라에 의해 촬영된 것이 바람직하다.
또한, 상기 소개영상은 1명 이상의 주인공과 2명 이상의 축하인물이 포함된 생일파티 영상인 것이 가능하고, 바람직하게는 테이블에 앉아 있는 1명의 주인공을 중심으로 6명의 축하인물이 포함된 생일파티 영상인 것이 적합하다.
또한, 상기 소개영상은 상기 축하인물이 순서대로 자신의 이름, 직업, 취미, 주인공과의 관계, 선물 및 지역으로 이루어진 군에서 선택된 하나 이상을 소개하는 내용을 포함하는 것일 수 있다.
또한, 상기 소개영상에서 축하인물은 서로 다른 성별, 연령, 악세사리 및 옷 색상으로 이루어진 군에서 선택된 하나 이상을 갖는 것이 바람직하다.
또한, 상기 질문영상은 상기 소개영상을 회상하도록 하는 회상(recall) 영상, 상기 축하인물의 얼굴에 대한 기억을 테스트하는 인지(recognition) 영상, 및 상기 축하인물의 특징에 대한 기억을 테스트하는 매칭(matching) 영상 중 하나 이상을 포함하는 것이 가능하다.
또한, 상기 질문영상은 상기 회상(recall) 영상, 상기 인지(recognition) 영상 및 상기 매칭(matching) 영상을 순차적으로 포함하는 것이 바람직하다.
또한, 상기 회상(recall) 영상은 상기 축하인물 중 한 사람을 지정하는 이미지 또는 설명과, 상기 지정된 사람의 이름, 직업, 취미, 주인공과의 관계, 선물 및 지역으로 이루어진 군에서 선택된 하나 이상을 질문하는 질문지를 포함하는 것일 수 있다.
또한, 상기 인지(recognition) 영상은 상기 축하인물 중 한 사람의 얼굴 사진과 상기 축하인물에 나오지 않은 사람의 얼굴 사진을 포함하는 것이 바람직하다.
또한, 상기 인지(recognition) 영상은 상기 축하인물 중 한 사람의 얼굴 사진과 상기 축하인물에 나오지 않은 사람의 얼굴 사진을 구분해서 랜덤한 순서로 포함하는 것이 가능하다.
또한, 상기 매칭(matching) 영상은 상기 축하인물 중 한 사람을 지정하는 이미지 또는 설명과, 상기 지정된 사람의 얼굴, 이름, 직업, 취미, 주인공과의 관계, 선물 및 지역으로 이루어진 군에서 선택된 하나 이상을 질문하는 질문지와, 상기 질문에 대응하는 축하인물의 얼굴, 이름, 직업, 취미, 주인공과의 관계, 선물 및 지역으로 이루어진 군에서 선택된 하나 이상의 후보답안을 포함하는 것일 수 있다.
또한, 상기 사용자응답수신부는 수신한 사용자의 응답을 기초로 상기 사용자의 정답률을 점수화하는 것이 바람직하다.
또한, 상기 사용자응답수신부는 상기 점수화한 점수를 기반으로 사용자의 치매 진행 정도를 판단하는 것이 더욱 바람직하다.
한편, 본 발명의 다른 실시형태는, 상기한 가상현실 장치를 포함하며, 상기 가상현실 장치의 사용자응답수신부에 의해 수신된 사용자의 응답을 분석하고, 상기 분석한 사용자의 응답에 따라 상기 사용자를 구분하는 서버;를 더 포함하는 것을 특징으로 하는 신경질환 진단용 가상현실 시스템이다.
이와 함께, 본 발명의 또 다른 실시형태는, 디스플레이를 통해서 사용자에게 영상에 의한 가상현실 환경을 제공하는 단계; 및 상기 영상에 대한 사용자의 응답을 수신하는 단계;를 포함하고, 상기 영상은 2인 이상의 등장인물이 포함된 소개영상과, 상기 소개영상 이후에 제공되는 것으로 상기 등장인물과 관련된 질문이 포함된 질문영상을 포함하는 것을 특징으로 하는 신경질환 진단용 가상현실 제공방법이다.
상기한 본 발명은 사용자에게 영상에 의한 가상현실 환경을 제공하고, 상기 영상은 2인 이상의 등장인물이 포함된 소개영상과, 상기 등장인물에 관련된 질문이 포함된 질문영상을 포함하는 것을 특징으로 하여, 사용자의 언어 능력, 시각 능력, 연상 능력을 실제 일상생활을 기반으로 종합적으로 평가할 수 있는 효과가 있다.
또한, 본 발명에 따른 테스트 결과, 기존의 언어기억검사(Seoul Verbal Learning Test : SVLT)와 유의한 상관관계를 보였을 뿐만 아니라, 기존의 간이정신상태검사(Mini Mental State Examination : MMSE)와는 다르게 사용자의 학력과 나이에 영향을 받지 않았고, 베타아밀로이드의 양성/음성에 따른 차이도 구분할 수 있었으며, 이에 따르면 기존보다 더 정확하게 사용자의 신경질환 정도를 파악할 수 있는 것이다.
도 1은 본 발명에 따른 소개영상을 설명하기 위한 가상현실 영상의 일례를 나타내는 사진이고,
도 2는 본 발명에 따른 질문영상 중 회상(recall) 영상의 일례를 나타내는 사진이고,
도 3은 본 발명에 따른 질문영상 중 인지(recognition) 영상을 설명하기 위한 일례를 나타내는 사진이고,
도 4는 본 발명에 따른 질문영상 중 인지(recognition) 영상의 일례를 나타내는 사진이고,
도 5는 본 발명에 따른 질문영상 중 매칭(matching) 영상을 설명하기 위한 일례를 나타내는 사진이고,
도 6은 본 발명에 따른 질문영상 중 매칭(matching) 영상의 일례를 나타내는 사진이고,
도 7은 본 발명에 따른 질문영상 중 매칭(matching) 영상의 다른 일례를 설명하기 위한 사진이고,
도 8은 본 발명에 따른 질문영상 중 매칭(matching) 영상의 선물 질문지의 일례를 설명하기 위한 사진이고,
도 9는 본 발명에 따른 질문영상 중 매칭(matching) 영상의 악세사리 질문지의 일례를 설명하기 위한 사진이고,
도 10은 본 발명에 따른 질문영상 중 매칭(matching) 영상의 이름, 직업, 취미, 지역, 관계 질문지의 일례를 설명하기 위한 모식도이다.
도 11은 본 발명의 일 실시예에 따른 신경질환 진단용 가상현실 테스트(Social Event Memory Test : SEMT)와 비교예로서 기존의 언어기억검사(Seoul Verbal Learning Test) 및 간이정신상태검사(Mini Mental State Examination : MMSE)의 상관분석 결과(correlation result)를 나타내는 그래프이다.
도 12는 본 발명의 일 실시예에 따른 신경질환 진단용 가상현실 테스트(SEMT) 점수를 이용하여, classifier로 4개의 그룹(SCI, aMCI(-), aMCI(+), AD)이 잘 구분이 되는지를 검증한, PC(principal component) 결과 그래프이다.
도 13은 본 발명의 일 실시예에 따른 신경질환 진단용 가상현실 테스트(SEMT) 점수를 회귀분석법인 로지스틱 회귀분석(Rogistic regression moedel)에 의해 아밀로이드 침착 유무에 따라 0과 1사이의 확률값으로 예측한 결과 그림이다.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 상세한 설명에서 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 상세한 설명에서 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 명세서에서 "신경질환"은 신경퇴행성 장애를 의미하고, 예를 들어 알츠하이머병(AD), 혈관 질환 치매, 전두측두엽 치매(FTD), 피질기저 퇴행(CBD), 진행핵상마비(PSP), 루이소체 치매, 매듭-우세 노인성 치매(tangle-predominant senile dementia), 픽병(Pick'sdisease)(PiD), 호은 과립(argyrophilic grain) 질환, 근위축성 측삭 경화증(ALS), 다른 운동 신경 질환, 괌(Guam) 파킨슨증-치매 복합, FTDP-17, 라이티코-보디그병(Lytico-Bodig disease), 다발성 경화증, 외상성 뇌손상(TBI) 및 파킨슨병으로 구성된 군으로부터 선택된 것이 가능하다. 아래에서는, 알츠하이머성 치매를 예로 들어 설명하지만, 본 발명이 여기에 제한되는 것은 아니다.
본 발명의 바람직한 일 실시예에 따른 신경질환 진단용 가상현실 장치는, 디스플레이부; 및 사용자응답수신부;를 포함한다.
상기 디스플레이부는 사용자에게 영상에 의한 가상현실 환경을 제공하는 것이다. 상기 디스플레이부는, 가상현실 환경을 제공하는 디스플레이를 포함하는 헤드마운트디스플레이(Head Mounted Display : HMD)인 것이 가능하다. 그래서, 본 발명에 따른 가상현실 장치는 사용자의 머리에 착용되어 사용자의 눈 앞에 직접 영상을 표시할 수 있는 디스플레이 장치일 수 있다. 예를 들어, 가상현실 장치는 웨어러블 글래스 또는 헤드 마운트 디스플레이(Head Mount Display, HMD)로 구성될 수 있다. 가상현실 장치는 안경 형태를 가질 수 있으며, 투명한 디스플레이 또는 불투명한 디스플레이를 구비할 수 있다. 이에 따라, 가상현실 장치는 이를 착용한 사용자가 가상 현실 공간에 있는 것으로 인지하게 할 수 있다. 본 발명의 일 실시예에 따르면 가상현실 장치는 사용자에게 가상 현실을 체험시키기 위한 디스플레이뿐만 아니라, 스피커, 마이크, 또는 동작 감지 센서 등을 더 포함할 수 있다.
상기 사용자응답수신부는 상기 디스플레이부에 의해 제공되는 영상에 대한 사용자의 응답을 수신하는 것이다. 상기 영상을 통하여 사용자에게 질문영상이 제공되면, 사용자는 그에 응답을 하고, 상기 응답 신호를 수신하는 것이다. 상기 사용자응답수신부는 상기 질문영상에 대한 사용자의 응답을 수신하는 버튼부를 포함하는 컨트롤러일 수 있다. 또한, 상기 사용자응답수신부는 본 발명에 따른 가상현실 장치, 디스플레이부 또는 HMD에 포함되거나 장착될 수도 있으며, 이와는 별도로 구비되는 것도 가능하다(예를 들어, 별도의 서버에 포함됨).
이러한 가상현실 장치에서, 본 발명은 상기 디스플레이부에 의해 제공되는 영상이 신경질환 진단을 위한 소개영상과 질문영상을 포함하는 것이 특징이다. 즉, 상기 영상은 2인 이상의 등장인물이 포함된 소개영상과, 상기 소개영상 이후에 제공되는 것으로 상기 등장인물과 관련된 질문이 포함된 질문영상을 포함하는 것이다.
상기 영상은 가상현실(Virtual Reality : VR)을 통하여 사용자에게 제공되기 때문에, 사용자의 현실감 및 몰입도가 증가되어, 더욱 높은 정확도로 사용자의 신경질환 진도를 판단할 수 있다. 도 1은 본 발명에 따른 소개영상을 설명하기 위한 가상현실 영상의 일례를 나타내는 사진이고, 여기에 나타난 바와 같이, 상기 영상 또는 소개영상은 360도 카메라에 의해 촬영된 것이 바람직한데, 이 경우 사용자가 실제로 상기 영상 속에 함께 포함되어 있는 느낌을 줄 수 있는 효과가 있다.
상기 소개영상은 2인 이상의 등장인물이 포함된 것이다. 상기 소개영상은 신경질환 진단을 위한 문제의 지문 역할을 한다. 이를 통해서 사용자의 청각적 또는 언어적 능력을 테스트 할 수 있다. 그 중에서도 등장인물이 포함된 소개영상은 모든 사용자가 접하게 되는 사람을 문제화해서, 사용자에게 친숙하면서도 치매 환자가 일상생활에서 겪는 인지 수행과정을 반영할 수 있는 효과가 있다. 나아가, 상기 등장인물은 2인 이상으로 해서 테스트의 난이도를 조절할 수 있다.
예를 들어, 상기 소개영상은 1명 이상의 주인공과 2명 이상의 축하인물이 포함된 생일파티 영상인 것이 가능하다. 생일파티는 모든 사용자에게 해당될 수 있고, 파티라는 형식은 사용자의 몰입도를 증가시킬 수 있는 효과가 있다. 나아가, 상기 소개영상은 바람직하게는 테이블에 앉아 있는 1명의 주인공을 중심으로 6명의 축하인물이 포함된 생일파티 영상인 것이 적합하다(도 1 참조). 등장인물이 영상 속에서 계속 이동하면서 돌아다니거나 서 있으면, 복잡하고 혼란스러움이 커지는 단점이 있다. 주인공이 테이블 가운데 앉아 있고, 그를 중심으로 6명의 축하인물이 양쪽으로 정해진 위치에 존재하면, 사용자는 등장인물의 위치를 중심으로 기억을 하게 되고, 이러한 등장인물의 위치를 중심으로 한 질문을 다양하게 만들어 낼 수 있는 효과가 있다.
이와 함께, 상기 소개영상은 상기 축하인물이 순서대로 자신의 이름, 직업, 취미, 주인공과의 관계, 선물 및 지역으로 이루어진 군에서 선택된 하나 이상을 소개하는 내용을 포함하는 것일 수 있다. 즉, 소개영상 속에서 축하인물들은 각각 자신의 이름, 직업, 취미, 주인공과의 관계, 선물 및/또는 사는 지역을 대화하듯이 자연스럽게 이야기하는 것이다.
나아가, 상기 소개영상에서 축하인물은 서로 다른 성별, 연령, 악세사리 및 옷 색상으로 이루어진 군에서 선택된 하나 이상을 갖는 것이 바람직하다. 즉, 2인 이상의 축하인물은 남/여로 구분된 다른 성별의 인물이 포함되고, 연령대가 다르거나, 착용하고 있는 악세사리, 입고 있는 옷의 색상 등이 다른 것이다.
예를 들어, 축하인물들은 아래 표 1에 나타난 바와 같은 기본 정보를 가질 수 있다.
구분 이름 사는곳 직업 악세서리 연령 성별 선물 옷색
1 주인공 박초서 - - - - 여 - -
2 축하인물 정은영 부산 화가 머리띠 20대 여 미리핀 카키색
3 축하인물 강준호 대전 선생님 선글라스 30대 남 손목시계 파란색
4 축하인물 조미경 대구 의사 안경 40대 여 지갑 하얀색
5 축하인물 이영호 광주 성악가 넥타이 30대 남 화장품 노란색
6 축하인물 최민혁 인천 비행기 조종사 모자 40대 남 비행기표 회색
7 축하인물 김선영 서울 은행원 스카프 50대 여 화분 검정
상기 축하인물은 자신의 소개 순서에 자신의 이름, 직업, 취미, 주인공과의 관계, 선물 및 사는 지역을 한번에 소개할 수도 있고, 여러사람들과의 대화 과정을 통하여 하나씩 소개하는 것도 가능하다. 축하인물들이 자신을 소개하는 순서는 정해진 위치에 따라서 차례로 소개할 수도 있고, 위치에 상관없이 랜덤하게 자신을 소개하는 것도 가능하다. 생일파티를 가정한 일상적인 대화를 포함하는 소정의 대본에 따라 축하인물들은 자신의 소개를 진행할 수 있다. 이러한 대화 과정에서 축하인물들은 자신의 정보를 각각 2번씩 반복하여 말하는 것이 정보를 균등하게 제공할 수 있고, 사용자에게 기억시킬 수 있어서 바람직하다.
이와 비교하여, 상기 축하인물은 자신의 성별, 연령, 악세사리 및 옷 색상을 대화로 말하지는 않는 것이 바람직하다. 이러한 정보는 영상을 통하여 제공된다. 그래서, 이를 통하여 사용자의 시각적 능력을 평가하는 것이 가능하다.
상기 질문영상은 소개영상 이후에 제공되는 것으로 상기 등장인물과 관련된 질문이 포함된 것이다. 질문의 종류나 형태는 특별히 제한되지 않는다. 예를 들어, 상기 축하인물의 이름, 직업, 취미, 주인공과의 관계, 선물 및/또는 사는 지역을 질문하는 것일 수 있고, 상기 축하인물의 성별, 연령, 악세사리 및/또는 옷 색상을 질문하는 것도 가능하다. 질문 역시 영상으로 제공되는 것이 사용자의 시각적, 언어적 능력을 평가할 수 있으면서, 빠른 평가를 위해 바람직하다. 여기에 더하여, 질문영상은 청각적 소리요소를 더 포함하는 것도 가능하다. 질문영상에 대해서는 후술하여 더욱 자세하게 설명한다.
이러한 본 발명은 사용자에게 영상에 의한 가상현실 환경을 제공하고, 상기 영상은 2인 이상의 등장인물이 포함된 소개영상과, 상기 등장인물에 관련된 질문이 포함된 질문영상을 포함하는 것을 특징으로 하여, 사용자의 언어 능력, 시각 능력, 연상 능력을 실제 일상생활을 기반으로 종합적으로 평가할 수 있는 효과가 있다.
더욱 구체적으로, 상기 질문영상은 상기 소개영상을 회상하도록 하는 회상(recall) 영상, 상기 축하인물의 얼굴에 대한 기억을 테스트하는 인지(recognition) 영상, 및 상기 축하인물의 특징에 대한 기억을 테스트하는 매칭(matching) 영상 중 하나 이상을 포함하는 것이 가능하다. 상기 질문영상은 상기 회상(recall) 영상, 상기 인지(recognition) 영상 및 상기 매칭(matching) 영상을 순차적으로 포함하는 것이 바람직하다.
상기 회상(recall) 영상은 본격적인 질문에 앞서서 사용자에게 제공된 소개영상의 내용을 사용자가 회상(free-recall)하도록 하는 기능을 갖는다. 그리고, 상기 인지(recognition) 영상은 사용자가 기본적으로 가장 먼저 기억하는 얼굴에 대한 기억을 테스트하는 것으로, 축하인물의 세부적인 각종 정보 또는 특징을 테스트하기에 앞서서 제공하여, 사용자의 기억을 단계별로 테스트할 수 있는 효과를 가진다. 이어서, 상기 매칭(matching) 영상은 축하인물의 세부적인 각종 정보 또는 특징에 대한 기억을 테스트하는 심층 단계이다.
도 2는 본 발명에 따른 질문영상 중 회상(recall) 영상의 일례를 나타내는 사진이다. 여기에 나타난 바와 같이, 상기 회상(recall) 영상은 상기 축하인물 중 한 사람을 지정하는 이미지 및/또는 설명과, 상기 지정된 사람의 이름, 직업, 취미, 주인공과의 관계, 선물 및 지역으로 이루어진 군에서 선택된 하나 이상을 질문하는 질문지를 포함하는 것일 수 있다. 상기 질문지는 2개 이상의 질문을 한번에 보여줄 수도 있고, 1개의 질문씩 순서대로 보여줄 수도 있다. 회상 단계의 질문은 너무 세부적이거나 구체적이지 않고, 소개영상에서 축하인물들이 말로 대화한 것을 선택하는 것이 바람직하다.
예를 들어, 도 2에 나타난 바와 같은 화면을 사용자에게 제시하고, 각 질문은 소리로도 제공될 수 있다. 또한, 각 질문에 대한 후보답안이 보기(또는 선택지)로 제시되어 객관식 문제로 제공되는 것도 가능하다. 그러면, 사용자는 각 질문에 대한 대답을 선택하거나 소리로 말을 해서 응답을 표현할 수도 있다.
도 3은 본 발명에 따른 질문영상 중 인지(recognition) 영상을 설명하기 위한 일례를 나타내는 사진이고, 도 4는 본 발명에 따른 질문영상 중 인지(recognition) 영상의 일례를 나타내는 사진이다.
상기 인지 영상은 축하인물의 얼굴에 대한 기억을 테스트하는 것이다. 그리고, 상기 인지 영상은 테스트 방법과 이에 대한 사용자의 응답 방법을 설명하기 위한 영상 또는 화면을 포함하는 것이 바람직하다. 인지 영상 속에서 축하인물의 얼굴이 1개만 제시되면 사용자에게 O 또는 X 를 선택하게 할 수 있다. 이를 위하여, 사용자에게는 O 또는 X 를 선택할 수 있는 별도의 응답수단이 제공되는 것이 바람직하다.
또한, 상기 인지 영상은 상기 축하인물 중 한 사람의 얼굴 사진과 상기 축하인물에 나오지 않은 사람의 얼굴 사진을 선택적으로 1개만 포함하거나, 하나의 영상 또는 화면에 같이 포함하는 것이 가능하다. 바람직하게는 축하인물과 축하인물이 아닌 한 사람의 얼굴씩 랜덤한 순서로 포함하는 것이, 사용자의 응답을 가장 단순하게 테스트 할 수 있는 효과가 있다.
나아가, 상기 인지 영상은 상기 축하인물 중 한 사람의 얼굴 사진과 상기 축하인물에 나오지 않은 사람의 얼굴 사진을 구분해서 랜덤한 순서로 포함하는 것이 더욱 바람직하다. 예를 들어, 축하인물 6명의 얼굴과 축하인물이 아닌 사람 12명의 얼굴을 포함한 총 18개의 얼굴을 랜덤하게 보여주면서, 소개영상에 나온 얼굴인지 여부를 O/X로 대답하게 할 수 있다.
도 5는 본 발명에 따른 질문영상 중 매칭(matching) 영상을 설명하기 위한 일례를 나타내는 사진이고, 도 6은 본 발명에 따른 질문영상 중 매칭(matching) 영상의 일례를 나타내는 사진이고, 도 7은 본 발명에 따른 질문영상 중 매칭(matching) 영상의 다른 일례를 설명하기 위한 사진이다.
상기 매칭 영상은 축하인물의 세부적인 각종 정보 또는 특징에 대한 기억을 테스트하는 것이다. 즉, 소개영상에 소개되었던 내용을 사용자가 얼마나 잘 기억하는지를 평가하는 것이다. 이를 위하여, 상기 매칭 영상은 테스트 방법과 이에 대한 사용자의 응답 방법을 설명하기 위한 영상 또는 화면을 포함하는 것이 바람직하다. 매칭 영상 속에서 축하인물과 축하인물이 아닌 사람의 얼굴이 2개 이상 다수개가 동시에 제시되면, 사용자는 그에 맞는 번호(예를 들어, 1~6번 중 택 1)를 선택할 수 있다. 매칭 영상에서 사용자의 얼굴이 제시되는 경우에는 사람의 얼굴이 2개 이상 다수개가 한번에 제시되거나, 또는 축하인물의 위치가 특정되어 있다는 점에서, 상기한 인지 영상과 차별화된다. 매칭 영상은 사용자의 시각적 능력 뿐만 아니라, 연상 능력을 함께 테스트할 수 있는 효과가 있다.
예를 들어, 상기 매칭 영상은 도 6에 나타난 바와 같이, 축하인물 중 한 사람을 지정하는 이미지 또는 설명과, 상기 지정된 사람의 얼굴, 이름, 직업, 취미, 주인공과의 관계, 선물 및 지역으로 이루어진 군에서 선택된 하나 이상을 질문하는 질문지와, 상기 질문에 대응하는 축하인물의 얼굴, 이름, 직업, 취미, 주인공과의 관계, 선물 및 지역으로 이루어진 군에서 선택된 하나 이상의 후보답안을 포함하는 것일 수 있다.
나아가, 상기 후보답안은 도 7에 나타난 바와 같이, 축하인물(배우)의 얼굴 3개와 축하인물이 아닌 사람(비배우)의 얼굴 3개를 조합해서 전체 6개의 후보답안을 선택지로 포함할 수 있다. 즉, 6지 선답 문제가 사용자의 기억력 테스트 및 사용자의 응잡 수용을 위해 가장 효과적이다.
도 8은 본 발명에 따른 질문영상 중 매칭(matching) 영상의 선물 질문지의 일례를 설명하기 위한 사진이고, 도 9는 본 발명에 따른 질문영상 중 매칭(matching) 영상의 악세사리 질문지의 일례를 설명하기 위한 사진이며, 도 10은 본 발명에 따른 질문영상 중 매칭(matching) 영상의 이름, 직업, 취미, 지역, 관계 질문지의 일례를 설명하기 위한 모식도이다.
여기에 도시된 바와 같이, 매칭 영상의 질문은 축하인물의 이름, 직업, 취미, 주인공과의 관계, 선물 및/또는 지역에 대한 것일 수 있고, 축하인물의 얼굴, 선물, 악세사리 등인 것도 가능하다.
예를 들어서, 선물 질문지는 도 8에 나타난 바와 같은 18개의 선물 중에서 축하인물이 준비한 선물 3개와 축하인물이 아닌 사람이 준비한 선물(축하인물이 준비하지 않은 선물) 3개를 조합해서 6지 선답 문제로 구성할 수 있다. 또한, 도 9에 나타난 바와 같이 축하인물들이 착용한 6개의 악세사리 중 3개와 축하인물이 아닌 사람이 착용한 12개의 악세사리(축하인물이 착용하지 않은 악세사리) 중 3개를 조합해서 6지 선답 문제로 구성할 수도 있다.
이와 같은 방법으로, 도 10에 나타난 바와 같은 이름, 직업, 취미, 지역, 관계를 이용해서 다양한 매칭 영상 질문을 구성하는 것이 가능하다.
본 발명자들은 후술하는 실시예에서와 같이, 상기한 바와 같은 본 발명을 이용하여 실제 알츠하이머 환자를 대상으로 테스한 결과, 기존의 언어기억검사(Seoul Verbal Learning Test : SVLT)와 유의한 상관관계를 보였을 뿐만 아니라, 기존의 간이정신상태검사(Mini Mental State Examination : MMSE)와는 다르게 사용자의 학력과 나이에 영향을 받지 않았고, 베타아밀로이드의 양성/음성에 따른 차이도 구분할 수 있음을 확인하였다. 이에 따르면 기존보다 더 정확하게 사용자의 신경질환 정도를 파악할 수 있는 효과가 있다.
한편, 본 발명은 상기 사용자응답수신부에 의해 수신된 사용자의 응답을 분석하고, 상기 분석한 사용자의 응답에 따라 상기 사용자를 구분하는 사용자응답분석부;를 더 포함하는 것이 가능하다. 예를 들어, 사용자의 응답 중 정답률에 따라 사용자를 그룹핑하는 것이 가능하다. 또한, 상기 사용자응답수신부는 수신한 사용자의 응답을 기초로 상기 사용자의 정답률을 점수화하는 것이 바람직하다. 나아가, 상기 사용자응답수신부는 상기 점수화한 점수를 기반으로 사용자의 치매 진행 정도를 판단할 수도 있다.
이와 함께, 본 발명의 다른 실시형태는, 상기한 가상현실 장치를 포함하며, 상기 가상현실 장치의 사용자응답수신부에 의해 수신된 사용자의 응답을 분석하고, 상기 분석한 사용자의 응답에 따라 상기 사용자를 구분하는 서버;를 더 포함하는 것을 특징으로 하는 신경질환 진단용 가상현실 시스템이다.
즉, 본 발명은 가상현실 장치에 더하여 사용자의 응답을 분석하는 서버를 별도로 포함하는 시스템으로 구현될 수도 있다.
나아가, 본 발명의 또 다른 실시형태는, 디스플레이를 통해서 사용자에게 영상에 의한 가상현실 환경을 제공하는 단계; 및 상기 영상에 대한 사용자의 응답을 수신하는 단계;를 포함하고, 상기 영상은 2인 이상의 등장인물이 포함된 소개영상과, 상기 소개영상 이후에 제공되는 것으로 상기 등장인물과 관련된 질문이 포함된 질문영상을 포함하는 것을 특징으로 하는 신경질환 진단용 가상현실 제공방법이다.
여기서, 상기 가상현실 환경을 제공하는 것은 디스플레이를 포함하는 헤드마운트디스플레이(Head Mounted Display : HMD)에 의해 이루어지는 것이 가능하다.
그리고, 상기 사용자의 응답을 수신하는 것은 상기 질문영상에 대한 사용자의 응답을 수신하는 버튼부를 포함하는 컨트롤러에 의해 이루어지는 것일 수 있다.
본 발명은 하기의 실시예에 의하여 보다 더 잘 이해 될 수 있으며, 하기의 실시예는 본 발명의 예시 목적을 위한 것이며, 첨부된 특허청구범위에 의하여 한정되는 보호범위를 제한하고자 하는 것은 아니다.
실시예 1: 신경질환 진단용 가상현실 테스트(Social Event Memory Test : SEMT)
피험자는 HMD를 이용하여 360도 카메라로 촬영된 VR을 시청한 후에 컴퓨터로 문제를 풀게하였다.
소개영상은 상기 표 1에 나타난 바와 같은 등장인물이 생일파티 형식으로, 테이블 가운데에 주인공이 위치하고, 그 양쪽으로 6명의 축하인물을 배치하였다. 축하인물은 영상 속에서 일상적인 대화를 이어가면서 자신의 정보를 등등하게 2번씩 반복하도록 대화를 구성하였다.
이어지는, 문제 영상은 Free-recall 영상, face recognition 영상, place-matching 순서로 아래와 같이 구성하였다.
1. Free-recall [36점]
- 영상의 내용을 회상하도록 지시
- 6가지 항목(이름, 직업, 취미, 관계, 선물, 지역)에 대한 테스트
2. 얼굴-Recognition [18점] : 15초 제한
- 배우(6명), 비 배우(12명) 얼굴, 총 18개의 얼굴을 랜덤하게 보여주며 출연 여부를 O/X로 대답하도록 제시함
3. 위치-matching test [48점] : 20초 제한
- 6지 선답문제
- 얼굴, 선물, 악세서리 (그림)
- 이름, 직업, 취미, 지역, 관계 (단어)
4. 전체 점수 : 102점
비교예 1: SVLT (Seoul Verbal Learning Test)
SVLT은 본 출원인에 의해 개발된 기존의 언어기억검사(Seoul Verbal Learning Test)이다.
즉, 사용자에게 12개의 단어(예를 들어, 진달래, 도마, 무궁화, 만년필, 접시, 사인펜, 개나리, 종이, 국자, 백합, 솥, 지우개)를 불러주고 순서에 상관없이 생각나는 대로 말해달라고 요청하는 것이다.
구체적으로는, 아래와 같은 Immediate recall, Recognition, Delayed recall 과정을 통하여 테스트 하였다.
1. Immediate recall : 3번 반복
- 12개 불러주고 기억나는 단어 불러달라고 요청함
- 총 3번 반복
2. Recognition : 목록에 있는 단어와 없는 단어를 불러주며 아까 불러준 단어인지 아닌지 O,X로 대답하라고 지시함
3. Delayed recall : 다른 과제를 수행하고 약 30분 후 아까 불러준 단어 중 기억나는 단어를 순서에 상관없이 모두 말해보라고 지시함
실험예 1: 상관분석 결과(correlation result)
상기 실시예1에 따른 SEMT와 비교예1에 따른 SVLT 결과를 상관분석하였다. 구체적으로는, 기존의 간이정신상태검사(Mini Mental State Examination : MMSE), 나이, 학력 또는 교육수준과의 상관관계를 비교분석하였다.
도 11은 본 발명의 일 실시예에 따른 신경질환 진단용 가상현실 테스트(Social Event Memory Test : SEMT)와 비교예로서 기존의 언어기억검사(Seoul Verbal Learning Test) 및 간이정신상태검사(Mini Mental State Examination : MMSE)의 상관분석 결과(correlation result)를 나타내는 그래프이다.
도 11의 상단 그래프에서, r 값이 1이면 완전 상관 관계를 나타내고 빨간색으로 표시되었으며, -1이면 음의 상관 관계를 나타내고 파란색으로 표시되었으며, 0이면 상관 관계가 없음을 의미한다.
이에 따르면, SEMT 결과는 MMSE, SVLT와 높은 상관성을 보였고, 그 중에서도 연상력과 기억력에 대한 Free-recall 과 위치-matching 테스트가 높은 상관성을 보였다.
상대적으로, SEMT 결과 중에서 얼굴-Recognition 테스트는 상관성이 높지 않았는데, 이는 얼굴-Recognition 테스트가 시각적 능력(visual memory)와 관련이 있는데 실험환경에서 화면이 뚜렷하지 않았던 것 때문인 것으로 예상된다.
SEMT 결과와 기존의 기억력 검사 SVLT는 나이와 교육수준(Education)에서는 상관성이 없었는데, 다른 신경심리 검사 중 하나인 MMSE는 교육수준에 영향을 많이 받아서, 신경질환을 정확하게 파악하기 어렵다는 것을 확인할 수 있다.
또한, 도 11의 하단 그래프에서, 각 점들은 각 피험자들의 SEMT와 기존의 기억력 검사인 SVLT 점수를 분포시킨 것이고, p값이 1에 가까울수록 양의 상관관계를 보임을 나타낸다.
이에 따르면, 본 발명에 따른 SEMT는 전체적으로 기존의 검사방법인 MMSE 및 SVLT와도 비교적 높은 상관성을 보였다.
실험예 2: 분산분석 결과( ANOVA result)
상기 실시예1에 따른 SEMT와 비교예1에 따른 SVLT를 이용하여 정상인(SMI) 13명, 경도인지장애인(MCI) 29명, 알츠하이머환자(AD) 13명을 대상으로 테스한 후, 다변량 통계분석법인 분산분석(Analysis of variance: ANOVA)을 수행하였다.
그 결과는 하기 표 2에 나타난 바와 같다.
Figure pat00001
* SMI(Subjective Memory Impairment) : 정상인(본인 주관적으로만 인지능력이 떨어지는 사람)
* MCI(Mild Cognitive Impairment) : 경도인지장애인
* AD(Alzheimer's Disease) : 알츠하이머환자
* P : 유의성(p-value) 값으로, 0.0001 보다 낮으면 유의성이 있는 것으로 판단함
* Domain score : 치매진단을 위한 서울신경심리검사(Seoul Neuropsychological Screening Battery, SNSB)의 각 영역별 점수
상기 표 2에 나타난 바와 같이, 대상자의 성별(gender), 나이(age), 교육수준(education)는 유의성(p-value)이 0.001 보다 현저히 높아서 정상인(SMI)과 경도인지장애인(MCI) 및 알츠하이머환자(AD) 간에 큰 차이가 없는 것으로 나타났다.
이와 비교하여, 기존 신경심리검사인 MMSE, SVLT, SNSB domain score 중 Language, Memory, Frontal/execution, total 점수는, 테스트 대상별로 뚜렷한 차이를 나타내었다.
특히, 본 발명에 따른 SEMT는 recognition을 제외한 free-recall와 place matching 테스트에서 대상별로 뚜렷한 차이를 보이고 있어서, 환자군의 구별이 가능함을 확인할 수 있다.
실험예 3: 기계학습법에 의한 분류 결과
정상인(SCI) 10명, 경도인지장애인(MCI) 28명, 알츠하이머환자(AD) 11명에 대한 상기 실시예1에 따른 SEMT 결과 점수(총점 : 102점)를 기계학습법인 SVM(Support Vector Machine)으로 학습하게 해서, 신경질환 분류 능력(Classification performance)과 진단 능력(Diagnostics performance)을 검증하였다.
즉, SEMT점수를 이용한 classifier로 4개의 그룹(SCI, aMCI(-), aMCI(+), AD)이 잘 구분이 되는지 검증하였다.
도 12는 본 발명의 일 실시예에 따른 신경질환 진단용 가상현실 테스트(SEMT) 점수를 이용하여, classifier로 4개의 그룹(SCI, aMCI(-), aMCI(+), AD)이 잘 구분이 되는지를 검증한, PC(principal component) 결과 그래프이다. 도 12는 같은 데이터를 2개의 다른 PC(principal component)에 의해 환자군을 분류한 결과이다. A는 linear kernel, B는 radial kernel이다. 도 12에서 도형은 실제 데이터가 속하는 그룹을 나타낸다. ○는 SMI, □는 MCI(-), △는 MCI(+), ◇는 AD를 나타낸다. 또한 색은 classifier가 예측한 결과를 나타낸다. 빨간색은 SMI, 파란색은 MCI(-), 초록색은MCI(+), 노랑은 AD로 예측된 결과를 나타낸다.
이에 따르면, 도 12의 A(linear kernel)보다 B(radial kernel)가 환자군을 더욱 잘 분류하는 것을 확인하였으며, 이하에서는 radial kernel을 이용하여 환자군을 분류하였다.
대상자의 상기 실시예1에 따른 SEMT 결과 점수와 나이, 학력을 가지고 학습시킨 경우의 분류 능력 결과는 아래 표 3에 나타난 바와 같다.
Figure pat00002
상기 표 3에 나타난 바와 같이, 대상자의 SEMT 결과 점수와 나이 및 교육수준(학력)으로 정상인(SCI), 경도인지장애인(MCI) 및 알츠하이머환자(AD)를 분류한 결과, 정상인(SCI)을 분류하는 정확도는 94.12%이고, 알츠하이머환자(AD)를 분류하는 정확도는 93.75%에 달하는 것을 확인하였다.
또한, 경도인지장애인(MCI)의 양성과 음성까지 분류하는 정확도는 각각 95.12%와 93.94%에 달하는 것을 알 수 있다.
실험예 4: 회귀분석법에 의한 Amyloid 양성/음성 분류 결과
정상인(SCI) 13명, 경도인지장애인(MCI) 25명, 알츠하이머환자(AD) 14명을 대상으로 Amyloid PET 영상을 찍었고, 그에 따라 분류된 아밀로이드 음성 22명과 아밀로이드 양성 30명을 대상으로 실험하였다.
상기 실시예 1에 따른 SEMT 결과 점수(총점 : 102점)를 회귀분석법인 로지스틱 회귀분석(Rogistic regression moedel)의해 아밀로이드 침착의 유무를 0과 1사이의 확률값으로 예측하였다. 상기 로지스틱 회귀모델은 선형 회귀 모델과 비슷한 접근법을 수행하기 위해서, 이진수의 정보를 로직 변환을 통해 무한수의 변수로 변환한다.
그 결과는 도 13에 나타난 바와 같다. 도 13에서 ●는 PET positive, △는 PET negative 환자군을 나타내고, 초록색이 짙을수록 regression 모델에서 PET negative로 진단한 것이며, 빨간색이 짙을수록 regression모델이 PET positive로 진단한 것을 나타낸다.
이에 따르면, 2명을 제외한 나머지 50명에 대해 regression 모델이 PET 결과를 구분함을 확인할 수 있다.
한편, 피팅모델을 만드는 것에 있어서 중요한 것은 모델이 얼마나 단순화되었는지 여부이다. 모델이 복잡하면 복잡할수록 많은 부분의 데이터를 설명할 수 있지만, 새로운 데이터에 대한 예측도는 훨씬 떨어지게 되고 이를 overfitting이라고 한다.
Figure pat00003
* main effect : 한가지 변수만을 이용
* interaction effect : 두가지 변수가 상호작용하는 것을 이용
* quadric effect : 두 변수의 곱 또는 제곱값의 상호작용을 이용
상기 표 4의 ouput for fitting model은 얼마나 단순한 모델인지 관찰하기 위한 것이며, 본 발명에 따른 SEMT 모델의 p 값이 0.001보다 작은 것으로 나타나서, SEMT 모델은 충분히 단순한 모델이라는 것을 설명하고 있다.
Lack of Fit 결과는 overfitting 되었는지를 관찰하기 위한 것이며, 0.9994로 나타나 1에 가까운 값을 가짐으로서 본 발명에 따른 SEMT 모델이 overfitting되지 않았다는 결과를 설명한다.
본 발명자들은 최적의 모델을 찾는 과정에서 main effect, interaction effect, quadric effect을 고려하였고, 표 4의 마지막에 Likelihood Ratio Statistics결과는 모델의 coefficient들이 유의미한지 판단할 수 있는 것이며, 모두 0.05보다 낮은 유의미한 p value를 보이고 있어서, 본 발명에 따른 SEMT 모델이 유의미한 최적의 모델이라는 것을 설명하고 있다.
상기에서는 본 발명을 특정의 바람직한 실시예에 관련하여 도시하고 설명하였지만, 이하의 특허청구범위에 의해 마련되는 본 발명의 기술적 특징이나 분야를 이탈하지 않는 한도 내에서 본 발명이 다양하게 개조 및 변화될 수 있다는 것은 당업계에서 통상의 지식을 가진 자에게 명백한 것이다.

Claims (21)

  1. 사용자에게 영상에 의한 가상현실 환경을 제공하는 디스플레이부; 및
    상기 영상에 대한 사용자의 응답을 수신하는 사용자응답수신부;를 포함하고,
    상기 영상은 2인 이상의 등장인물이 포함된 소개영상과, 상기 소개영상 이후에 제공되는 것으로 상기 등장인물과 관련된 질문이 포함된 질문영상을 포함하는 것을 특징으로 하는 신경질환 진단용 가상현실 장치.
  2. 제1항에 있어서,
    상기 디스플레이부는, 가상현실 환경을 제공하는 디스플레이를 포함하는 헤드마운트디스플레이(Head Mounted Display : HMD)인 것을 특징으로 하는 신경질환 진단용 가상현실 장치.
  3. 제1항에 있어서,
    상기 사용자응답수신부는 상기 질문영상에 대한 사용자의 응답을 수신하는 버튼부를 포함하는 컨트롤러인 것을 특징으로 하는 신경질환 진단용 가상현실 장치.
  4. 제1항에 있어서,
    상기 사용자응답수신부에 의해 수신된 사용자의 응답을 분석하고, 상기 분석한 사용자의 응답에 따라 상기 사용자를 구분하는 사용자응답분석부;를 더 포함하는 것을 특징으로 하는 신경질환 진단용 가상현실 장치.
  5. 제1항에 있어서,
    상기 소개영상은 360도 카메라에 의해 촬영된 것을 특징으로 하는 신경질환 진단용 가상현실 장치.
  6. 제1항에 있어서,
    상기 소개영상은 1명 이상의 주인공과 2명 이상의 축하인물이 포함된 생일파티 영상인 것을 특징으로 하는 신경질환 진단용 가상현실 장치.
  7. 제1항에 있어서,
    상기 소개영상은 테이블에 앉아 있는 1명의 주인공을 중심으로 6명의 축하인물이 포함된 생일파티 영상인 것을 특징으로 하는 신경질환 진단용 가상현실 장치.
  8. 제6항에 있어서,
    상기 소개영상은 상기 축하인물이 순서대로 자신의 이름, 직업, 취미, 주인공과의 관계, 선물 및 지역으로 이루어진 군에서 선택된 하나 이상을 소개하는 내용을 포함하는 것을 특징으로 하는 신경질환 진단용 가상현실 장치.
  9. 제6항에 있어서,
    상기 소개영상에서 축하인물은 서로 다른 성별, 연령, 악세사리 및 옷 색상으로 이루어진 군에서 선택된 하나 이상을 갖는 것을 특징으로 하는 신경질환 진단용 가상현실 장치.
  10. 제8항에 있어서,
    상기 질문영상은 상기 소개영상을 회상하도록 하는 회상(recall) 영상, 상기 축하인물의 얼굴에 대한 기억을 테스트하는 인지(recognition) 영상, 및 상기 축하인물의 특징에 대한 기억을 테스트하는 매칭(matching) 영상 중 하나 이상을 포함하는 것을 특징으로 하는 신경질환 진단용 가상현실 장치.
  11. 제10항에 있어서,
    상기 질문영상은 상기 회상(recall) 영상, 상기 인지(recognition) 영상 및 상기 매칭(matching) 영상을 순차적으로 포함하는 것을 특징으로 하는 신경질환 진단용 가상현실 장치.
  12. 제10항에 있어서,
    상기 회상(recall) 영상은 상기 축하인물 중 한 사람을 지정하는 이미지 또는 설명과, 상기 지정된 사람의 이름, 직업, 취미, 주인공과의 관계, 선물 및 지역으로 이루어진 군에서 선택된 하나 이상을 질문하는 질문지를 포함하는 것을 특징으로 하는 신경질환 진단용 가상현실 장치.
  13. 제10항에 있어서,
    상기 인지(recognition) 영상은 상기 축하인물 중 한 사람의 얼굴 사진과 상기 축하인물에 나오지 않은 사람의 얼굴 사진을 포함하는 것을 특징으로 하는 신경질환 진단용 가상현실 장치.
  14. 제10항에 있어서,
    상기 인지(recognition) 영상은 상기 축하인물 중 한 사람의 얼굴 사진과 상기 축하인물에 나오지 않은 사람의 얼굴 사진을 구분해서 랜덤한 순서로 포함하는 것을 특징으로 하는 신경질환 진단용 가상현실 장치.
  15. 제10항에 있어서,
    상기 매칭(matching) 영상은 상기 축하인물 중 한 사람을 지정하는 이미지 또는 설명과, 상기 지정된 사람의 얼굴, 이름, 직업, 취미, 주인공과의 관계, 선물 및 지역으로 이루어진 군에서 선택된 하나 이상을 질문하는 질문지와, 상기 질문에 대응하는 축하인물의 얼굴, 이름, 직업, 취미, 주인공과의 관계, 선물 및 지역으로 이루어진 군에서 선택된 하나 이상의 후보답안을 포함하는 것을 특징으로 하는 신경질환 진단용 가상현실 장치.
  16. 제1항에 있어서,
    상기 사용자응답수신부는 수신한 사용자의 응답을 기초로 상기 사용자의 정답률을 점수화하는 것을 특징으로 하는 신경질환 진단용 가상현실 장치.
  17. 제16항에 있어서,
    상기 사용자응답수신부는 상기 점수화한 점수를 기반으로 사용자의 치매 진행 정도를 판단하는 것을 특징으로 하는 신경질환 진단용 가상현실 장치.
  18. 제1항에 따른 가상현실 장치를 포함하고,
    상기 가상현실 장치의 사용자응답수신부에 의해 수신된 사용자의 응답을 분석하고, 상기 분석한 사용자의 응답에 따라 상기 사용자를 구분하는 서버;를 더 포함하는 것을 특징으로 하는 신경질환 진단용 가상현실 시스템.
  19. 디스플레이를 통해서 사용자에게 영상에 의한 가상현실 환경을 제공하는 단계; 및
    상기 영상에 대한 사용자의 응답을 수신하는 단계;를 포함하고,
    상기 영상은 2인 이상의 등장인물이 포함된 소개영상과, 상기 소개영상 이후에 제공되는 것으로 상기 등장인물과 관련된 질문이 포함된 질문영상을 포함하는 것을 특징으로 하는 신경질환 진단용 가상현실 제공방법.
  20. 제19항에 있어서,
    상기 가상현실 환경을 제공하는 것은 디스플레이를 포함하는 헤드마운트디스플레이(Head Mounted Display : HMD)에 의해 이루어지는 것을 특징으로 하는 신경질환 진단용 가상현실 제공방법.
  21. 제19항에 있어서,
    상기 사용자의 응답을 수신하는 것은 상기 질문영상에 대한 사용자의 응답을 수신하는 버튼부를 포함하는 컨트롤러에 의해 이루어지는 것을 특징으로 하는 신경질환 진단용 가상현실 제공방법.
KR1020170124778A 2017-09-27 2017-09-27 신경질환 진단용 가상현실 장치, 시스템 및 제공방법 KR20190036038A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020170124778A KR20190036038A (ko) 2017-09-27 2017-09-27 신경질환 진단용 가상현실 장치, 시스템 및 제공방법
US16/131,269 US11317849B2 (en) 2017-09-27 2018-09-14 Virtual reality device for diagnosis of nerve disorder, system and method for thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170124778A KR20190036038A (ko) 2017-09-27 2017-09-27 신경질환 진단용 가상현실 장치, 시스템 및 제공방법

Publications (1)

Publication Number Publication Date
KR20190036038A true KR20190036038A (ko) 2019-04-04

Family

ID=65806504

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170124778A KR20190036038A (ko) 2017-09-27 2017-09-27 신경질환 진단용 가상현실 장치, 시스템 및 제공방법

Country Status (2)

Country Link
US (1) US11317849B2 (ko)
KR (1) KR20190036038A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200143156A (ko) 2019-06-14 2020-12-23 주식회사 파미니티 인공지능을 이용하여 예측한 질병, 증상 발생 가능성에 따른 맞춤형 의료 정보를 제공하는 시스템 및 장치
KR20220081432A (ko) 2020-12-08 2022-06-16 주식회사 피지오닉스 생체 정보 측정을 위한 센서를 포함하는 전자 장치

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112704500B (zh) * 2020-12-02 2022-04-26 中南大学 一种精神状态筛查系统、精神状态筛查方法及存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005079332A2 (en) * 2004-02-13 2005-09-01 Georgia Tech Research Corporation Display enhanced testing for concussions and mild traumatic brain injury
US9251713B1 (en) * 2012-11-20 2016-02-02 Anthony J. Giovanniello System and process for assessing a user and for assisting a user in rehabilitation
CN106293043B (zh) * 2015-06-29 2023-11-10 北京智谷睿拓技术服务有限公司 可视化内容传输控制方法、发送方法、及其装置
US10048751B2 (en) * 2016-03-31 2018-08-14 Verizon Patent And Licensing Inc. Methods and systems for gaze-based control of virtual reality media content

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200143156A (ko) 2019-06-14 2020-12-23 주식회사 파미니티 인공지능을 이용하여 예측한 질병, 증상 발생 가능성에 따른 맞춤형 의료 정보를 제공하는 시스템 및 장치
KR20220081432A (ko) 2020-12-08 2022-06-16 주식회사 피지오닉스 생체 정보 측정을 위한 센서를 포함하는 전자 장치

Also Published As

Publication number Publication date
US20190090802A1 (en) 2019-03-28
US11317849B2 (en) 2022-05-03

Similar Documents

Publication Publication Date Title
Bobak et al. Eye-movement strategies in developmental prosopagnosia and “super” face recognition
Noh et al. Emotional faces in context: age differences in recognition accuracy and scanning patterns.
Anstey et al. Interrelationships among biological markers of aging, health, activity, acculturation, and cognitive performance in late adulthood.
Janik et al. Eyes as the center of focus in the visual examination of human faces
Caldara et al. Does prosopagnosia take the eyes out of face representations? Evidence for a defect in representing diagnostic facial information following brain damage
Smith et al. Transmitting and decoding facial expressions
US20180060757A1 (en) Data annotation method and apparatus for enhanced machine learning
Daros et al. Identifying mental disorder from the faces of women with borderline personality disorder
KR20190036038A (ko) 신경질환 진단용 가상현실 장치, 시스템 및 제공방법
Busigny et al. Right anterior temporal lobe atrophy and person-based semantic defect: a detailed case study
JP3954295B2 (ja) 識別・反応計測方法、識別・反応計測プログラムを記録したコンピュータ読み取り可能な記録媒体及び識別・反応計測装置
WO2020128999A1 (en) System and method for reading and analysing behaviour including verbal, body language and facial expressions in order to determine a person's congruence
Pizzamiglio et al. Congenital prosopagnosia in a child: Neuropsychological assessment, eye movement recordings and training
Cilia et al. Eye-tracking dataset to support the research on autism spectrum disorder
Blackwell et al. Dynavision normative data for healthy adults: Reaction test program
Kumar et al. Agnosia
Fino et al. Unfolding political attitudes through the face: facial expressions when reading emotion language of left-and right-wing political leaders
Tso et al. How does face mask in COVID-19 pandemic disrupt face learning and recognition in adults with autism spectrum disorder?
Wade et al. Extraction of emotional information via visual scanning patterns: a feasibility study of participants with schizophrenia and neurotypical individuals
Duchaine et al. The development of upright face perception depends on evolved orientation-specific mechanisms and experience
Cytowic The clinician's paradox: Believing those you must not trust
Bittner et al. The impact of symmetry on the efficiency of human face perception
Goodrich et al. The reading behavior inventory: an outcome assessment tool
Murphy et al. Repetition blindness for faces: A comparison of face identity, expression, and gender judgments
Kamaruddin et al. Early detection of dysphoria using electroencephalogram affective modelling.

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
J201 Request for trial against refusal decision
J301 Trial decision

Free format text: TRIAL NUMBER: 2020101000629; TRIAL DECISION FOR APPEAL AGAINST DECISION TO DECLINE REFUSAL REQUESTED 20200228

Effective date: 20201214

J2X1 Appeal (before the patent court)

Free format text: TRIAL NUMBER: 2021201001714; APPEAL AGAINST DECISION TO DECLINE REFUSAL