KR101983279B1 - 가상현실을 이용한 신경질환 진단 장치 및 방법 - Google Patents

가상현실을 이용한 신경질환 진단 장치 및 방법 Download PDF

Info

Publication number
KR101983279B1
KR101983279B1 KR1020170037050A KR20170037050A KR101983279B1 KR 101983279 B1 KR101983279 B1 KR 101983279B1 KR 1020170037050 A KR1020170037050 A KR 1020170037050A KR 20170037050 A KR20170037050 A KR 20170037050A KR 101983279 B1 KR101983279 B1 KR 101983279B1
Authority
KR
South Korea
Prior art keywords
user
virtual reality
hidden
diagnosing
score
Prior art date
Application number
KR1020170037050A
Other languages
English (en)
Other versions
KR20180108954A (ko
Inventor
나덕렬
김고운
진주희
이병화
최종두
최지현
한효빈
Original Assignee
사회복지법인 삼성생명공익재단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 사회복지법인 삼성생명공익재단 filed Critical 사회복지법인 삼성생명공익재단
Priority to KR1020170037050A priority Critical patent/KR101983279B1/ko
Priority to EP18772442.2A priority patent/EP3603491A4/en
Priority to CN201880014036.1A priority patent/CN110430802B/zh
Priority to PCT/KR2018/003203 priority patent/WO2018174507A1/ko
Priority to US16/496,100 priority patent/US11826160B2/en
Publication of KR20180108954A publication Critical patent/KR20180108954A/ko
Application granted granted Critical
Publication of KR101983279B1 publication Critical patent/KR101983279B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/40—Detecting, measuring or recording for evaluating the nervous system
    • A61B5/4076—Diagnosing or monitoring particular conditions of the nervous system
    • A61B5/4088—Diagnosing of monitoring cognitive diseases, e.g. Alzheimer, prion diseases or dementia
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/744—Displaying an avatar, e.g. an animated cartoon character
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/22—Social work
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Abstract

본 발명은 가상현실을 이용한 신경질환 치매 진단 장치 및 방법에 관한 것으로, 상기 방법은, 외부 장치로부터 수신된 신경질환 진단용 문제를 수신하는 단계; 상기 신경질환 진단용 문제에 기초하여, 상기 디스플레이가 가상 현실 환경을 표시하는 단계; 및 센싱부를 통해 상기 사용자의 동작을 감지하는 단계를 포함하고, 상기 가상 현실 환경을 표시하는 단계는 가상 현실 공간에서 적어도 하나의 물건을 소개한 다음에 숨기는 제 1 화면을 표시하는 단계, 및 상기 적어도 하나의 물건에 대한 질문을 포함하는 제 2 화면을 표시하는 단계를 포함하는 것을 특징으로 한다.

Description

가상현실을 이용한 신경질환 진단 장치 및 방법{NERVE DISPRDER DIAGNOSIS APPARATUS AND METHOD USING VIRTUAL REALITY}
본 발명은 가상현실을 이용한 신경질환 진단 장치 및 방법에 관한 것이다.
전 세계적으로 고령화가 급속히 진행 중에 있으며, 이와 함께 치매 환자도 급격히 증가하고 있다. 따라서 치매환자를 관리하고 치료하기 위한 경제적 비용이 증가하고 있다. 최근, 치매증상이 나타나는 것을 지연하고 개선할 수 있는 치료약들이 개발되고 있으며, 더욱 효능이 개선된 치료약들을 개발하기 위한 투자와 노력이 계속되고 있다. 그러나 상기 치료약은 치매의 초기 단계에 사용해야 효능이 있기 때문에 치매의 조기 진단과 조기 치료가 중요하다.
치매를 진단하기 위해 심리학적인 문진을 통한 치매 진단 방법이 일반적으로 행하여지고 있다. 그러나 심리학적인 문진을 통한 치매 진단 방법은 진료실 환경에서 장시간 문진이 필요하므로, 환자에게 정신적인 압박이나 스트레스를 줄 수 있고, 이는 테스트의 정확도 저하를 초래할 수 있다.
치매를 진단하기 위한 다른 방법으로는, MRI 장비 등을 이용해 뇌영상을 촬영하여 치매 진행 정도를 진단하는 방법, 치매 환자로부터 추출한 혈액이나 뇌척수액을 분석 하여 치매 진행 정도를 진단하는 바이오마커(Bio-marker) 방법, 또는 뇌파(EEG 또는 MEG)를 측정하여 치매를 진단 하는 방법 등이 존재한다. 그러나, 이러한 방법들은 고가의 장비를 사용함으로써 비용 부담이 증가하고, 환자의 혈액이나 뇌척수액을 추출해야하므로 환자의 고통이 수반된다.
본 발명은 상기와 같은 문제점을 해결하기 위한 것으로, 컴퓨터와 가상현실장비를 이용하여 손쉽게 치매 등과 같은 신경질환을 진단할 수 있고, 환자의 정신적 스트레스를 줄일 수 있는 신경질환 진단 장치 및 방법을 제공하는 것을 목적으로 한다.
본 발명의 다양한 실시예에 따른 사용자에게 영상에 의한 가상 현실 환경을 제공하는 가상 현실 장치는 디스플레이; 센싱부; 통신부; 및 상기 통신부를 통해 외부 장치로부터 수신된 신경질환 진단용 문제에 기초하여, 상기 디스플레이가 가상 현실 환경을 표시하고, 상기 센싱부를 통해 상기 사용자의 동작을 감지하도록 구성된 제어부를 포함하고; 상기 신경질환 진단용 문제는 가상 현실 공간에서 적어도 하나의 물건을 소개한 다음에 숨기는 제 1 화면과, 상기 적어도 하나의 물건에 대한 질문을 포함하는 제 2 화면을 포함할 수 있다.
본 발명의 다양한 실시예에 따른 사용자에게 영상에 의한 가상 현실 환경을 제공하는 가상 현실 장치의 구동 방법은 외부 장치로부터 수신된 신경질환 진단용 문제를 수신하는 단계; 상기 신경질환 진단용 문제에 기초하여, 상기 디스플레이가 가상 현실 환경을 표시하는 단계; 및 센싱부를 통해 상기 사용자의 동작을 감지하는 단계를 포함하고, 상기 가상 현실 환경을 표시하는 단계는 가상 현실 공간에서 적어도 하나의 물건을 소개한 다음에 숨기는 제 1 화면을 표시하는 단계, 및 상기 적어도 하나의 물건에 대한 질문을 포함하는 제 2 화면을 표시하는 단계를 포함할 수 있다.
본 발명은 상기와 같은 문제점을 해결하기 위한 것으로, 컴퓨터와 가상현실장비를 이용하여 손쉽게 신경질환을 진단할 수 있고, 환자의 정신적 스트레스를 줄일 수 있다.
도 1은 본 발명의 실시예에 따른 치매 진단 시스템의 구성 블록도이다.
도 2는 본 발명의 실시예에 따른 PC의 구성 블록도이다.
도 3은 본 발명의 실시예에 따른 HMD의 구성 블록도이다.
도 4는 본 발명의 일 실시예에 따른 치매 진단 시스템의 동작 흐름도이다.
도 5는 본 발명의 다른 실시예에 따른 치매 진단 시스템의 동작 흐름도이다.
도 6은 본 발명의 일 실시예에 따른 HMD의 동작 흐름도이다.
도 7 내지 도 12는 본 발명의 일 실시예에 따른 치매 진단 시스템을 이용해 숨긴 물건 찾기 테스트를 진행함으로써 치매를 진단하는 방법을 설명하기 위한 예시이다.
도 13 내지 도 23은 본 발명의 다른 실시예에 따른 치매 진단 시스템을 이용해 숨긴 물건 찾기 테스트를 진행함으로써 치매를 진단하는 방법을 설명하기 위한 예시이다.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 상세한 설명에서 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 상세한 설명에서 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 명세서에서 "신경질환"은 신경퇴행성 장애를 의미하고, 예를 들어 알츠하이머병(AD), 혈관 질환 치매, 전두측두엽 치매(FTD), 피질기저 퇴행(CBD), 진행핵상마비(PSP), 루이소체 치매, 매듭-우세 노인성 치매(tangle-predominant senile dementia), 픽병(Pick'sdisease)(PiD), 호은 과립(argyrophilic grain) 질환, 근위축성 측삭 경화증(ALS), 다른 운동 신경 질환, 괌(Guam) 파킨슨증-치매 복합, FTDP-17, 라이티코-보디그병(Lytico-Bodig disease), 다발성 경화증, 외상성 뇌손상(TBI) 및 파킨슨병으로 구성된 군으로부터 선택된 것이 가능하다. 아래에서는, 알츠하이머성 치매를 예로 들어 설명하지만, 본 발명이 여기에 제한되는 것은 아니다.
도 1은 본 발명의 실시예에 따른 치매 진단 시스템의 구성 블록도이다.
도 1을 참조하면, 본 발명의 실시예에 따른 치매 진단 시스템(100)은 PC(컴퓨터, 101)와, 가상 현실 장치(102), 네트워크(162), 스마트폰(104), 및 서버(106)를 포함할 수 있다.
가상 현실 장치(102)는 사용자의 머리에 착용되어 사용자의 눈 앞에 직접 영상을 표시할 수 있는 디스플레이 장치일 수 있다. 예를 들어, 가상 현실 장치(102)는 웨어러블 글래스 또는 헤드 마운트 디스플레이(Head Mount Display, HMD)로 구성될 수 있다. 도시된 예는, 설명의 편의를 위해 가상 현실 장치를 HMD(102)로 표기하였다. 가상 현실 장치(102)는 안경 형태를 가질 수 있으며, 투명한 디스플레이 또는 불투명한 디스플레이를 구비할 수 있다. 이에 따라, 가상 현실 장치(102)는 이를 착용한 사용자가 가상 현실 공간에 있는 것으로 인지하게 할 수 있다.
일 실시예에 따르면 가상 현실 장치(102)는 사용자에게 가상 현실을 체험시키기 위한 디스플레이뿐만 아니라, 스피커, 마이크, 또는 동작 감지 센서 등을 더 포함할 수 있다. 이러한 가상 현실 장치(102)에 관해서는 도 3을 참조하여 구체적으로 후술하기로 한다.
PC(101)는 버스(110), 프로세서(120), 메모리(130), 입출력 인터페이스(150), 디스플레이(160), 및 통신 인터페이스(170)를 포함할 수 있다. 버스(110)는 구성요소들(110-170)을 서로 연결하고, 구성요소들 간의 통신(예: 제어 메시지 또는 데이터)을 전달하는 회로를 포함할 수 있다. 프로세서(120)는, 중앙처리장치, 어플리케이션 프로세서, 또는 커뮤니케이션 프로세서(communication processor(CP)) 중 하나 또는 그 이상을 포함할 수 있다. 프로세서(120)는, 예를 들면, PC(101)의 적어도 하나의 다른 구성요소들의 제어 및/또는 통신에 관한 연산이나 데이터 처리를 실행할 수 있다.
메모리(130)는, 휘발성 및/또는 비휘발성 메모리를 포함할 수 있다. 메모리(130)는, 예를 들면, PC(101)의 적어도 하나의 다른 구성요소에 관계된 명령 또는 데이터를 저장할 수 있다. 한 실시예에 따르면, 메모리(130)는 소프트웨어 및/또는 프로그램(140)을 저장할 수 있다. 프로그램(140)은, 예를 들면, 커널(141), 미들웨어(143), 어플리케이션 프로그래밍 인터페이스(API)(145), 및/또는 어플리케이션 프로그램(또는 "어플리케이션")(147) 등을 포함할 수 있다. 커널(141), 미들웨어(143), 또는 API(145)의 적어도 일부는, 운영 시스템으로 지칭될 수 있다. 커널(141)은, 예를 들면, 다른 프로그램들(예: 미들웨어(143), API(145), 또는 어플리케이션 프로그램(147))에 구현된 동작 또는 기능을 실행하는 데 사용되는 시스템 리소스들(예: 버스(110), 프로세서(120), 또는 메모리(130) 등)을 제어 또는 관리할 수 있다. 또한, 커널(141)은 미들웨어(143), API(145), 또는 어플리케이션 프로그램(147)에서 PC(101)의 개별 구성요소에 접근함으로써, 시스템 리소스들을 제어 또는 관리할 수 있는 인터페이스를 제공할 수 있다.
미들웨어(143)는, 예를 들면, API(145) 또는 어플리케이션 프로그램(147)이 커널(141)과 통신하여 데이터를 주고받을 수 있도록 중개 역할을 수행할 수 있다. 또한, 미들웨어(143)는 어플리케이션 프로그램(147)으로부터 수신된 하나 이상의 작업 요청들을 우선 순위에 따라 처리할 수 있다. 예를 들면, 미들웨어(143)는 어플리케이션 프로그램(147) 중 적어도 하나에 PC(101)의 시스템 리소스(예: 버스(110), 프로세서(120), 또는 메모리(130) 등)를 사용할 수 있는 우선 순위를 부여하고, 상기 하나 이상의 작업 요청들을 처리할 수 있다. API(145)는 어플리케이션(147)이 커널(141) 또는 미들웨어(143)에서 제공되는 기능을 제어하기 위한 인터페이스로, 예를 들면, 파일 제어, 창 제어, 영상 처리, 또는 문자 제어 등을 위한 적어도 하나의 인터페이스 또는 함수(예: 명령어)를 포함할 수 있다.
입출력 인터페이스(150)는, 예를 들면, 사용자 또는 다른 외부 기기로부터 입력된 명령 또는 데이터를 PC(101)의 다른 구성요소(들)에 전달하거나, 또는 PC(101)의 다른 구성요소(들)로부터 수신된 명령 또는 데이터를 사용자 또는 다른 외부 기기로 출력할 수 있다.
디스플레이(160)는, 예를 들면, 액정 디스플레이(LCD), 발광 다이오드(LED) 디스플레이, 유기 발광 다이오드(OLED) 디스플레이를 포함할 수 있다. 디스플레이(160)는, 예를 들면, 사용자에게 각종 콘텐츠(예: 텍스트, 이미지, 비디오, 아이콘, 및/또는 심볼 등)을 표시할 수 있다. 디스플레이(160)는, 터치 스크린을 포함할 수 있으며, 예를 들면, 전자 펜 또는 사용자의 신체의 일부를 이용한 터치, 제스쳐, 근접, 또는 호버링 입력을 수신할 수 있다.
통신 인터페이스(170)는, 예를 들면, PC(101)와 가상 현실 장치(102), 스마트폰(104), 서버(106) 간의 통신을 설정할 수 있다. 예를 들면, 통신 인터페이스(170)는 무선 통신 또는 유선 통신을 통해서 네트워크(162)에 연결되어 외부 장치(예: 가상 현실 장치(102), 스마트폰(104), 서버(106))와 통신할 수 있다.
무선 통신은, 예를 들면, LTE, LTE-A(LTE Advance), CDMA(code division multiple access), WCDMA(wideband CDMA), UMTS(universal mobile telecommunications system), WiBro(Wireless Broadband), 또는 GSM(Global System for Mobile Communications) 등 중 적어도 하나를 사용하는 셀룰러 통신을 포함할 수 있다. 한 실시예에 따르면, 무선 통신은 근거리 통신(164)을 포함할 수 있다. 예를 들면, 근거리 통신은(164)은 WiFi(wireless fidelity), 블루투스, 블루투스 저전력(BLE), 지그비(Zigbee), NFC(near field communication) 중 적어도 하나를 포함할 수 있다.
유선 통신은, 예를 들면, USB(universal serial bus), HDMI(high definition multimedia interface), RS-232(recommended standard232), 전력선 통신, 또는 POTS(plain old telephone service) 등 중 적어도 하나를 포함할 수 있다. 네트워크(162)는 텔레커뮤니케이션 네트워크, 예를 들면, 컴퓨터 네트워크(예: LAN 또는 WAN), 인터넷, 또는 텔레폰 네트워크 중 적어도 하나를 포함할 수 있다.
다양한 실시예에 따르면, PC(101)에서 실행되는 동작들의 전부 또는 일부는 스마트폰(104) 또는 서버(106)에서 연동하여실행될 수 있다. 한 실시예에 따르면, PC(101)가 어떤 기능이나 서비스를 자동으로 또는 요청에 의하여 수행해야 할 경우에, PC(101)는 기능 또는 서비스를 자체적으로 실행시키는 대신에 또는 추가적으로, 그와 연관된 적어도 일부 기능을 다른 장치(예: 스마트폰(104) 또는 서버(106))에게 요청할 수 있다. 스마트폰(104) 또는 서버(106)는 요청된 기능 또는 추가 기능을 실행하고, 그 결과를 PC(101)로 전달할 수 있다. PC(101)는 수신된 결과를 그대로 또는 추가적으로 처리하여 요청된 기능이나 서비스를 제공할 수 있다. 이를 위하여, 본 발명의 시스템은 클라우드 컴퓨팅, 분산 컴퓨팅, 또는 클라이언트-서버 컴퓨팅 기술이 이용될 수 있다.
도 2는 본 발명의 실시예에 따른 PC의 구성 블록도이다. 예를 들어, 도 2에 도시된 PC(101)는 도 1에 도시된 PC(101)와 동일 또는 유사한 구성을 구비할 수 있다.
도 2를 참조하면, PC(101)는 프로세서(120), 메모리(130), 통신인터페이스(170), 디스플레이(160), 및 입출력인터페이스(150)를 포함할 수 있다.
프로세서(120)는 콘텐츠 선정부(122), 진단 결과 산출부(124)를 포함할 수 있다.
프로세서(120)의 콘텐츠 선정부(122)는 입출력 인터페이스(150)를 통해 제 1 사용자로부터 제 2 사용자에 대한 정보를 입력받고, 메모리(130)에 저장된 콘텐츠들 중 어느 하나에 기초한 문제를 선정할 수 있다. 여기서, 제 1 사용자는 치매 검사를 진행하는 전문 인력으로, 본 발명의 시스템을 이용해 제 2 사용자의 치매 여부를 결정하는 사람, 예컨대 검사자일 수 있다. 예를 들어, 제 1 사용자는 의사 또는 간호사일 수 있다. 제 2 사용자는 치매 검사를 수행하는 대상자로서, 병원에 방문하여 치매 여부를 검진을 받는 피검사자일 수 있다. 제 1 사용자는 콘텐츠 선정부(122)로부터 제공된 문제들 중 어느 하나를 선택하여 PC(101)가 선택된 문제를 가상 현실 장치(102)로 전송하도록 할 수 있다. 즉, PC(101)는 제 1 사용자로부터 적어도 하나의 콘텐츠를 선택하는 정보 또는 적어도 하나의 콘텐츠에 매핑된 문제를 선택하는 정보를 수신하고, 수신된 정보에 기초하여 검사용 문제를 가상 현실 장치(102)로 전송할 수 있다.
일 실시예에 따르면, 콘텐츠 선정부(122)는 메모리(130)의 사용자 정보 저장부를 참조하여 제 2 사용자의 검진 기록을 참조하고, 참조한 결과에 기초하여 콘텐츠를 자동적으로 선정 및 추천할 수 있다. 예를 들어, 콘텐츠 선정부(122)는 제 2 사용자의 검진 기록를 참조하여, 지난번에 검사한 치매 검사용 콘텐츠와 동일 또는 유사한 콘텐츠를 디스플레이(160)를 통해 제 1 사용자에게 알려줄 수 있다.
일 실시예에 따르면, 콘텐츠 선정부(122)는 PC(101)가 가상 현실 장치(102)에게 치매 검사용 문제를 전송한 이후에, 가상 현실 장치(102)로부터 수신된 인터럽트에 기초하여, 치매 검사용 문제의 종류 또는 치매 검사용 문제의 난이도를 재조정하고, 재조정된 치매 검사용 문제를 가상 현실 장치(102)로 전송할 수 있다. 여기서, 가상 현실 장치(102)로부터 수신된 인터럽트는 가상 현실 장치(102)를 통한 제 2 사용자의 치매 테스트 결과가 기준된 임계값보다 낮은 경우에 가상 현실 장치(102)가 생성하는 것일 수 있다. 예를 들어, 가상 현실 장치(102)는 제 2 사용자의 치매 테스트 결과 점수가 100점 만점 기준으로 50점 미만인 경우, 가상 현실 장치(102)는 인터럽트를 생성하여 PC(101)로 전송할 수 있다. 이와 같이, 본 발명의 실시예는 최초에 전송된 치매 검사용 문제의 난이도가 적정하지 못해 제 2 사용자의 검사 결과 점수가 현저히 낮은 경우, 가상 현실 장치(102)가 인터럽트를 전송함으로써, 제 2 사용자가 적정 난이도의 문제를 풀 수 있게 할 수 있다. 따라서, 본 발명은 보다 정확한 치매 진단이 가능하며, 치매 환자가 이용할 경우 단계적으로 뇌 훈련을 수행하여 뇌 기능 향상에 도움이 될 수 있다.
프로세서(120)의 진단 결과 산출부(124)는 가상 현실 장치(102)로부터 테스트 결과 정보를 수신하고, 테스트 결과 정보에 기초하여 진단 결과를 산출할 수 있다. 진단 결과 산출부(124)는 산출된 진단 결과에 기초하여 보고서를 생성하고, 생성된 보고서를 디스플레이(160)를 통해 출력할 수 있다. 예를 들어, 진단 결과 산출부(124)는 가상 현실 장치(102)에 전송한 문제들의 정답과, 제 2 사용자가 가상 현실 장치(102)를 통해 선택한 선택지를 비교하여 채점 결과를 생성할 수 있다. 예를 들어, 채점 결과는 100점 만점을 기준으로 산출될 수 있다. 진단 결과 산출부(124)는 각 문제 항목 별로 채점 결과를 산출하고, 산출 결과에 기초하여 보고서를 생성할 수 있다. 구체적으로, PC(101)로부터 가상 현실 장치(102)에 전송된 복수의 문제는 메모리(130)에 저장된 주의집중력 콘텐츠, 시공간능력 콘텐츠, 기억력 콘텐츠, 집행능력 콘텐츠, 언어능력 콘텐츠, 계산능력 콘텐츠, 및 소리인지력 콘텐츠 중 적어도 하나로부터 선별된 것일 수 있다. 예를 들어, PC(101)로부터 가상 현실 장치(102)에 전송된 복수의 문제가 기억력 콘텐츠에 해당하는 5문제, 집행능력 콘텐츠에 해당하는 5문제를 포함하여 10문제인 경우, 진단 결과 산출부(124)는 기억력 콘텐츠의 채점 결과와, 집행능력 콘텐츠의 채점 결과를 각각 산출할 수 있다. 따라서, 본 발명은 검진 대상자, 즉 검사를 받은 제 2 사용자의 기억력과 집행능력을 각각 따로 분석할 수 있다.
한편, 진단 결과 산출부(124)는 제 2 사용자의 치매 진단이 완료되면, 사용자 정보 저장부에 진단 결과를 저장할 수 있다.
메모리(130)는 주의집중력 콘텐츠(130a), 시공간능력 콘텐츠(130b), 기억력 콘텐츠(130c), 집행능력 콘텐츠(130d), 언어능력 콘텐츠(130e), 계산능력 콘텐츠(130f), 소리인지력 콘텐츠(130g), 및 사용자 정보 저장부(130h)를 포함할 수 있다.
주의집중력 콘텐츠(130a)는 같은그림찾기나 글자주의력을 평가하는 문제들로 구성된 콘텐츠를 포함할 수 있다.
시공간능력 콘텐츠(130b)는 사물지각력이나 시작적조합능력을 평가하는 문제들로 구성된 콘텐츠를 포함할 수 있다.
기억력 콘텐츠(130c)는 국기기억하기, 카드기억하기 또는 숫자기억하기 등의 문제들로 콘텐츠를 포함할 수 있다.
집행능력 콘텐츠(130d)는 그림완성하기나 범주화능력과 유사성능력을 평가하는 문제들로 구성된 콘텐츠를 포함할 수 있다.
언어능력 콘텐츠(130e)는 단어채우기나 단어찾기능력을 평가하는 문제들로 구성된 콘텐츠를 포함할 수 있다.
계산능력 콘텐츠(130f)는 사칙연산을 계산하는 능력을 평가하는 문제들로 구성된 콘텐츠를 포함할 수 있다.
소리인지력 콘텐츠(130g)는 소리에 맞는 그림찾기나 들은 순서대로 찾기 등의 문제들로 구성된 콘텐츠를 포함할 수 있다.
도 3은 본 발명의 실시예에 따른 가상 현실 장치의 구성 블록도이다. 예를 들어, 도 3에 도시된 가상 현실 장치(102)는 도 1에 도시된 가상 현실 장치(102)와 동일 또는 유사한 구성을 구비할 수 있다.
도 3을 참조하면, 가상 현실 장치(102)는 제어부(310), 디스플레이(320), 센싱부(330), 통신부(380), 메모리(370), 사용자 입력부(360), 전원 공급부(340), 출력부(350)를 포함할 수 있다.
센싱부(330)는 적어도 하나의 카메라(332) 및 센서(334)를 포함할 수 있다.
카메라(332)는 실제 공간의 객체를 촬영한다. 카메라(332)에 의해 촬영된 객체 이미지는, 동영상 이미지이거나, 연속적인 정지 영상 이미지들일 수 있다. 가상 현실 장치(102)는, 예를 들어, 통신 기능 및 데이터 프로세싱 기능을 구비한 안경 형태의 장치일 수 있다 제 2 사용자에 의해 착용된 가상 현실 장치(102)에서 제 2 사용자의 전방을 향하는 카메라(332)는, 실제 공간의 객체를 촬영할 수 있다.
카메라(332)는 제 2 사용자의 신체 중 적어도 일부를 촬영할 수 있다. 예를 들어, 카메라(332)는 제 2 사용자의 눈을 촬영할 수 있다. 예를 들어, 가상 현실 장치(102)는 제 2 사용자의 얼굴을 향하는 안구 추적용 카메라(332)를 구비할 수 있으며, 이는, 제 2 사용자의 머리 자세(head pose), 눈꺼풀, 및 눈동자 중 적어도 하나를 추적함으로써 제 2 사용자의 시선을 추척할 수 있다. 또한, 카메라(332)는 제 2 사용자의 손을 촬영할 수 있다. 예를 들어, 가상 현실 장치(102)는 제 2 사용자의 손을 추적하는 손 추적용 카메랄르 구비할 수 있으며, 이는, 제 2 사용자의 손등, 손가락, 또는 손목 등 중에서 적어도 하나를 추적함으로써 제 2 사용자의 손 동작을 추적할 수 있다.
센서(334)는, 가상 현실 장치(102)의 상태 또는 가상 현실 장치(102) 주변의 상태를 감지하고, 감지된 정보를 프로세서로 전달할 수 있다. 예를 들어, 센서(334)는, 제 2 사용자가 가상 현실 장치(102)를 착용하고 있는 착용 상태 정보를 획득할 수 있다. 예를 들어, 센서(334)는, 지자기 센서(334), 가속도 센서(334), 자이로스코프 센서(334), 근접 센서(334), 광학 센서(334), 깊이감 센서(334), 적외선 센서(334), 및 초음파 센서(334) 등을 포함할 수 있다.
통신부(380)는 가상 현실 장치(102)가 영상을 출력하고, 출력 영상을 조정하기 위하여 필요한 정보를, PC(101) 또는 스마트폰(104), 또는 서버(106)와 송수신할 수 있다.
메모리(370)는 가상 현실 장치(102)가 영상을 디스플레이(320)하고, 가상 현실 장치(102)의 기울기에 기초하여 영상을 조정하기 위하여 필요한 정보를 저장한다. 메모리(370)는, 제 2 사용자가 영상을 제공받기에 가장 적합한 위치에 가상 현실 장치(102)가 착용된 상태인 기준 착용 상태에 대한 정보를 저장할 수 있다. 예를 들어, 메모리(370)는, 기준 착용 상태에서 획득되는 제 2 사용자의 신체 부위에 대한 영상 및 기준 착용 상태에서 획득되는 신체 부위에 대한 영상으로부터 검출되는 특성값을 포함하는 기준 착용 상태 정보를 저장할 수 있다.
사용자 입력부(360)는 가상 현실 장치(102)를 제어하기 위한 사용자 입력을 수신한다. 사용자 입력부(360)에는 가상 현실 장치(102)에 대한 터치 입력, 및 키 입력을 수신할 수 있다. 또한, 사용자 입력부(360)는 카메라(332)로부터 촬영되는 제 2 사용자의 제스처 입력을 수신할 수도 있다.
전원 공급부(340)는 가상 현실 장치(102)의 동작을 위해 필요한 전원을 각 구성에 공급한다. 전원 공급부(340)는 전력을 충전할 수 있는 배터리(미도시)를 포함할 수 있으며, 외부로부터 전력을 수신할 수 있는 케이블(미도시) 또는 케이블 포트(미도시)를 포함할 수 있다.
출력부(350)는 통신부(380)로부터 수신되거나, 프로세서에서 처리되거나 메모리(370)에 저장된 정보를 빛, 소리 및 진동 중 적어도 하나의 형태로 출력한다. 예를 들어, 출력부(350)는, 오디오 데이터를 출력하는 스피커(352)를 포함할 수 있다. 또한, 스피커(352)는 가상 현실 장치(102)에서 수행되는 기능(예를 들어, 신호 수신음, 메시지 수신음, 알림음)과 관련된 음향 신호를 출력할 수 있다.
제어부(310)는 가상 현실 장치(102)의 전반적인 동작을 제어할 수 있다. 예를 들어, 제어부(310)는, 메모리(370)에 저장된 프로그램들을 실행함으로써, 디스플레이(320), 센싱부(330), 통신부(380), 메모리(370), 사용자 입력부(360), 출력부(350), 및 전원 공급부(340)를 제어할 수 있다. 제어부(310)는 PC(101) 또는 스마트폰(104)과 통신하여 치매 진단을 위한 문제를 수신할 수 있으며, 수신된 문제를 메모리(370)에 저장하여 실행할 수 있다.
가상 현실 장치(102)는 무선 통신, 근거리 통신, 또는 유선 통신을 통해 PC(101) 또는 스마트폰(104)와 연결될 수 있으며, PC(101) 또는 스마트폰(104)으로부터 치매 진단을 위한 문제 영상에 관한 정보를 수신함으로써, 가상 현실 장치(102)의 디스플레이(320) 상에 영상을 출력할 수 있다.
본 발명의 일 실시예에 따르면, 가상 현실 장치(102)로부터 제공되는 신경질환 진단용 문제는 가상 현실 공간에서 적어도 하나의 물건을 소개한 다음에 숨기는 제 1 화면과, 상기 적어도 하나의 물건에 대한 질문을 포함하는 제 2 화면을 포함할 수 있다. 여기서, 제 1 및 제 2 화면의 배경은 제 2 사용자가 거주하는 가정의 내부 환경을 포함하도록 구성될 수 있다. 예를 들어, 제 1 및 제 2 화면의 배경은 제 2 사용자가 거주하는 가정 내부 환경과 동일하게 구성될 수 있다. 이는, 치매 진단을 받는 사용자로 하여금 편안한 심리 상태를 제공하기 위한 것이다.
제 1 화면은 아바타가 등장하여 적어도 하나의 물건을 특정 공간 또는 특정 가구에 숨기는 영상이다.
제 2 화면은 사용자가 숨겨진 물건을 기억하는지 진단하기 위한 회상 단계, 사용자가 숨겨진 물건과 다른 물건을 구분하는지 진단하기 위한 인지 단계, 사용자가 숨겨진 물건과 장소를 연관지을수 있는지 진단하기 위한 매칭 단계를 포함한다.
회상 단계에서 가상 현실 장치(102)는 숨겨진 물건들을 순차적으로 표시하고, 표시된 물건이 어디에 숨겨졌는지 질문하여 사용자가 말하도록 하는 제 1 사용자 인터페이스를 제공한다.
인지 단계에서 가상 현실 장치(102)는 숨겨진 물건들과, 미리 소개하지 않았던 새로운 물건들을 섞은 패키지 화면을 표시하고, 패키지 화면에서 숨겨진 물건들 및 새로운 물건들을 구분하도록 질문하여 사용자가 말하도록 하는 제 2 사용자 인터페이스를 제공한다.
매칭 단계에서 가상 현실 장치(102)는 적어도 하나의 물건들이 숨겨진 가상 현실 공간을 표시하고, 사용자가 직접 이동하면서 숨겨진 물건들을 찾도록 하는 제 3 사용자 인터페이스를 제공한다.
이러한 신경질환 진단용 문제는 복수의 단계, 예컨대 제 1 내지 제 9 단계의 난이도를 포함하고, 난이도가 제 1 단계로부터 제 9 단계까지 증가 할수록 숨겨지는 물건의 개수가 증가하도록 구성될 수 있다.
한편, 가상 현실 장치(102)는 제 2 사용자의 신경질환 진단용 문제 풀이가 끝나면, 그 결과를 직접 산출할 수 있다.
구체적으로, 가상 현실 장치(102)의 제어부는 사용자의 움직인 거리인 제 1 조건, 사용자가 신경질환 진단용 문제를 모두 푸는데 소요된 시간인 제 2 조건, 및 사용자의 음성 또는 동작에 기초하여 작성된 답안지인 제 3 조건에 기초하여 점수를 산출하는 결과 처리 모듈(미도시)을 포함할 수 있다.
결과 처리 모듈은 제 1 내지 제 3 조건 각각에 대하여 미리 설정된 가중치를 부여하여 점수를 산출할 수 있다.
예를 들어, 결과 처리 모듈은 사용자의 움직인 거리인 제 1 조건에 가중치를 높게 설정하거나, 제 2 사용자가 신경질환 진단용 문제를 모두 푸는데 소요된 시간인 제 2 조건에 가중치를 높게 설정하거나, 및 사용자의 음성 또는 동작에 기초하여 작성된 답안지인 제 3 조건에 가중치를 높게 설정할 수 있다.
한편, 제어부는 산출된 점수와 기준 점수를 비교하고, 산출된 점수가 기준 점수 이상이면 제 2 사용자가 정상인 것으로 결정할 수 있다. 결과 처리 모듈은 산출된 점수를 통신부를 통해 외부 장치, 즉 PC 또는 스마트폰으로 전송할 수 있다.
도 4는 본 발명의 일 실시예에 따른 치매 진단 시스템의 동작 흐름도이다.
도시된 예는, 가상 현실 장치(102)가 PC(101) 또는 스마트폰(104)과 통신하는 것으로 하였지만, 이하 설명의 편의를 위해 가상 현실 장치(102)가 PC(101)와 통신하는 것으로 설명한다. 이하 설명에서 가상 현실 장치(102)와 PC(101)가 통신하는 동작은 가상 현실 장치(102)와 스마트폰(104) 간에 이루어질 수 있음에 주의해야 하며, PC(101)에서 이루어지는 적어도 하나의 동작은 스마트폰(104)이 수행할 수 있다.
가상 현실 장치(102)는 제 2 사용자가 가상 현실 장치(102)를 착용하는 것을 센싱할 수 있다.(401)
가상 현실 장치(102)는 제 2 사용자가 가상 현실 장치(102)를 착용한 것이 센싱되면, 센싱된 결과에 기초하여 센싱 신호를 생성하고, 생성된 센싱 신호를 PC(101)로 전송할 수 있다.(403)
PC(101)는 가상 현실 장치(102)로부터 수신된 센싱 신호에 응답하여 제 2 사용자가 가상 현실 장치(102)를 착용하였다는 것을 제 1 사용자가 인지할 수 있도록 화면을 출력할 수 있다. PC(101)는 센싱 신호에 응답하여, 제 2 사용자의 치매를 진단하기 위한 콘텐츠의 입력을 요청하는 사용자 인터페이스를 출력할 수 있다. PC(101)는 사용자 인터페이스를 통해 제 1 사용자로부터 콘텐츠에 매핑된 문제 및 난이도를 선택하는 입력을 수신할 수 있다.(405)
PC(101)는 제 1 사용자로부터 선택된 정보에 기초하여 테스트용 문제 및 난이도 정보를 가상 현실 장치(102)로 전송할 수 있다.(407) 예를 들어, 테스트용 문제는 PC(101)의 메모리에 저장된 주의집중력 콘텐츠(130a), 시공간능력 콘텐츠(130b), 기억력 콘텐츠(130c), 집행능력 콘텐츠(130d), 언어능력 콘텐츠(130e), 계산능력 콘텐츠(130f), 소리인지력 콘텐츠(130g), 및 사용자 정보 저장부(130h) 중 적어도 하나에 포함된 문제일 수 있다.
가상 현실 장치(102)는 PC(101)로부터 수신된 테스트용 문제 및 난이도 정보에 기초하여 테스트를 진행할 수 있다.(409) 가상 현실 장치(102)는 센서 및 카메라를 이용해 제 2 사용자의 시선, 음성, 또는 제스처 등을 센싱하고 센싱된 결과에 기초하여 제 2 사용자의 답안을 작성할 수 있다. 가상 현실 장치(102)는 테스트가 완료되면 작성된 답안에 해당하는 데이터를 PC(101)로 전송할 수 있다.(411)
다른 실시예에 따르면, 가상 현실 장치(102)는 제 2 사용자의 시선, 음성, 또는 제스처 등을 센싱하고 센싱된 결과를 특정 시간 단위로 버퍼에 저장할 수 있다. 가상 현실 장치(102)는 버퍼에 저장된 신호를 실시간으로 PC(101)에 전송할 수 있다.
PC(101)는 가상 현실 장치(102)로부터 작성된 답안에 해당하는 데이터를 수신하고, 수신된 데이터에 기초하여 제 2 사용자의 답안을 채점할 수 있다.(413)
PC(101)는 채점 결과 점수와 기준 점수를 비교하고(415), 비교된 결과에 기초하여 보고서를 생성하여 출력할 수 있다.(419)
추가적으로, PC(101)는 채점 결과 점수가 기준 점수보다 낮은 경우, 문제 및 문제의 난이도를 재선택할 것을 요청하는 화면을 출력할 수 있다. 이는, 제 2 사용자의 테스트 결과 점수가 현저히 낮은 경우, 정확한 치매를 진단하기 위해 문제 및 난이도를 재조정하기 위함이다. 따라서, 기준 점수는 제 2 사용자의 테스트를 다시 진행할지 여부를 결정짓도록 설정된 점수일 수 있다.
PC(101)는 제 1 사용자로부터 문제 또는 나이도를 재선택하는 입력을 수신하여, 변경된 문제 및 난이도를 포함하는 데이터를 생성할 수 있다.(417)
PC(101)는 재선택된 문제 또는 난이도를 갖는 데이터를 가상 현실 장치(102)로 전송할 수 있다.(421)
가상 현실 장치(102)는 PC(101)로부터 수신된 테스트용 문제 및 난이도 정보에 기초하여 테스트를 진행할 수 있다.(423) 가상 현실 장치(102)는 센서 및 카메라를 이용해 제 2 사용자의 시선, 음성, 또는 제스처 등을 센싱하고 센싱된 결과에 기초하여 제 2 사용자의 2번째 답안을 작성할 수 있다. 가상 현실 장치(102)는 테스트가 완료되면 작성된 답안에 해당하는 데이터를 PC(101)로 전송할 수 있다.(425)
PC(101)는 가상 현실 장치(102)로부터 작성된 답안에 해당하는 데이터를 수신하고, 수신된 데이터에 기초하여 제 2 사용자의 답안을 채점할 수 있다.(427) 그리고 PC(101)는 채점 결과 점수와 기준 점수를 비교하고(415), 비교된 결과에 기초하여 보고서를 생성하여 출력할 수 있다.(419)
도 5는 본 발명의 다른 실시예에 따른 치매 진단 시스템의 동작 흐름도이다.
도 5를 참조하면, 본 발명의 다른 실시예에 따른 치매 진단 시스템은 도 4에 도시된 예와 달리 가상 현실 장치(102)가 제 2 사용자의 선택 답안을 직접 채점하고, 채점 결과에 PC(101)로 전송하는 점에서 차이가 있다. 또한, 본 발명의 다른 실시예에 따른 치매 진단 시스템은 채점 결과 점수와 기준 점수를 비교하여 문제 또는 난이도를 재조정하기 위한 인터럽트를 생성하고, 생성된 인터럽트를 PC(101)로 전송하는 점에서 차이가 있다. 이하, 구체적으로 설명한다.
가상 현실 장치(102)는 제 2 사용자가 가상 현실 장치(102)를 착용하는 것을 센싱할 수 있다.(501)
가상 현실 장치(102)는 제 2 사용자가 가상 현실 장치(102)를 착용한 것이 센싱되면, 센싱된 결과에 기초하여 센싱 신호를 생성하고, 생성된 센싱 신호를 PC(101)로 전송할 수 있다.(503)
PC(101)는 가상 현실 장치(102)로부터 수신된 센싱 신호에 응답하여 제 2 사용자가 가상 현실 장치(102)를 착용하였다는 것을 제 1 사용자가 인지할 수 있도록 화면을 출력할 수 있다. PC(101)는 센싱 신호에 응답하여, 제 2 사용자의 치매를 진단하기 위한 콘텐츠의 입력을 요청하는 사용자 인터페이스를 출력할 수 있다. PC(101)는 사용자 인터페이스를 통해 제 1 사용자로부터 콘텐츠에 매핑된 문제 및 난이도를 선택하는 입력을 수신할 수 있다.(505)
PC(101)는 제 1 사용자로부터 선택된 정보에 기초하여 테스트용 문제 및 난이도 정보를 가상 현실 장치(102)로 전송할 수 있다.(507) 이때, PC(101)는 테스트용 문제와 아물러 문제의 정답에 해당하는 데이터도 함께 가상 현실 장치(102)로 전송할 수 있다. 예를 들어, 테스트용 문제는 PC(101)의 메모리에 저장된 주의집중력 콘텐츠(130a), 시공간능력 콘텐츠(130b), 기억력 콘텐츠(130c), 집행능력 콘텐츠(130d), 언어능력 콘텐츠(130e), 계산능력 콘텐츠(130f), 소리인지력 콘텐츠(130g), 및 사용자 정보 저장부(130h) 중 적어도 하나에 포함된 문제일 수 있다.
가상 현실 장치(102)는 PC(101)로부터 수신된 테스트용 문제 및 난이도 정보에 기초하여 테스트를 진행할 수 있다.(509) 가상 현실 장치(102)는 센서 및 카메라를 이용해 제 2 사용자의 시선, 음성, 또는 제스처 등을 센싱하고 센싱된 결과에 기초하여 제 2 사용자의 답안을 작성할 수 있다.
가상 현실 장치(102)는 생성된 제 2 사용자의 답안을 채점할 수 있다.(511)
가상 현실 장치(102)는 채점 결과 점수와 기준 점수를 비교하고(513), 비교된 결과에 기초한 데이터를 PC(101)로 전송할 수 있다.(515)
PC(101)는 가상 현실 장치(102)로부터 수신된 채점 결과에 기초하여 보고서를 생성할 수 있다.(529)
추가적으로, 가상 현실 장치(102)는 테스트 결과 점수가 기준 점수보다 낮은 경우, 문제 및 문제의 난이도를 재선택할 것을 요청하는 인터럽트를 생성하여 PC(101)로 전송할 수 있다.(517, 519) 이는, 제 2 사용자의 테스트 결과 점수가 현저히 낮은 경우, 정확한 치매를 진단하기 위해 문제 및 난이도를 재조정하기 위함이다. 따라서, 기준 점수는 제 2 사용자의 테스트를 다시 진행할지 여부를 결정짓도록 설정된 점수일 수 있다.
PC(101)는 가상 현실 장치(102)로부터 제공된 인터럽트에 응답하여 문제 및 문제의 난이도를 재선택할 것을 요청하는 화면을 출력할 수 있다.
PC(101)는 제 1 사용자로부터 문제 또는 나이도를 재선택하는 입력을 수신하여, 변경된 문제 및 난이도를 포함하는 데이터를 생성할 수 있다.(521, 523)
가상 현실 장치(102)는 PC(101)로부터 수신된 테스트용 문제 및 난이도 정보에 기초하여 테스트를 진행할 수 있다.(523) 가상 현실 장치(102)는 센서 및 카메라를 이용해 제 2 사용자의 시선, 음성, 또는 제스처 등을 센싱하고 센싱된 결과에 기초하여 제 2 사용자의 답안을 작성할 수 있다.
가상 현실 장치(102)는 생성된 제 2 사용자의 답안을 채점할 수 있다.(525)
가상 현실 장치(102)는 채점 결과 점수와 기준 점수를 비교하고(513), 비교된 결과에 기초한 데이터를 PC(101)로 전송할 수 있다.(527)
PC(101)는 가상 현실 장치(102)로부터 수신된 채점 결과에 기초하여 보고서를 생성할 수 있다.(529)
도 6은 본 발명의 일 실시예에 따른 가상 현실 장치(102)의 동작 흐름도이다. 도 7 내지 도 12는 본 발명의 일 실시예에 따른 치매 진단 시스템(100)을 이용해 숨긴 물건 찾기 테스트를 진행함으로써 치매를 진단하는 방법을 설명하기 위한 예시이다.
이하, 도 6 내지 도 12를 결부하여, 가상 현실 장치(102)를 이용해 숨긴 물건 찾기 테스트를 진행함으로써 치매를 진단할 수 있는 방법을 설명한다.
도 6 및 도 7을 참조하면, 단계 601에서 가상 현실 장치(102)는, 제 2 사용자가 가상 현실 장치(102)를 착용하는 것을 센싱할 수 있다. 단계 603에서 가상 현실 장치(102)는 제 2 사용자가 가상 현실 장치(102)를 착용한 것이 센싱되면, 센싱된 결과에 기초하여 센싱 신호를 생성하고, 생성된 센싱 신호를 PC(101)로 전송할 수 있다. PC(101)는 도 7에 도시된 바와 같이, 가상 현실 장치(102)로부터 수신된 센싱 신호에 응답하여 제 2 사용자가 가상 현실 장치(102)를 착용하였다는 것을 제 1 사용자가 인지할 수 있도록 안내 화면을 출력할 수 있다. PC(101)는 센싱 신호에 응답하여, 제 2 사용자의 치매를 진단하기 위한 콘텐츠의 입력을 요청하는 사용자 인터페이스를 출력할 수 있다. PC(101)는 사용자 인터페이스를 통해 제 1 사용자로부터 콘텐츠에 매핑된 문제 및 난이도를 선택하는 입력을 수신할 수 있다. 난이도는 2개에서 32개를 숨길 수 있는 총 4단계로 구분될 수 있다. 대안적으로, 난이도는 2개에서 32개를 숨길 수 있는 총 9 단계로 구분될 수도 있다.
도 6 및 도 8을 참조하면, 단계 605에서 가상 현실 장치(102)는 테스트용 문제 및 난이도 정보를 수신할 수 있다. 단계 607에서 가상 현실 장치(102)는 수신된 테스트용 문제 및 난이도 정보에 기초하여 테스트를 진행하는 방법을 설명하는 화면으로 출력할 수 있다. 예를 들어, 테스트 진행 방법을 설명하는 화면은 도 8에 도시된 바와 같이, 가상 현실 공간으로서 방(801)을 배경으로 하고, 테스트를 방법을 설명하는 아바타(810)를 포함할 수 있다. 아바타(810)는 시각 정보 및 소리 정보 형태로 테스트 진행 방법을 설명할 수 있다. 예를 들어, 아바타(810)는 숨긴 물건 찾기 테스트 방법에 대하여 설명할 수 있으며, 예를 들어, "지금부터 물건을 보여드리고 숨기겠습니다. 제가 곰인형(925)을 어디에 숨겼는지 맞춰보세요"라는 음성 메시지를 출력할 수 있다.
도 6 및 도 9를 참조하면, 단계 609에서 가상 현실 장치(102)는 테스트 방법의 설명이 끝나면, 테스트를 수행할 수 있다. 이때, 가상 현실 장치(102)는 센서 및 카메라를 이용해 제 2 사용자의 시선, 음성, 또는 제스처 등을 센싱하고 센싱된 결과에 기초하여 제 2 사용자의 답안을 작성할 수 있다. 테스트 진행시, 아바타(810)는 등장하여 복수의 사물을 순서대로 보여준 다음, 보여준 사물을 배경으로 표시된 방(801)의 곳곳에 숨길 수 있다. 아바타(810)가 숨기는 물건은 도 9에 도시된 바와 같이, 장갑(901), 케익(903), 지갑(905), 카메라(907), 시계(909), 안경(911), 야구공(913), 양초(915), 열쇠(917), 사과(919), 바나나(921), 핸드폰(923), 곰인형(925), 구두(927), 리모컨(929), 또는 망치(931) 중 선택된 적어도 일부일 수 있다. 그러나, 본 발명에서 아바타(810)가 숨기는 물건은 도 9에 도시된 사물에 국한되지 않으며 사람 또는 동물일 수도 있음에 주의해야 한다.
배경이 되는 방은 가급적 편안한 개인 공간 형태로 구성되는 것이 바람직하다. 또한, 물건을 숨길 수 있는 장소 및 물건은 각각 약 30개로 구성됨이 바람직하다. 다만, 숨기는 물건의 개수는 난이도 조절에 따라 2개 내지 15개까지 자유롭게 조정될 수 있다. 또한, 물건은 한국어 빈도사전을 통해 사용빈도가 높은 단어 추출. 일상생활에 많이 사용되는 물건 중에서 선별하는 것이 바람직하다.
도 10를 참조하면, 가상 현실 장치(102)는 아바타(810)에 의해 물건 숨기기가 끝나면, 제 2 사용자에게 숨겨진 물건을 찾아달라는 인터페이스 화면을 출력할 수 있다. 예를 들어, 가상 현실 장치(102)는 곰인형(925), 바나나(921), 사과(919), 또는 리모컨(929)이 어디에 숨겨졌는지 제 2 사용자가 찾도록 하는 문제를 출력할 수 있다.
가상 현실 장치(102)는 센서 및 카메라를 이용해 제 2 사용자의 시선, 음성, 또는 제스처를 감지하고, 감지된 결과에 기초하여 배경으로 표시되는 가상 현실 공간(예: 방(801))에서 보여지는 제 2 사용자의 시선과 제 2 사용자의 장소를 이동시킬 수 있다. 이에 따라, 제 2 사용자는 도 11에 도시된 바와 같이, 가상 현실 장치(102)를 착용한 상태에서 가상 현실 공간에서의 시선 및 장소를 제어할 수 있다. 도 11에 도시된 예는 제 2 사용자가 아바타(810)가 찬장(1101)에 숨긴 곰인형(925)을 찾는 과정을 예시적으로 나타내고 있다.
도 6 및 도 12를 참조하면, 단계 611에서 가상 현실 장치(102)는 제 2 사용자가 테스트를 진행하는 동안 센싱한 제 2 사용자의 시선, 음성, 또는 제스처 등에 기초하여 제 2 사용자의 답안을 작성하고, 결과 데이터를 생성한다. 이때, 가상 현실 장치(102)로부터 생성되는 결과 데이터는 도 12의 (a)와 같이, 제 2 사용자가 움직인 거리 정보, 도 12의 (b)와 같이, 제 2 사용자의 테스트 참여 시간 정보, 도 12의 (c)에 도시한 바와 같이 채점한 결과, 즉 답안지 정보를 포함할 수 있으며, 이들 정보는 개별적으로 표시될 수 있다.
한편, 테스트 영상은 6 분 내지 7분으로 설정됨이 바람직하다. 이는, 테스트 영상의 재생 시간이 너무 짧으면 영상에 충분한 내용이 들어가지 못하고, 재생 시간이 7분을 초과할 경우 포함되는 내용이 너무 많아 테스트의 난이도가 급격히 증가하고 정확한 진단이 어렵기 때문이다.
단계 613에서, 가상 현실 장치(102)는 테스트 완료후 생성된 결과 데이터를 PC(101)로 전송할 수 있다.
한편, 본 발명의 다른 실시예에 따른 가상 현실 장치(102)는 자체적으로 채점을 진행하여, 채점 결과를 PC(101)로 전송할 수도 있다. 또한, 가상 현실 장치(102)는 채점 결과 점수가 기준 점수보다 낮은 경우, 문제 및 문제의 난이도를 재선택할 것을 요청하는 화면을 출력할 수 있다. 예를 들어, 단계 615에서 가상 현실 장치(102)는 채점 결과 점수와 기준 점수를 비교하고, 테스트 결과 점수가 기준 점수보다 낮은 경우, 문제 및 문제의 난이도를 재선택할 것을 요청하는 인터럽트를 생성하여 PC(101)로 전송할 수 있다.(617)
도 13 내지 도 23은 본 발명의 다른 실시예에 따른 치매 진단 시스템(100)을 이용해 숨긴 물건 찾기 테스트를 진행함으로써 치매를 진단하는 방법을 설명하기 위한 예시이다.
도 13을 참조하면, PC(101)는 제 2 사용자의 치매를 진단하기에 앞서, 제 2 사용자에 관한 기본적인 정보를 입력하기 위한 사용자 인터페이스를 PC(101)를 통해 출력할 수 있다. PC(101)로부터 출력되는 사용자 인터페이스, 즉 기본 정보 입력 화면은, 제 2 사용자(피검사자)의 이름, 성별, 생년월일, 나이, 학력, 손잡이, 시력 장애 여부, 청력 장애 여부, 검사 실시 기관, 검사 날짜, 검사자 이름, 국적, 모국어, 및 메모 등을 포함할 수 있다.
도 14를 참조하면, PC(101)는 제 1 사용자에 의해 기본 정보 입력이 완료된 것에 응답하여, 검사 레벨(검사 난이도)을 설정하기 위한 메뉴를 출력할 수 있다. 검사 레벨을 설정하기 위한 메뉴는, 예를 들어, 제 1 단계 내지 제 4 단계 중 어느 하나를 선택하도록 구성될 수 있다.
도 15를 참조하면, 검사자, 즉 제 1 사용자는 기본 정보 입력 및 검사 레벨 설정이 완료되면, 제 2 사용자(피검사자)에게 가상 현실 장치(102)의 착용을 안내할 수 있다. 제 1 사용자는 제 2 사용자를 검사 시작점에 해당하는 의자에 착석시키고, 가상 현실 장치(102)의 사용법을 안내할 수 있다. 가상 현실 장치(102)는 예를 들어, HMD와 같은 헤드셋과, 양손에 파지하도록 구성된 컨트롤러를 포함할 수 있다. 이때, 제 1 사용자는 제 2 사용자가 헤드셋을 양쪽 눈에 맞춰 착용하도록 안내하고, 양쪽 손이 컨트롤러를 잡도록 안내할 수 있다. 제 1 사용자는 제 2 사용자가 가상 현실 장치(102)의 착용이 올바르게 되었는지 확인할 수 있다. 확인 방법은, 예를 들어, 헤드셋 일측(예: 왼쪽)에 마련된 램프가 점등되었는지 확인하는 과정, 피검사자가 고개를 좌우로 움직이면서 공간이 보이는지 확인하는 과정, 및 양손에 잡고 있는 컨트롤러에 마련된 램프가 점등되었는지 확인하는 과정을 포함할 수 있다. 상기 확인 과정이 모두 정상적으로 완료되면, 제 1 사용자는 의자를 공간에서 제거하고 제 2 사용자가 해당 지점에서 서서 대기하도록 안내할 수 있다.
도 16을 참조하면, 제 1 사용자는 PC(101)를 제어하여 치매 검사의 시작을 지시할 수 있다. PC(101)는 제 1 사용자로부터의 치매 검사 시작 지시에 응답하여, 가상 현실 장치(102)를 제어할 수 있다. 치매 검사가 시작되면, 가상 현실 장치(102)는 도 16에 나타낸 바와 같은 화면을 출력할 수 있다. 예를 들어, 가상 현실 장치(102)는 제 2 사용자가 가상 현실 공간을 먼저 인지 및 학습하도록 하기 위해 “눈앞에 보이는 거실을 돌아다니며 체험후, 출발 위치로 돌아오세요”와 같은 안내를 출력할 수 있다. 이때, 안내는 문자, 음성 중 어느 하나이거나 문자 및 음성의 조합일 수 있다. 상기 안내 과정이 끝나면, 가상 현실 장치(102)는 Practice trial 과정을 수행할 수 있다. Practice trial과정은, 예를 들어, 바닥에 빨간 선을 따라 이동하세요; 서랍장을 열어주세요; 서랍장 안에 물건을 꺼내주세요; 서랍장에 스티커를 붙여보겠습니다; 및 자유롭게 거실을 돌아보신 후 빨간 원 위에 서서 박스를 봐주세요. 와 같은 문구들을 포함할 수 있다. 일 실시예에 따르면, 가상 현실 장치(102)는 상기 안내 문구들은 순차적으로 하나씩 출력할 수 있으며, 제 2 사용자가 해당 안내에 따른 동작을 이수할 때마다 새로운 안내 문구를 출력할 수 있다.
도 17을 참조하면, 가상 현실 장치(102)는 Practice trial과정이 완료되면, Prospective memory 과정을 수행할 수 있다. 예를 들어, 가상 현실 장치(102)는 Prospective memory 과정에서 “잠시 후에 물건 숨기고 찾기가 진행될 것입니다. 2번째 물건을 찾으신 후에는 창문을 열어주세요”와 같은 안내 문구를 출력할 수 있다. 대안적으로, 상기 안내 문구는 “잠시 후 모든 물건을 다 찾은 후에 냄비의 불을 꺼주세요”와 같은 내용을 포함할 수 있다. 이와 같이, Place-item matching의 모든 물건을 다 찾은 후 prospective memory를 테스트하는 이유는 검사 중 prospective memory를 수행하면 시간, 거리에 영향을 주어 다른 평가에 영향을 최소화시키기 위해서이다.
도 18을 참조하면, 가상 현실 장치(102)는 Prospective memory 과정이 완료되면, 물건 숨기기 과정을 수행할 수 있다. 예를 들어, 가상 현실 장치(102)는 물건 숨기기 과정에서, “상자에서 나온 물체를 확인하고, 숨기는 장소를 기억하세요”, 또는 “이제 물건이 하나씩 나와서 앞에 보이는 공간으로 숨겨질 것입니다. 물체와 숨겨지는 장소를 잘 기억하세요”와 같은 안내 문구를 출력할 수 있다. 그리고 가상 현실 장치(102)는 이어서, 숨겨진 물체에 해당된 단어의 예시로서 “사과”, “바나나”… 등을 출력할 수 있다. 일 실시예에 따르면, 물건 숨기기 과정에서, 가상 현실 장치(102)는 물건이 나와서 360도 돌아가는 영상이 표시되면서, 상기 물건에 매칭된 단어가 음성 신호로 출력되고, 상기 물건이 숨겨지는 시나리오 영상을 출력할 수 있다. 여기서, 단어를 불러주는 이유는 free-recall 평가시 같은 물건의 다양한 이름(ex. 달걀, 계란) 중 이전에 보여진 시나리오 영상대로 대답하는지 확인하기 위해서이다. 또한, 본 발명에서 물건은 사람 아바타가 나와 숨기지 않고 물건만 날아가는데, 그 이유는 테스트 결과 물건이 날아가는 궤적을 사람이 가려 어떻게 숨겨지는지 제대로 확인이 어렵고, 사람의 움직임을 컨트롤하여야 되어 물건이 날아가는 속도조절이 제한적이기 때문이다.
도 19a를 참조하면, 가상 현실 장치(102)는 물건 숨기기 과정이 완료되면, Item free-recall 과정을 수행할 수 있다. 예를 들어, 가상 현실 장치(102)는 Item free-recall 과정에서, “상자에서 나온 물체를 기억나는데로 말해보세요” 또는 “자, 방금 전 숨겨진 물건을 기억나는 대로 모두 말해보세요”와 같은 안내 문구를 출력할 수 있다.
한편, PC(101)는 가상 현실 장치(102)를 통해 제 2 사용자가 말하는 물체에 대한 정보를 수신하고, 수신된 정보에 기초하여 도 19b에 도시한 바와 같은 제 2 사용자의 답안 체크 화면을 출력할 수 있다. 이에 따라, 제 1 사용자, 즉 시험자는 PC(101)를 통해 제 2 사용자가 수행 중인 Item free-recall 테스트 결과 정보를 인지할 수 있다.
도 20을 참조하면, 가상 현실 장치(102)는 Item free-recall 과정이 완료되면, Place free-recall 과정을 수행할 수 있다. 예를 들어, 가상 현실 장치(102)는 Place free-recall 과정에서 “물건이 숨겨진 위치에 스티커를 붙이고 출발 위치로 돌아오세요” 또는 “거실을 돌아다니며 물건이 숨겨진 장소에 스티커를 하나씩 붙여주세요”와 같은 안내 문구를 출력할 수 있다. 일 실시예에 따르면, Place free-recall 과정에서 스티커만 붙이는 이유는, 서랍을 열어 볼 경우 물건이 들어있던 아니던, 다음에 place-item matching 수행에 영향을 줄 수 있기 때문에 장소를 열어보지 않고 해당 위치에 스티커만 부착하는 것이다.
도 21을 참조하면, 가상 현실 장치(102)는 Place free-recall 과정이 완료되면, Item recognition 과정을 수행할 수 있다. 예를 들어, 가상 현실 장치(102)는 Item recognition 과정에서 “지금 보시는 물건 4가지 중에서 조금 전 숨겨진 물건 하나를 선택하세요”와 같은 안내 문구를 출력할 수 있다. Item recognition 과정에서, 가상 현실 장치(102)는 복수의 물건을 표시하고, 그 중에서 적어도 하나의 이전 화면에서 출력된 물건들을 선택하도록 하는 시나리오 영상을 출력할 수 있다.
도 22를 참조하면, 가상 현실 장치(102)는 Item recognition 과정이 완료되면, Place-item matching을 수행할 수 있다. 예를 들어, 가상 현실 장치(102)는 Place-item matching 과정에서 “이제부터, 물건을 하나씩 보여 드리겠습니다. 이 물건이 숨겨진 장소에 가서 물건을 찾아 상자에 담아주세요. 찾는 물건이 없거나 다른 물건이 있으면 그냥 돌아오시면 됩니다.”와 같은 안내 문구를 출력할 수 있다. 본 발명의 일 실시예에 따르면, 치매 진단 시스템(100)은 제 2 사용자가 물건을 제대로 찾은 경우(O), 다른 물건이 든 장소를 열어본 경우(△), 아무 물건이 없는 경우(X)로 나누어 점수를 계산할 수 있다. 여기서, 다른 물건이 든 장소를 열어본 경우(△)는 다음 물건을 찾을 때 도움이 되며, 또한 해당 위치에 물건이 숨겨진 것을 기억하는 것이므로 점수 계산에 반영한 것이다. 이와 같이, 본 발명은 물건 찾기 테스트 있어서 단순히 정답/오답만을 점수에 반영하는 것이 아니고, 다른 물건이 든 장소를 열어본 경우(△)도 반영하여 보다 다양한 경우의 수를 점수에 반영하므로 검사 결과의 신뢰성을 높일 수 있다.
치매 진단 시스템(100)은 Place-item matching과정까지 완료되면, 도 23에 도시된 바와 같은, 검사 결과 화면을 PC(101)를 통해 출력할 수 있다.
상술한 바와 같이, 본 발명은 컴퓨터와 가상현실장비를 이용하여 손쉽게 치매를 진단할 수 있고, 환자의 정신적 스트레스를 줄일 수 있다.
상기에서는 본 발명을 특정의 바람직한 실시예에 관련하여 도시하고 설명하였지만, 이하의 특허청구범위에 의해 마련되는 본 발명의 기술적 특징이나 분야를 이탈하지 않는 한도 내에서 본 발명이 다양하게 개조 및 변화될 수 있다는 것은 당업계에서 통상의 지식을 가진 자에게 명백한 것이다.
101: PC
102: 헤드 마운트 디스플레이(Head Mount Display, HMD)
104: 스마트폰
106: 서버

Claims (26)

  1. 사용자에게 영상에 의한 가상 현실 환경을 제공하는 가상 현실 장치에 있어서,
    디스플레이;
    센싱부;
    통신부; 및
    상기 통신부를 통해 외부 장치로부터 수신된 신경질환 진단용 문제에 기초하여, 상기 디스플레이가 가상 현실 환경을 표시하고, 상기 센싱부를 통해 상기 사용자의 동작을 감지하도록 구성된 제어부를 포함하고;
    상기 신경질환 진단용 문제는
    가상 현실 공간에서 적어도 하나의 물건을 소개한 다음에 숨기는 제 1 화면과, 상기 적어도 하나의 물건에 대한 질문을 포함하는 제 2 화면을 포함하며,
    상기 제 1 및 제 2 화면의 배경은 상기 사용자가 거주하는 가정의 내부 환경을 포함하여 구성되고,
    상기 제 2 화면은,
    상기 사용자가 숨겨진 물건을 기억하는지 진단하기 위한 회상 단계, 상기 사용자가 숨겨진 물건과 다른 물건을 구분하는지 진단하기 위한 인지 단계, 및 상기 사용자가 숨겨진 물건과 장소를 연관지을 수 있는지 진단하기 위한 매칭 단계를 포함하는 것을 특징으로 하는 가상 현실 장치.
  2. 제 1 항에 있어서,
    상기 제 1 화면은 아바타가 등장하여 상기 적어도 하나의 물건을 특정 공간 또는 특정 가구에 숨기는 영상을 포함하는 것을 특징으로 하는,
    가상 현실 장치.
  3. 삭제
  4. 제 1 항에 있어서,
    상기 신경질환 진단용 문제는
    제 1 내지 제 9 단계의 난이도를 포함하고,
    상기 난이도가 상기 제 1 단계로부터 상기 제 9 단계까지 증가 할수록 숨겨지는 물건의 개수가 증가하는 것을 특징으로 하는,
    가상 현실 장치.
  5. 삭제
  6. 제 1 항에 있어서,
    상기 회상 단계는
    상기 숨겨진 물건들을 순차적으로 표시하고,
    상기 표시된 물건이 어디에 숨겨졌는지 질문하여 상기 사용자가 말하도록 하는 제 1 사용자 인터페이스를 포함하는 것을 특징으로 하는,
    가상 현실 장치.
  7. 제 1 항에 있어서,
    상기 인지 단계는
    상기 숨겨진 물건들과, 미리 소개하지 않았던 새로운 물건들을 섞은 패키지 화면을 표시하고,
    상기 패키지 화면에서 상기 상기 숨겨진 물건들 및 상기 새로운 물건들을 구분하도록 질문하여 상기 사용자가 말하도록 하는 제 2 사용자 인터페이스를 포함하는 것을 특징으로 하는,
    가상 현실 장치.
  8. 제 1 항에 있어서,
    상기 매칭 단계는
    상기 적어도 하나의 물건들이 숨겨진 가상 현실 공간을 표시하고,
    상기 사용자가 직접 이동하면서 상기 숨겨진 물건들을 찾도록 하는 제 3 사용자 인터페이스를 포함하는 것을 특징으로 하는,
    가상 현실 장치.
  9. 제 8 항에 있어서,
    상기 제어부는
    상기 사용자의 움직인 거리인 제 1 조건, 상기 사용자가 상기 신경질환 진단용 문제를 모두 푸는데 소요된 시간인 제 2 조건, 및 상기 사용자의 음성 또는 동작에 기초하여 작성된 답안지인 제 3 조건에 기초하여 점수를 산출하는 결과 처리 모듈을 포함하는 것을 특징으로 하는,
    가상 현실 장치.
  10. 제 9 항에 있어서,
    상기 결과 처리 모듈은 상기 제 1 내지 제 3 조건 각각에 대하여 미리 설정된 가중치를 부여하여 상기 점수를 산출하는 것을 특징으로 하는,
    가상 현실 장치.
  11. 제 9 항에 있어서,
    상기 제어부는 상기 산출된 점수와 기준 점수를 비교하고,
    상기 산출된 점수가 상기 기준 점수 이상이면 상기 사용자가 정상인 것으로 결정하는 것을 특징으로 하는,
    가상 현실 장치.
  12. 제 9 항에 있어서,
    상기 결과 처리 모듈은 상기 산출된 점수를 상기 통신부를 통해 상기 외부 장치로 전송하는 것을 특징으로 하는,
    가상 현실 장치.
  13. 제 1 항에 있어서,
    상기 통신부는 상기 외부 장치와 통신하기 위한 무선 통신 모듈 또는 유선 통신 모듈을 포함하고,
    상기 외부 장치는 스마트폰 또는 PC인 것을 특징으로 하는,
    가상 현실 장치.
  14. 사용자에게 영상에 의한 가상 현실 환경을 제공하는 가상 현실 장치의 구동 방법에 있어서,
    외부 장치로부터 수신된 신경질환 진단용 문제를 수신하는 단계;
    상기 신경질환 진단용 문제에 기초하여, 디스플레이가 가상 현실 환경을 표시하는 단계; 및
    센싱부를 통해 상기 사용자의 동작을 감지하는 단계를 포함하고,
    상기 가상 현실 환경을 표시하는 단계는,
    가상 현실 공간에서 적어도 하나의 물건을 소개한 다음에 숨기는 제 1 화면을 표시하는 단계, 및
    상기 적어도 하나의 물건에 대한 질문을 포함하는 제 2 화면을 표시하는 단계를 포함하며,
    상기 제 1 및 제 2 화면의 배경은 상기 사용자가 거주하는 가정의 내부 환경을 포함하여 구성되고,
    상기 제 2 화면은,
    상기 사용자가 숨겨진 물건을 기억하는지 진단하기 위한 회상 단계, 상기 사용자가 숨겨진 물건과 다른 물건을 구분하는지 진단하기 위한 인지 단계, 및 상기 사용자가 숨겨진 물건과 장소를 연관지을 수 있는지 진단하기 위한 매칭 단계를 포함하는 것을 특징으로 하는 방법.
  15. 제 14 항에 있어서,
    상기 제 1 화면을 표시하는 단계는
    아바타가 등장하여 상기 아바타가 상기 적어도 하나의 물건을 특정 공간 또는 특정 가구에 숨기는 영상을 표시하는 단계를 포함하는 것을 특징으로 하는,
    방법.
  16. 삭제
  17. 제 14 항에 있어서,
    상기 신경질환 진단용 문제를 제 1 내지 제 9 단계의 난이도 중 어느 하나로 결정하는 단계를 더 포함하고,
    상기 난이도는 상기 제 1 단계로부터 상기 제 9 단계까지 증가 할수록 숨겨지는 물건의 개수가 증가하는 것을 특징으로 하는,
    방법.
  18. 삭제
  19. 제 14 항에 있어서,
    상기 회상 단계는
    상기 숨겨진 물건들을 순차적으로 표시하는 단계, 및
    상기 표시된 물건이 어디에 숨겨졌는지 질문하여 상기 사용자가 말하도록 하는 제 1 사용자 인터페이스를 제공하는 단계를 포함하는 것을 특징으로 하는,
    방법.
  20. 제 14 항에 있어서,
    상기 인지 단계는
    상기 숨겨진 물건들과, 미리 소개하지 않았던 새로운 물건들을 섞은 패키지 화면을 표시하는 단계, 및
    상기 패키지 화면에서 상기 상기 숨겨진 물건들 및 상기 새로운 물건들을 구분하도록 질문하여 상기 사용자가 말하도록 하는 제 2 사용자 인터페이스를 제공하는 단계를 포함하는 것을 특징으로 하는,
    방법.
  21. 제 14 항에 있어서,
    상기 매칭 단계는
    상기 적어도 하나의 물건들이 숨겨진 가상 현실 공간을 표시하는 단계, 및
    상기 사용자가 직접 이동하면서 상기 숨겨진 물건들을 찾도록 하는 제 3 사용자 인터페이스를 제공하는 단계를 포함하는 것을 특징으로 하는,
    방법.
  22. 제 21 항에 있어서,
    상기 사용자의 움직인 거리인 제 1 조건, 상기 사용자가 상기 신경질환 진단용 문제를 모두 푸는데 소요된 시간인 제 2 조건, 및 상기 사용자의 음성 또는 동작에 기초하여 작성된 답안지인 제 3 조건에 기초하여 점수를 산출하는 단계를 더 포함하는 것을 특징으로 하는,
    방법.
  23. 제 22 항에 있어서,
    상기 점수를 산출하는 단계는
    상기 제 1 내지 제 3 조건 각각에 대하여 미리 설정된 가중치를 부여하여 상기 점수를 산출하는 단계인 것을 특징으로 하는,
    방법.
  24. 제 22 항에 있어서,
    상기 산출된 점수와 기준 점수를 비교하는 단계, 및
    상기 산출된 점수가 상기 기준 점수 이상이면 상기 사용자가 정상인 것으로 결정하는 단계를 더 포함하는 것을 특징으로 하는,
    방법.
  25. 제 22 항에 있어서,
    상기 산출된 점수를 상기 외부 장치로 전송하는 단계를 더 포함하는 것을 특징으로 하는,
    방법.
  26. 제 25 항에 있어서,
    상기 전송하는 단계는
    상기 외부 장치와 통신하기 위한 무선 통신 모듈 또는 유선 통신 모듈을 이용하는 단계이고,
    상기 외부 장치는 스마트폰 또는 PC인 것을 특징으로 하는,
    방법.
KR1020170037050A 2017-03-23 2017-03-23 가상현실을 이용한 신경질환 진단 장치 및 방법 KR101983279B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020170037050A KR101983279B1 (ko) 2017-03-23 2017-03-23 가상현실을 이용한 신경질환 진단 장치 및 방법
EP18772442.2A EP3603491A4 (en) 2017-03-23 2018-03-20 DEVICE AND METHOD FOR DIAGNOSING NEUROLOGICAL DISORDERS USING VIRTUAL REALITY
CN201880014036.1A CN110430802B (zh) 2017-03-23 2018-03-20 利用虚拟现实的神经疾病诊断装置及方法
PCT/KR2018/003203 WO2018174507A1 (ko) 2017-03-23 2018-03-20 가상현실을 이용한 신경질환 진단 장치 및 방법
US16/496,100 US11826160B2 (en) 2017-03-23 2018-03-20 Nerve disorder diagnosis apparatus and method using virtual reality

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170037050A KR101983279B1 (ko) 2017-03-23 2017-03-23 가상현실을 이용한 신경질환 진단 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20180108954A KR20180108954A (ko) 2018-10-05
KR101983279B1 true KR101983279B1 (ko) 2019-05-30

Family

ID=63586095

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170037050A KR101983279B1 (ko) 2017-03-23 2017-03-23 가상현실을 이용한 신경질환 진단 장치 및 방법

Country Status (5)

Country Link
US (1) US11826160B2 (ko)
EP (1) EP3603491A4 (ko)
KR (1) KR101983279B1 (ko)
CN (1) CN110430802B (ko)
WO (1) WO2018174507A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022092371A1 (ko) * 2020-10-30 2022-05-05 주식회사 이노베이션시스템 Vr을 이용한 치매 진단 방법 및 이를 이용하는 장치

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220013031A1 (en) * 2018-12-10 2022-01-13 C2 Monster Co., Ltd. Dementia patient training system using virtual reality
US11612316B2 (en) 2019-06-20 2023-03-28 Awss Zidan Medical system and method operable to control sensor-based wearable devices for examining eyes
KR102200196B1 (ko) * 2019-09-11 2021-01-08 백종엽 위치 정보를 이용한 증강현실 기반의 캐릭터 제공 시스템
WO2022025563A1 (ko) * 2020-07-28 2022-02-03 재단법인 아산사회복지재단 가상 현실 기반 중추신경계 탈수초 질환 환자의 뇌 훈련 장치, 방법 및 시스템
KR102508262B1 (ko) * 2021-02-26 2023-03-09 (주)블라우비트 음성 및 시선 추적을 이용한 치매 진단 장치 및 치매 정보 제공 방법
KR102657044B1 (ko) * 2021-08-10 2024-04-15 충북대학교 산학협력단 가상환경을 이용한 자가 신체 검진 장치 및 그 제어방법
KR102392318B1 (ko) * 2022-01-17 2022-05-02 주식회사 하이 혼합 테스트에 기초하여 치매를 식별하는 기법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080280276A1 (en) * 2007-05-09 2008-11-13 Oregon Health & Science University And Oregon Research Institute Virtual reality tools and techniques for measuring cognitive ability and cognitive impairment

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7087015B1 (en) * 2000-01-31 2006-08-08 Panmedix, Inc. Neurological pathology diagnostic apparatus and methods
US8014847B2 (en) * 2001-12-13 2011-09-06 Musc Foundation For Research Development Systems and methods for detecting deception by measuring brain activity
CA2530532A1 (en) * 2003-06-27 2005-01-06 Fralex Therapeutics Inc. System for image-guided pulsed magnetic field diagnosis and treatment
KR20080084873A (ko) 2007-02-06 2008-09-22 프림포주식회사 치매예방 게임시스템
US8392250B2 (en) * 2010-08-09 2013-03-05 The Nielsen Company (Us), Llc Neuro-response evaluated stimulus in virtual reality environments
US20120108909A1 (en) * 2010-11-03 2012-05-03 HeadRehab, LLC Assessment and Rehabilitation of Cognitive and Motor Functions Using Virtual Reality
KR101302193B1 (ko) * 2011-08-03 2013-08-30 포항공과대학교 산학협력단 삼킴 장애 측정 및 치료 장치
ES2853550T3 (es) * 2011-11-16 2021-09-16 Bohbot Veronique Deborah Entorno de realidad virtual tridimensional generado por ordenador para mejorar la memoria
KR20140046629A (ko) * 2012-10-09 2014-04-21 대한민국(국립재활원장) 뇌손상 장애인의 운전능력을 판단하기 위한 인지 지각 능력 평가시스템
US8751039B1 (en) * 2013-02-22 2014-06-10 Remedev, Inc. Remotely-executed medical therapy device
CN105190724A (zh) * 2013-03-11 2015-12-23 林肯环球股份有限公司 在虚拟现实环境中提供增强的教学和训练的系统和方法
TWI641943B (zh) * 2013-03-15 2018-11-21 美商英特爾公司 控制電源供應單元於閒置狀態期間的功率消耗之技術
RU2646742C2 (ru) * 2013-03-18 2018-03-06 Когнисанс Инк. Система и способ перцептивно-когнитивно-моторного обучения
KR101534831B1 (ko) * 2013-05-14 2015-07-08 주식회사 넷블루 치매 인지 평가 장치
US9965030B2 (en) * 2014-07-31 2018-05-08 Samsung Electronics Co., Ltd. Wearable glasses and method of displaying image via the wearable glasses
US20160125748A1 (en) 2014-11-04 2016-05-05 John Wesson Ashford Memory test for Alzheimer's disease
KR101711093B1 (ko) * 2015-02-11 2017-03-02 울산과학기술원 치매의 자가 조기 진단 및 훈련을 위한 안구 운동 및 지각 기능 기반 가상현실 시스템
CN106293073A (zh) * 2016-07-29 2017-01-04 深圳市前海安测信息技术有限公司 基于虚拟现实的辅助老年痴呆症患者寻找物品的系统及方法
CN106355010A (zh) * 2016-08-30 2017-01-25 深圳市臻络科技有限公司 一种自助认知评估的装置和方法
US20170173262A1 (en) * 2017-03-01 2017-06-22 François Paul VELTZ Medical systems, devices and methods

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080280276A1 (en) * 2007-05-09 2008-11-13 Oregon Health & Science University And Oregon Research Institute Virtual reality tools and techniques for measuring cognitive ability and cognitive impairment

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022092371A1 (ko) * 2020-10-30 2022-05-05 주식회사 이노베이션시스템 Vr을 이용한 치매 진단 방법 및 이를 이용하는 장치

Also Published As

Publication number Publication date
US20200093414A1 (en) 2020-03-26
EP3603491A1 (en) 2020-02-05
EP3603491A4 (en) 2021-05-05
CN110430802A (zh) 2019-11-08
CN110430802B (zh) 2022-07-05
WO2018174507A1 (ko) 2018-09-27
KR20180108954A (ko) 2018-10-05
US11826160B2 (en) 2023-11-28

Similar Documents

Publication Publication Date Title
KR101983279B1 (ko) 가상현실을 이용한 신경질환 진단 장치 및 방법
US20230078793A1 (en) Systems and methods for an artificial intelligence engine to optimize a peak performance
US20220331663A1 (en) System and Method for Using an Artificial Intelligence Engine to Anonymize Competitive Performance Rankings in a Rehabilitation Setting
US20230072368A1 (en) System and method for using an artificial intelligence engine to optimize a treatment plan
JP2024016249A (ja) 医師による遠隔評価のためのデジタル眼検査方法
JP2019141697A (ja) 眼科検査を実行するためのヘッドマウントディスプレイ
US10709328B2 (en) Main module, system and method for self-examination of a user's eye
US20170112373A1 (en) Visual acuity testing method and product
JP2022506651A (ja) 情動障害のスクリーニングおよび治療のための顔の表情検出
US11417045B2 (en) Dialog-based testing using avatar virtual assistant
US20230225609A1 (en) A system and method for providing visual tests
KR102105552B1 (ko) 사용자의 인지능력 개선을 위한 안마의자 시스템
US11270597B2 (en) Simulated reality technologies for enhanced medical protocol training
KR102525394B1 (ko) 내비게이션 태스크들을 사용한 바이오마커들의 식별 및 내비게이션 태스크들을 사용한 치료들을 위한 플랫폼
US11249549B2 (en) Brain connectivity-based visual perception training device, method and program
KR20210084443A (ko) 시공간 기억 및/또는 현출성의 자동 수동 평가를 위한 시스템 및 방법
EP4325517A1 (en) Methods and devices in performing a vision testing procedure on a person
WO2021255632A1 (ja) 情報処理システム
US20230404388A1 (en) Method and apparatus for measuring relative afferent pupillary defects
WO2022212052A1 (en) Stress detection
WO2023114079A1 (en) User interactions and eye tracking with text embedded elements
CN117120958A (zh) 压力检测
Grandi et al. Assessing the Impact of Alert Modalities on User Performance and Comprehension in Controlled Workload Conditions
CN117677338A (zh) 用于表征视觉能力的虚拟现实技术
KR20230013853A (ko) 개인건강기록 기반 발달장애 관리 시스템 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant