KR20180069947A - 몰입 가상현실 속 행동데이터를 활용한 경도인지장애 선별 시스템 및 그 방법 - Google Patents

몰입 가상현실 속 행동데이터를 활용한 경도인지장애 선별 시스템 및 그 방법 Download PDF

Info

Publication number
KR20180069947A
KR20180069947A KR1020160171246A KR20160171246A KR20180069947A KR 20180069947 A KR20180069947 A KR 20180069947A KR 1020160171246 A KR1020160171246 A KR 1020160171246A KR 20160171246 A KR20160171246 A KR 20160171246A KR 20180069947 A KR20180069947 A KR 20180069947A
Authority
KR
South Korea
Prior art keywords
virtual reality
subject
screen
behavior data
data
Prior art date
Application number
KR1020160171246A
Other languages
English (en)
Other versions
KR101912020B1 (ko
Inventor
서경원
류호경
김재관
최호진
오동훈
Original Assignee
한양대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한양대학교 산학협력단 filed Critical 한양대학교 산학협력단
Priority to KR1020160171246A priority Critical patent/KR101912020B1/ko
Publication of KR20180069947A publication Critical patent/KR20180069947A/ko
Application granted granted Critical
Publication of KR101912020B1 publication Critical patent/KR101912020B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/40—Detecting, measuring or recording for evaluating the nervous system
    • A61B5/4076—Diagnosing or monitoring particular conditions of the nervous system
    • A61B5/4088—Diagnosing of monitoring cognitive diseases, e.g. Alzheimer, prion diseases or dementia
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H04N5/23219—

Abstract

몰입 가상현실 속 행동데이터를 활용한 경도인지장애 선별 시스템 및 그 방법이 제시된다. 일 실시예에 따른 몰입 가상현실 속 행동데이터를 활용한 경도인지장애 선별 시스템은 스크린을 통한 3차원 가상현실 화면을 제공하는 가상현실 제공부; 카메라 또는 센서를 통해 피검자의 움직임을 추적하여 행동데이터를 측정하는 행동데이터 측정부; 및 획득된 상기 행동데이터를 상기 3차원 가상현실 화면에 반영하여, 몰입 가상현실 콘텐츠와 피검자가 상호작용하는 몰입 가상현실을 구현하는 콘텐츠 제공부를 포함하고, 상기 몰입 가상현실에서 획득된 피검자의 상기 행동데이터를 바탕으로 기설정된 데이터와 비교하여 인지능력을 평가 가능하다.

Description

몰입 가상현실 속 행동데이터를 활용한 경도인지장애 선별 시스템 및 그 방법{Mild Cognitive Impairment Screening System using Behavior Data from Immersive Virtual Reality Platform and its related Method}
아래의 실시예들은 몰입 가상현실 속 행동데이터를 활용한 경도인지장애 선별 시스템 및 그 방법에 관한 것으로, 더욱 상세하게는 몰입 가상현실(immersive virtual reality) 속 피검자의 행동데이터(behavior data)를 측정하여 경도인지장애를 선별할 수 있는 시스템 및 그 방법에 관한 것이다.
경도인지장애(Mild Cognitive Impairment, MCI)는 본격적 치매 진행 전 마지막 회복구간으로 치매의 전조 단계에 해당한다. 본격적으로 치매가 진행되면 인지능력 회복이 어렵기 때문에 경도인지장애를 빠르게 선별(screening)하고 중재(intervention)하는 것은 대단히 중요하다.
AGATHE 프로젝트(Klinger et al., 2013)는 프랑스 파리 Arts et Metiers Paristech에서 연구된 기술로 PC 기반의 인지능력 평가 시스템을 제공한다. 피검자는 마을을 돌아다니며 다양한 일상생활 관련 과제를 수행하고, 여기서 획득된 행동데이터를 바탕으로 인지능력을 평가한다.
또한, VR-DOT 프로젝트(Tarnanas et al., 2013)는 3D 화면을 제공하는 곡면 스크린과 트레드밀을 활용해 화재 대피 상황에서 행동을 분석해 인지능력을 평가한다. 피검자가 화재와 관련된 다양한 상황 속에서 어떻게 행동하느냐에 따라 인지능력 손상 여부를 평가한다.
그러나 기존 프로젝트들의 경우 단순히 대화면 콘텐츠(contents)를 제공하기 때문에 몰입 가상현실 콘텐츠로써 피검자가 느끼는 실재감이 부족하다. 이는 생태학적 타당도(ecological validity) 측면에서 문제점을 갖는다. 여기에서, 생태학적 타당도는 측정된 결과가 실재 현실에서도 의미를 갖는가에 대한 타당 정도를 나타낸다.
또한 기존 콘텐츠들은 실제 자신의 몸을 움직여 상호작용하는 것이 아닌, 키보드와 마우스 기반의 상호작용을 한다는 한계점을 갖는다.
한국공개특허 10-2016-0099140호는 이러한 치매의 자가 조기 진단 및 훈련을 위한 안구 운동 및 지각 기능 기반 가상현실 시스템에 관한 기술을 기재하고 있다.
실시예들은 몰입 가상현실 속 행동데이터를 활용한 경도인지장애 선별 시스템 및 그 방법에 관하여 기술하며, 보다 구체적으로 몰입 가상현실(immersive virtual reality)을 구현하고 몰입 가상현실 속에서 피검자의 행동데이터(behavior data)를 측정함으로써 경도인지장애를 선별할 수 있는 기술을 제공한다.
실시예들은 몰입 가상현실 속에서 ATM 기계 사용, 대중교통 이용 등과 같은 일상생활 과제를 제공하고, 과제 수행 중 피검자의 손/머리의 움직임을 적외선 카메라(infrared camera)를 통해 행동데이터로써 측정하여 측정된 행동데이터를 이용하여 컷오프 값을 기준으로 경도인지장애 여부를 판별함으로써, 피검자와 몰입 가상현실 콘텐츠와 상호작용하는 몰입 가상현실 속 행동데이터를 활용한 경도인지장애 선별 시스템 및 그 방법을 제공하는데 있다.
일 실시예에 따른 몰입 가상현실 속 행동데이터를 활용한 경도인지장애 선별 시스템은 스크린을 통한 3차원 가상현실 화면을 제공하는 가상현실 제공부; 카메라 또는 센서를 통해 피검자의 움직임을 추적하여 행동데이터를 측정하는 행동데이터 측정부; 및 획득된 상기 행동데이터를 상기 3차원 가상현실 화면에 반영하여, 몰입 가상현실 콘텐츠와 피검자가 상호작용하는 몰입 가상현실을 구현하는 콘텐츠 제공부를 포함하고, 상기 몰입 가상현실에서 획득된 피검자의 상기 행동데이터를 바탕으로 기설정된 데이터와 비교하여 인지능력을 평가 가능하다.
여기서, 상기 몰입 가상현실에서 획득된 피검자의 상기 행동데이터를 이용하여 기설정된 컷오프 값을 기준으로 경도인지장애 여부를 판별하는 인지능력 판단부를 더 포함하여 이루어질 수 있다.
상기 가상현실 제공부는, 3D 가상현실 화면을 제공하는 프로젝터; 상기 프로젝터에서 제공되는 상기 3차원 가상현실 화면을 확대하여 제공하는 4면 스크린(4-sided screen); 및 피검자에게 착용되어 3차원 입체 영상을 제공하는 3D 안경(3D glass)을 포함하여 이루어질 수 있다.
상기 행동데이터 측정부는, 상기 피검자의 손 및 머리의 움직임을 촬영하는 복수의 모션 캡쳐 카메라를 통해 상기 피검자의 움직임을 추적하여 상기 행동데이터를 측정할 수 있다.
상기 모션 캡쳐 카메라는, 상기 피검자의 머리, 손, 및 발 중 적어도 어느 하나 이상의 신체에 부착된 센서의 좌푯값 및 회전값을 측정하여 상기 행동데이터를 측정할 수 있다.
상기 콘텐츠 제공부는, 획득된 상기 행동데이터를 상기 3차원 가상현실 화면에 반영하여 가상현실 콘텐츠를 제작하고, 상기 가상현실 제공부에 상기 가상현실 콘텐츠를 제공할 수 있다.
상기 콘텐츠 제공부는, 상기 피검자의 머리 움직임에 따라 상기 가상현실 콘텐츠의 시야각이 변화되도록 제작하여 상기 가상현실 제공부에 제공할 수 있다.
다른 실시예에 따른 몰입 가상현실 속 행동데이터를 활용한 경도인지장애 선별 방법은 스크린을 통한 3차원 가상현실 화면을 제공하는 단계; 카메라 또는 센서를 통해 피검자의 움직임을 추적하여 행동데이터를 측정하는 단계; 획득된 상기 행동데이터를 상기 3차원 가상현실 화면에 반영하여, 몰입 가상현실 콘텐츠와 피검자가 상호작용하는 몰입 가상현실을 구현하는 단계; 및 상기 몰입 가상현실에서 획득된 피검자의 상기 행동데이터를 바탕으로 기설정된 데이터와 비교하여 인지능력을 평가하는 단계를 포함하여 이루어질 수 있다.
상기 스크린을 통한 3차원 가상현실 화면을 제공하는 단계는, 프로젝터를 통해 3D 가상현실 화면을 제공하고, 상기 프로젝터에서 제공되는 상기 3차원 가상현실 화면을 4면 스크린(4-sided screen)를 통해 확대하여 제공하며, 피검자에 의해 3D 안경(3D glass)이 착용되어 3차원 입체 영상을 제공할 수 있다.
상기 카메라 또는 센서를 통해 피검자의 움직임을 추적하여 행동데이터를 측정하는 단계는, 상기 피검자의 손 및 머리의 움직임을 촬영하는 복수의 모션 캡쳐 카메라를 통해 상기 피검자의 움직임을 추적하여 상기 행동데이터를 측정하고, 상기 모션 캡쳐 카메라는 상기 피검자의 머리, 손, 및 발 중 적어도 어느 하나 이상의 신체에 부착된 센서의 좌푯값 및 회전값을 측정하여 상기 행동데이터를 측정할 수 있다.
상기 몰입 가상현실 콘텐츠와 피검자가 상호작용하는 몰입 가상현실을 구현하는 단계는, 획득된 상기 행동데이터를 상기 3차원 가상현실 화면에 반영하여 가상현실 콘텐츠를 제작하고, 상기 가상현실 제공부에 상기 가상현실 콘텐츠를 제공할 수 있다.
상기 몰입 가상현실 콘텐츠와 피검자가 상호작용하는 몰입 가상현실을 구현하는 단계는, 상기 피검자의 머리 움직임에 따라 상기 가상현실 콘텐츠의 시야각이 변화되도록 제작하여 상기 가상현실 제공부에 제공할 수 있다.
상기 몰입 가상현실에서 획득된 피검자의 상기 행동데이터를 바탕으로 기설정된 데이터와 비교하여 인지능력을 평가하는 단계는, 획득된 피검자의 상기 행동데이터를 이용하여 기설정된 컷오프 값을 기준으로 경도인지장애 여부를 판별할 수 있다.
실시예들에 따르면 몰입 가상현실 속에서 ATM 기계 사용, 대중교통 이용 등과 같은 일상생활 과제를 제공하고, 과제 수행 중 피검자의 손/머리의 움직임을 적외선 카메라(infrared camera)를 통해 행동데이터로써 측정하여 측정된 행동데이터를 이용하여 컷오프 값을 기준으로 경도인지장애 여부를 판별함으로써, 피검자와 몰입 가상현실 콘텐츠와 상호작용하는 몰입 가상현실 속 행동데이터를 활용한 경도인지장애 선별 시스템 및 그 방법을 제공할 수 있다.
실시예들에 따르면 몰입 가상현실 속에서 일상생활에 대한 과제를 통해 경도인지장애 여부를 실제 행동데이터를 바탕으로 조기에 선별할 수 있다. 또한, 실시예들에 따르면 쉽고 간단하게 수행할 수 있는 과제이기 때문에 피검자의 행동데이터(인지능력) 여부를 주기적으로 쉽게 추적 및 관찰할 수 있을 뿐 아니라, 지속적 과제 수행을 통해 훈련 효과도 제공할 수 있다.
도 1은 몰입 가상현실을 설명하기 위한 도면이다.
도 2는 일 실시예에 따른 몰입 가상현실 환경 하드웨어 및 소프트웨어 시스템을 개략적으로 나타내는 도면이다.
도 3은 일 실시예에 따른 피검자의 움직임 측정을 설명하기 위한 도면이다.
도 4는 일 실시예에 따른 피검자의 움직임에 따라 콘텐츠의 시야각 변화를 설명하기 위한 도면이다.
도 5는 일 실시예에 따른 피검자에게 부착되는 3D 안경 및 센서들을 설명하기 위한 도면이다.
도 6은 일 실시예에 따른 모션 캡쳐 카메라를 통해 획득된 센서 값을 설명하기 위한 도면이다.
도 7은 일 실시예에 따른 몰입 가상현실 속 행동데이터를 활용한 경도인지장애 선별 방법을 나타내는 흐름도이다.
도 8은 일 실시예에 따른 금전관리 콘텐츠를 설명하기 위한 도면이다.
도 9는 일 실시예에 따른 대중교통 이용 콘텐츠를 설명하기 위한 도면이다.
이하, 첨부된 도면을 참조하여 실시예들을 설명한다. 그러나, 기술되는 실시예들은 여러 가지 다른 형태로 변형될 수 있으며, 본 발명의 범위가 이하 설명되는 실시예들에 의하여 한정되는 것은 아니다. 또한, 여러 실시예들은 당해 기술분야에서 평균적인 지식을 가진 자에게 본 발명을 더욱 완전하게 설명하기 위해서 제공되는 것이다. 도면에서 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.
아래의 실시예들은 몰입 가상현실(immersive virtual reality) 속 행동데이터(behavior data)를 활용해 경도인지장애를 선별할 수 있는 시스템 및 그 방법에 관한 것이다. 몰입 가상현실은 피검자에게 높은 몰입감(immersion)을 제공하여 실재감(presence)을 느끼도록 하는 컴퓨터 환경을 말한다. 여기서 몰입감은 사실적 3D 모델링, 상호작용, 감각 피드백 등을 의미할 수 있으며, 실재감은 가상 환경을 실재로 받아들이는 주관적 느낌을 의미할 수 있다. 몰입 가상현실 중 HMD(Head-Mounted Display)나 CAVE(Cave Automatic Virtual Environment)가 대표적 예이다.
도 1은 몰입 가상현실을 설명하기 위한 도면이다.
도 1a를 참조하면, 몰입 가상현실의 일례로, HMD(Head-Mounted Display)를 사용하는 모습(Myo & Oculus Rift - Hands on with Myo)의 예를 확인할 수 있다.
도 1b를 참조하면, 몰입 가상현실의 다른 예로, 4개의 가상현실 스크린으로 구성되어 그 속에서 몰입 가상현실을 체험하는 CAVE(Cave Automatic Virtual Environment) 시스템을 확인할 수 있다.
실시예들은 몰입 가상현실 속에서 ATM 기계 사용, 대중교통 이용 등과 같은 일상생활 과제를 제공하고, 과제 수행 중 피검자의 손/머리의 움직임을 적외선 카메라(infrared camera)를 통해 행동데이터로써 측정할 수 있다. 예컨대, 피검자의 손의 이동 궤적, 손의 이동 속도, 머리의 이동 궤적, 머리의 이동 속도 등을 통해 행동데이터로 측정할 수 있다.
그리고 측정된 행동데이터는 컷오프 값을 기준으로 경도인지장애 여부를 판별하는데 활용될 수 있다.
실시예들은 기존 프로젝트들의 경우 단순히 대화면 콘텐츠(contents)를 제공하기 때문에 몰입 가상현실 콘텐츠로써 피검자가 느끼는 실재감이 부족한 문제점을 해결하여 생태학적 타당도(ecological validity)를 가지며, 실제 자신의 몸을 움직여 몰입 가상현실 콘텐츠와 상호작용할 수 있다. 그리고, 실시예들은 적외선 카메라를 통해 피검자의 손/머리 움직임을 측정하며 이를 바탕으로 인지능력을 측정할 수 있다.
도 2는 일 실시예에 따른 몰입 가상현실 환경 하드웨어 및 소프트웨어 시스템을 개략적으로 나타내는 도면이다.
일 실시예에 따른 몰입 가상현실 속 행동데이터를 활용한 경도인지장애 선별 시스템은 기존의 실재감 부족이라는 한계점을 극복하고 몰입 가상현실 환경을 제안함으로써 몰입 가상현실 속에서 일상생활에 대한 과제를 통해 경도인지장애 여부를 실제 행동데이터를 바탕으로 조기에 선별할 수 있다.
도 2를 참조하면, 일 실시예에 따른 몰입 가상현실 속 행동데이터를 활용한 경도인지장애 선별 시스템(200)은 4개의 스크린을 통한 3D 가상현실 화면을 제공한다. 피검자는 3D 안경을 쓰고 해당 화면을 체험함으로써 실재감 있는 경험을 할 수 있다. 피검자의 손, 머리 등의 움직임은 적외선 카메라(infrared camera)를 통해 추적되며, 이를 통해 몰입 가상현실 콘텐츠와 상호작용할 수 있다. 피검자의 손/머리 움직임은 행동데이터로써 측정될 수 있다.
예컨대, 가상현실 콘텐츠 속 카드를 만지거나, 버턴을 클릭하거나, 장소의 이동 등의 피검자의 움직임을 행동데이터로 측정할 수 있다. 또한, 피검자의 손의 이동 궤적, 손의 이동 속도, 머리의 이동 궤적, 머리의 이동 속도 등을 통해 행동데이터로 측정할 수 있다.
그리고 측정된 행동데이터는 컷오프 값을 기준으로 경도인지장애 여부를 판별할 수 있다.
더 구체적으로, 일 실시예에 따른 몰입 가상현실 속 행동데이터를 활용한 경도인지장애 선별 시스템(200)은 가상현실 제공부(210), 행동데이터 측정부(220), 및 콘텐츠 제공부(230)를 포함하여 이루어질 수 있다. 실시예에 따라 몰입 가상현실 속 행동데이터를 활용한 경도인지장애 선별 시스템은 인지능력 판단부를 더 포함하여 이루어질 수 있다.
가상현실 제공부(210)는 스크린을 통한 3차원 가상현실 화면을 제공할 수 있다.
가상현실 제공부(210)는 프로젝터, 4면 스크린, 및 3D 안경을 포함하여 이루어질 수 있다. 실시예에 따라 가상현실 제공부(210)는 영상조정장치 및 미러 시스템(Mirror System)을 더 포함하여 이루어질 수 있다.
더 구체적으로, 가상현실 제공부(210)는 3D 가상현실 화면을 제공하는 프로젝터와, 프로젝터에서 제공되는 3차원 가상현실 화면을 확대하여 제공하는 4면 스크린(4-sided screen)과, 피검자에게 착용되어 3차원 입체 영상을 제공하는 3D 안경(3D glass)을 포함하여 이루어질 수 있다.
3D 프로젝터(projector)는 스크린에 3D 가상현실 화면을 제공하는 것으로, 예컨대 4대의 3D 프로젝터를 이용하여 4면 스크린에 3D 가상현실 화면을 제공할 수 있다.
4면 스크린(4-sided screen)은 피검자의 시야각을 가득 메우는 넓은 화면으로, 3D 프로젝터에서 제공하는 3D 가상현실 화면을 스크린을 통해 피검자에게 제공할 수 있다.
3D 안경(3D glass)은 피검자가 착용하는 것으로, 3D 프로젝터와 3D 안경을 통해 피검자에게 입체영상(stereoscopic image)을 제공할 수 있다.
더욱이, 가상현실 제공부(210)는 영상조정장치 및 미러 시스템(Mirror System)을 더 포함하여 이루어질 수 있다.
영상조정장치는 카메라를 조정하기 위한 것으로, 예컨대 8대 사용될 수 있다.
미러 시스템(Mirror System)은 3D 프로젝터 앞쪽에 설치될 수 있으며, 예컨대 피검자의 천장 측에 배치되어 미러 시스템 앞쪽에 설치된 3D 프로젝터에서 제공되는 3D 가상현실 화면을 피검자에게 제공할 수 있다.
행동데이터 측정부(220)는 카메라 또는 센서를 통해 피검자의 움직임을 추적하여 행동데이터를 측정할 수 있다.
카메라(camera)는 사용자의 움직임을 측정하는 것으로, 광학식 모션 캡쳐 기능을 가진 카메라가 사용될 수 있다. 예컨대 S250e 카메라 8대를 이용하여 피검자의 움직임을 측정할 수 있다.
다시 말하면, 행동데이터 측정부(220)는 피검자의 손 및 머리의 움직임을 촬영하는 복수의 모션 캡쳐 카메라를 통해 피검자의 움직임을 추적하여 행동데이터를 측정할 수 있다.
여기서, 모션 캡쳐 카메라는 피검자의 머리, 손, 및 발 중 적어도 어느 하나 이상의 신체에 부착된 센서의 좌푯값 및 회전값을 측정하여 행동데이터를 측정할 수 있다.
콘텐츠 제공부(230)는 획득된 행동데이터를 3차원 가상현실 화면에 반영하여, 몰입 가상현실 콘텐츠와 피검자가 상호작용하는 몰입 가상현실을 구현할 수 있다.
콘텐츠 제공부(230)는 획득된 행동데이터를 3차원 가상현실 화면에 반영하여 가상현실 콘텐츠를 제작하고, 가상현실 제공부(210)에 가상현실 콘텐츠를 제공할 수 있다.
특히, 콘텐츠 제공부(230)는 피검자의 머리 움직임에 따라 가상현실 콘텐츠의 시야각이 변화되도록 제작하여 가상현실 제공부(210)에 제공할 수 있다.
이를 위해, 콘텐츠 제공부(230)는 콘텐츠 제작 프로그램 및 미들웨어를 포함하여 이루어질 수 있다.
콘텐츠 제작 프로그램은 3차원 가상현실 환경을 구현하는 소프트웨어일 수 있다.
미들웨어는 3차원 공간상의 모션 인식 장비를 인식하는 소프트웨어 개발 키트(Software Development Kit, SDK)를 제공할 수 있다.
이에 따라 몰입 가상현실에서 획득된 피검자의 행동데이터를 바탕으로 기설정된 데이터와 비교하여 인지능력을 평가 가능하다.
일 실시예에 따른 몰입 가상현실 속 행동데이터를 활용한 경도인지장애 선별 시스템(200)은 인지능력 판단부를 더 포함하여 이루어질 수 있다.
인지능력 판단부는 몰입 가상현실에서 획득된 피검자의 행동데이터를 이용하여 기설정된 컷오프 값을 기준으로 경도인지장애 여부를 판별할 수 있다.
몰입 가상현실 속 행동데이터를 활용한 경도인지장애 선별 시스템은 위와 같은 하드웨어 및 소프트웨어를 바탕으로 구축될 수 있다. 몰입 가상현실 속 행동데이터를 활용한 경도인지장애 선별 시스템의 구현을 위해서 아래의 조건이 제시될 수 있다.
몰입 가상현실 속 행동데이터를 활용한 경도인지장애 선별 시스템은 4면 스크린(4-sided screen)과 같은 피검자의 시야각을 가득 메우는 넓은 화면을 가질 수 있다.
그리고, 몰입 가상현실 속 행동데이터를 활용한 경도인지장애 선별 시스템은 3D 프로젝터와 3D 안경을 통한 입체영상(stereoscopic image)을 제공할 수 있다.
또한, 몰입 가상현실 속 행동데이터를 활용한 경도인지장애 선별 시스템은 S250e 카메라와 같은 모션 캡쳐 카메라를 통해 피검자의 신체 움직임을 측정할 수 있다.
도 3은 일 실시예에 따른 피검자의 움직임 측정을 설명하기 위한 도면이다.
도 3에 도시된 바와 같이, 예를 들어 몰입 가상현실 속 행동데이터를 활용한 경도인지장애 선별 시스템은 피검자의 중요 관절 부위에 센서를 부착하고 해당 센서의 위치를 추적함으로써 전체 신체 움직임을 추적할 수 있다.
또한, 몰입 가상현실 속 행동데이터를 활용한 경도인지장애 선별 시스템은 모션 캡쳐 카메라를 통해 측정된 피검자 신체 움직임을 가상현실 콘텐츠 상에서 반영할 수 있다.
도 4는 일 실시예에 따른 피검자의 움직임에 따라 콘텐츠의 시야각 변화를 설명하기 위한 도면이다.
도 4에 도시된 바와 같이, 예를 들어 몰입 가상현실 속 행동데이터를 활용한 경도인지장애 선별 시스템에서 피검자의 머리 움직임에 따라 콘텐츠의 시야각이 변화될 수 있다.
도 5는 일 실시예에 따른 피검자에게 부착되는 3D 안경 및 센서들을 설명하기 위한 도면이다.
몰입 가상현실에서 피검자는 3D 안경 및 센서들을 신체에 부착할 수 있다. 여기에서 센서는 피검자의 움직임을 추적하기 위한 것으로, 추적 센서라 할 수 있다.
도 5에 도시된 바와 같이, 예를 들어 피검자는 몰입 가상현실을 경험할 때 3D 안경을 착용하고, 센서(추적 센서)들을 머리, 왼손 및 오른손, 왼발 및 오른발에 부착할 수 있다. 이때, 센서들은 피검자의 움직임을 추적하기 위한 목적 및 상황에 따라 피검자의 어깨, 팔꿈치, 무릎 등 다양한 부위에 부착할 수 있다.
도 6은 일 실시예에 따른 모션 캡쳐 카메라를 통해 획득된 센서 값을 설명하기 위한 도면이다.
도 6을 참조하면, 몰입 가상현실 속 행동데이터를 활용한 경도인지장애 선별 시스템에 설치된 모션 캡쳐 카메라는 센서들의 x, y, z 좌푯값을 측정할 수 있다. 또한, 몰입 가상현실 속 행동데이터를 활용한 경도인지장애 선별 시스템에 설치된 모션 캡쳐 카메라는 센서들의 x, y, z 회전값(yaw, pitch, roll)을 측정할 수 있다.
즉, 몰입 가상현실 속 행동데이터를 활용한 경도인지장애 선별 시스템에 설치된 모션 캡쳐 카메라를 통해 센서들의 좌푯값 및 회전값을 측정할 수 있다.
도 7은 일 실시예에 따른 몰입 가상현실 속 행동데이터를 활용한 경도인지장애 선별 방법을 나타내는 흐름도이다.
도 7을 참조하면, 일 실시예에 따른 몰입 가상현실 속 행동데이터를 활용한 경도인지장애 선별 방법은 스크린을 통한 3차원 가상현실 화면을 제공하는 단계(710), 카메라 또는 센서를 통해 피검자의 움직임을 추적하여 행동데이터를 측정하는 단계(720), 획득된 행동데이터를 3차원 가상현실 화면에 반영하여, 몰입 가상현실 콘텐츠와 피검자가 상호작용하는 몰입 가상현실을 구현하는 단계(730), 및 몰입 가상현실에서 획득된 피검자의 행동데이터를 바탕으로 기설정된 데이터와 비교하여 인지능력을 평가하는 단계(740)를 포함하여 이루어질 수 있다.
여기서, 스크린을 통한 3차원 가상현실 화면을 제공하는 단계는 프로젝터를 통해 3D 가상현실 화면을 제공하고, 프로젝터에서 제공되는 3차원 가상현실 화면을 4면 스크린(4-sided screen)를 통해 확대하여 제공하며, 피검자에 의해 3D 안경(3D glass)이 착용되어 3차원 입체 영상을 제공할 수 있다.
실시예들에 따르면 몰입 가상현실 속에서 ATM 기계 사용, 대중교통 이용 등과 같은 일상생활 과제를 제공하고, 과제 수행 중 피검자의 손/머리의 움직임을 적외선 카메라(infrared camera)를 통해 행동데이터로써 측정하여 측정된 행동데이터를 이용하여 컷오프 값을 기준으로 경도인지장애 여부를 판별할 수 있다.
아래에서 일 실시예에 따른 몰입 가상현실 속 행동데이터를 활용한 경도인지장애 선별 방법을 하나의 예를 들어 더 구체적으로 설명한다.
일 실시예에 따른 몰입 가상현실 속 행동데이터를 활용한 경도인지장애 선별 방법은 도 2에서 설명한 일 실시예에 따른 몰입 가상현실 속 행동데이터를 활용한 경도인지장애 선별을 이용하여 더 구체적으로 설명할 수 있다. 일 실시예에 따른 몰입 가상현실 속 행동데이터를 활용한 경도인지장애 선별 시스템은 가상현실 제공부, 행동데이터 측정부, 및 콘텐츠 제공부를 포함하여 이루어질 수 있다. 실시예에 따라 몰입 가상현실 속 행동데이터를 활용한 경도인지장애 선별 시스템은 인지능력 판단부를 더 포함하여 이루어질 수 있다.
단계(710)에서, 가상현실 제공부는 스크린을 통한 3차원 가상현실 화면을 제공할 수 있다.
가상현실 제공부는 프로젝터를 통해 3D 가상현실 화면을 제공하고, 프로젝터에서 제공되는 3차원 가상현실 화면을 4면 스크린(4-sided screen)를 통해 확대하여 제공하며, 피검자에 의해 3D 안경(3D glass)이 착용되어 3차원 입체 영상을 제공할 수 있다.
단계(720)에서, 행동데이터 측정부는 카메라 또는 센서를 통해 피검자의 움직임을 추적하여 행동데이터를 측정할 수 있다.
행동데이터 측정부는 피검자의 손 및 머리의 움직임을 촬영하는 복수의 모션 캡쳐 카메라를 통해 피검자의 움직임을 추적하여 행동데이터를 측정할 수 있다.
여기서, 모션 캡쳐 카메라는 피검자의 머리, 손, 및 발 중 적어도 어느 하나 이상의 신체에 부착된 센서의 좌푯값 및 회전값을 측정하여 행동데이터를 측정할 수 있다.
단계(730)에서, 콘텐츠 제공부는 획득된 행동데이터를 3차원 가상현실 화면에 반영하여, 몰입 가상현실 콘텐츠와 피검자가 상호작용하는 몰입 가상현실을 구현할 수 있다.
콘텐츠 제공부는 획득된 행동데이터를 3차원 가상현실 화면에 반영하여 가상현실 콘텐츠를 제작하고, 가상현실 제공부에 가상현실 콘텐츠를 제공할 수 있다.
콘텐츠 제공부는 피검자의 머리 움직임에 따라 가상현실 콘텐츠의 시야각이 변화되도록 제작하여 가상현실 제공부에 제공할 수 있다.
단계(740)에서, 인지능력 판단부는 몰입 가상현실에서 획득된 피검자의 행동데이터를 바탕으로 기설정된 데이터와 비교하여 인지능력을 평가 가능하다.
더 구체적으로, 인지능력 판단부는 몰입 가상현실에서 획득된 피검자의 행동데이터를 이용하여 기설정된 컷오프 값을 기준으로 경도인지장애 여부를 판별할 수 있다.
이에 따라, 실시예들은 몰입 가상현실 속에서 일상생활에 대한 과제를 통해 경도인지장애 여부를 실제 행동데이터를 바탕으로 조기에 선별할 수 있다. 또한, 실시예들에 따르면 쉽고 간단하게 수행할 수 있는 과제이기 때문에 피검자의 행동데이터(인지능력) 여부를 주기적으로 쉽게 추적 및 관찰할 수 있을 뿐 아니라, 지속적 과제 수행을 통해 훈련 효과도 제공할 수 있다.
아래에서는 몰입 가상현실 콘텐츠 및 행동데이터에 대해 예를 들어 더 구체적으로 설명하기로 한다.
몰입 가상현실 속 행동데이터를 활용한 경도인지장애 선별 시스템에서 구현되는 치매조기진단 콘텐츠는 2 가지의 실시예(금전관리, 대중교통 이용)을 통해 더 구체적으로 설명할 수 있다. 각 단계를 진행하기 위해 필요한 설명은 콘텐츠 속 아바타 또는 실재 의료진을 선호하는 피검자에게는 실재 의료진이 제공할 수 있다.
실시예 1
도 8은 일 실시예에 따른 금전관리 콘텐츠를 설명하기 위한 도면이다.
도 8a을 참조하면, 금전관리 콘텐츠는 총 8단계로 구성될 수 있다.
금전관리는 인지능력과 관계가 높은 일상생활 수행능력이다. 여기에서, 목표는 가상현실 속 현금 자동 입출금기(Automated Teller Machine, ATM)에서 현금 7만원을 인출하는 것으로 이 과정에서 다양한 메뉴 선택과 미리 지정된 과제를 완수해야 한다. 예컨대, 피검자는 5만원권 한 장을 선택하고, 명세표 출력해야 한다.
예를 들어, 금전관리 콘텐츠는 카드 넣기, 메뉴 선택, 금액 선택, 지폐 종류 결정, 비밀번호 입력, 영수증 여부 선택, 카드 및 영수증 회수, 및 현금 회수의 서브 태스크(sub-task)로 이루어질 수 있다.
도 8b는 ATM 기계 사용 과제의 예를 나타내고, 도 8c는 ATM 기계 사용 과제에서 피검자의 손의 행동데이터 분석의 예를 나타내며, 도 8d는 ATM 기계 사용 과제의 수행 예를 나타낸다.
행동데이터 측정부는 피검자에게 기설정된 금전관리 과제를 제시하고 가상현실 속에서 피검자가 현금 자동 입출금기(Automated Teller Machine, ATM)를 이용하여 현금을 인출하는 행동데이터를 측정할 수 있다.
콘텐츠 제공부는 피검자가 몰입 가상현실 속에서 현금 자동 입출금기의 카드 투입구에 카드를 투입하도록 화면을 제공하는 단계, 피검자가 카드를 투입함에 따라 메뉴 선택(Select menu)을 제공하여 현금 인출 버튼을 클릭하도록 화면을 제공하는 단계, 피검자가 현금 인출 버튼을 클릭함에 따라 인출 금액 선택(Select amount to withdraw) 화면을 제공하는 단계, 피검자는 인출 금액을 선택함에 따라 지폐 종류 결정(Select a bill type)하는 화면을 제공하는 단계, 피검자가 인출 금액을 선택함에 따라 비밀번호 입력(Enter PIN) 화면을 제공하는 단계, 피검자가 비밀번호를 입력함에 따라 영수증 여부 선택(Select receipt option)화면을 제공하는 단계, 피검자가 명세표 출력 여부를 결정함에 따라 카드 및 영수증 회수(Remove card) 화면을 제공하는 단계, 피검자가 카드와 명세표를 회수함에 따라 현금 회수(Receive money) 화면을 제공하는 단계를 수행할 수 있다.
각 서브 태스크에 대해 아래에서 더 구체적으로 설명한다.
먼저, 카드 넣기(Insert card)에서, 피검자는 현금을 인출하기 위해 현금 자동 입출금기(Automated Teller Machine, ATM)의 우측 상단에 위치한 카드 투입구에 카드를 투입할 수 있다.
메뉴 선택(Select menu)에서, 피검자는 주어진 메뉴 중 "현금 인출" 버튼을 클릭할 수 있다. 예컨대, 피검자에게 3개의 메뉴를 제공하여 피검자로부터 3개의 메뉴 중 하나인 "현금 인출" 버튼을 클릭하도록 할 수 있다.
금액 선택(Select amount to withdraw)에서 피검자는 인출 금액을 선택할 수 있다.
그리고, 지폐 종류 결정(Select a bill type)에서 피검자는 인출 금액에 대해 5만원권을 포함시킬지 여부를 결정할 수 있다.
비밀번호 입력(Enter PIN)에서 피검자는 비밀번호 4자리를 입력할 수 있다.
영수증 여부 선택(Select receipt option)에서 피검자는 명세표 출력 여부를 결정할 수 있다.
카드 및 영수증 회수(Remove card)에서 피검자는 카드와 명세표를 뽑음으로써 회수할 수 있다.
현금 회수(Receive money)에서 피검자는 인출된 금액을 회수하여 취득할 수 있다.
이러한 과제를 수행하는 동안 피검자에게 부착된 손 센서 데이터를 바탕으로 손 움직임 궤적, 손 움직임 속도, 과제 수행 시간, 오류 횟수가 수집될 수 있다. 이때, 적외선 카메라를 통해 피검자의 손 움직임이 측정될 수 있다.
표 1은 수집 자료에 대한 예를 나타낸다.
[표 1]
Figure pat00001

실시예 2
도 9는 일 실시예에 따른 대중교통 이용 콘텐츠를 설명하기 위한 도면이다.
도 9a를 참조하면, 대중교통 이용 콘텐츠는 총 2단계로 이루어질 수 있다.
도 9b는 대중교통 이용 과제의 예를 나타내고, 도 9c는 대중교통 이용 과제에서 피검자의 머리의 행동데이터 분석의 예를 나타내며, 도 9d는 대중교통 이용 과제의 수행 예를 나타낸다.
대중교통 이용 콘텐츠는 버스 정류장에서 유사 버스와 헷갈리지 않고 목표 버스를 탑승하는지를 평가하는 콘텐츠로, 목표 버스와 색상, 번호, 목적지가 유사한 버스가 연속하여 도착하는 가운데 목표 버스와 유사 버스를 바르게 구분할 수 있는지를 평가한다.
행동데이터 측정부는 피검자에게 기설정된 대중교통 이용 과제를 제시하고 가상현실 속에서 피검자가 버스 정류장에서 유사 버스와 목표 버스를 구분하여 탑승하는 행동데이터를 측정할 수 있다.
콘텐츠 제공부는 몰입 가상현실 속에서 피검자에게 기설정된 색상, 번호, 및 목적지의 목표 버스(target bus)를 일정 기간마다 제공하는 단계, 및 피검자가 버스 정류장에서 목표 버스를 기다리는 동안 목표 버스와 유사한 색상, 번호, 및 목적지 중 적어도 어느 하나 이상이 다른 유사 버스를 제공하는 단계를 수행할 수 있다.
대중교통 이용 콘텐츠에서 피검자는 특정 색상(초록색, 파란색), 번호(16번, 18번), 목적지(동대문, 남대문)의 목표 버스(target bus)를 일정 기간마다 부여 받을 수 있다. 예컨대, 콘텐츠를 수행하는 동안 총 8개의 서로 다른 목표 버스가 부여될 수 있다.
피검자는 정류장에서 목표 버스를 기다리는 동안 목표 버스와 유사하나 다른(색상, 번호, 목적지 중 하나만 다른) 함정 버스인 유사 버스를 극복하며 정확한 목표 버스를 탑승해야 한다.
과제를 수행하는 동안 머리 센서 데이터를 바탕으로 머리 움직임 궤적, 머리 움직임 속도, 과제 수행 시간, 오류 횟수 등이 수집될 수 있다.
표 2는 수집 자료에 대한 예를 나타낸다.
[표 2]
Figure pat00002
위에서 설명한 실시예들은 건강한 고령자인 정상대조군 22명, 치매 초기단계에 해당하는 경도인지장애 환자 20명을 대상으로 실험을 진행하였다. 이들은 기존 치매 검사에 활용되는 설문검사와 몰입 가상현실 콘텐츠를 수행하였다.
실험에서 측정된 행동데이터로 ROC(Receiver-Operating Characteristic) 곡선(curve) 분석을 통해 컷오프 값을 도출할 수 있다. 컷오프 값은 피검자의 경도인지장애 여부를 판별하는데 활용될 수 있다.
1) 설문검사
MMSE-DS (mini-mental state examination-dementia screening): 전반적 인지기능 검사를 위해 활용되는 도구
K-IADL: 치매조기선별을 위해 도구적 일상생활 수행능력을 측정하는 도구
FCSRT (free and cued selective recall test): 즉시 및 지연 회상능력 (기억력)측정 도구
DST-F/B (digit span test-forward/backward): 집행능력 (executive function) 측정 도구
TMT-A/B (trail making test-A/B): 정신운동 속도 (psychomotor speed) 측정 도구
실험 진행 결과 인구통계학적 정보와 설문검사 결과는 아래 표와 같다.
[표 3]
Figure pat00003
독립표본 t-검정을 통해 건강한 고령자와 경도인지장애환자를 비교했을 때, MMSE-DS, FCSRT, DST-B, TMT-A 등에 있어 유의한 차이가 발생할 수 있다. 즉, 경도인지장애는 정상인보다 전반적 인지능력, 기억력, 집행능력, 정신운동 속도에서 차이가 난다.
2) 몰입 가상현실 콘텐츠 행동데이터 분석
몰입 가상현실 시스템에서 금전관리, 대중교통 이용 과제를 수행하는 동안 수집된 행동데이터를 건강한 고령자와 경도인지장애환자간 독립표본 t-검정으로 비교한 결과는 아래와 같다.
[표 4]
Figure pat00004
즉, 금전관리 과제에서 손 움직임 속도, 과제 수행시간, 오류횟수, 대중교통 이용 과제에서 머리 움직임 궤적, 머리 움직임 속도, 오류횟수에서 두 그룹간 유의한 차이가 발생한다.
인지능력이 건강할수록 손 움직임 속도가 빠르고, 머리 움직임 궤적이 길고(움직임이 활발하며), 머리 움직임 속도가 빠르고, 금전관리 과제 수행시간이 빠르고, 모든 과제에서 오류 횟수가 적다.
3) 판별식 도출
단계별 판별분석 (step-wise discriminant analysis) 결과는 아래와 같이 ㄴ나타낼 수 있다.
[표 5]
Figure pat00005
금전관리, 대중교통 이용 과제에서 측정된 총 8개의 변수 중 3개의 변수가 정상과 경도인지장애를 판별하는데 활용될 수 있다. 분석을 도출된 판별식은 아래와 같이 나타낼 수 있다.
[식 1]
(판별함수 값D) = -0.752 + 0.016*(금전관리 과제 수행시간) - 0.016*(머리 움직임 궤적) + 0.673*(대중교통 이용 과제 오류횟수)
[표 6]
Figure pat00006
위에서 계산된 판별함수 값 D는 0.083을 기준으로 이 값보다 작으면 정상고령자이고, 크면 경도인지장애환자로 판별될 수 있다.
실시예들에 따르면 몰입 가상현실 속에서 일상생활에 대한 과제를 통해 경도인지장애 여부를 실제 행동데이터를 바탕으로 조기에 선별할 수 있다. 또한, 실시예들에 따르면 쉽고 간단하게 수행할 수 있는 과제이기 때문에 피검자의 행동데이터(인지능력) 여부를 주기적으로 쉽게 추적 및 관찰할 수 있을 뿐 아니라, 지속적 과제 수행을 통해 훈련 효과도 제공할 수 있다.
이와 같이 실시예들은 ICT(information and communications technology) 기반 인지능력 측정 시스템, PC 및 스마트폰 콘텐츠를 활용하여 피검자의 인지능력을 측정하는 시스템, 행동데이터 기반 인지능력 측정 시스템, 보행, 손동작 등을 바탕으로 인지능력을 측정하고 상태를 진단하는 도구, 가상현실 기반 인지능력 측정 시스템, 가상현실을 활용해 인지능력을 측정하는 시스템 등에 활용될 수 있다. 또한, 실시예들은 임상환경에서 치매 조기선별을 위한 시스템 및 경도인지장애 환자 인지능력 개선을 위한 훈련 시스템에 적용 가능하여, 인지능력 측정이 요구되는 의료분야(정신건강의학과, 신경과, 재활의학과 등), 신체능력 측정이 요구되는 의료분야(류마티스학과, 재활의학과 등), 및 실버 산업 등에서 활용될 수 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 컨트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 컨트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치에 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (15)

  1. 스크린을 통한 3차원 가상현실 화면을 제공하는 가상현실 제공부;
    카메라 또는 센서를 통해 피검자의 움직임을 추적하여 행동데이터를 측정하는 행동데이터 측정부; 및
    획득된 상기 행동데이터를 상기 3차원 가상현실 화면에 반영하여, 몰입 가상현실 콘텐츠와 피검자가 상호작용하는 몰입 가상현실을 구현하는 콘텐츠 제공부
    를 포함하고,
    상기 몰입 가상현실에서 획득된 피검자의 상기 행동데이터를 바탕으로 기설정된 데이터와 비교하여 인지능력을 평가 가능한 몰입 가상현실 속 행동데이터를 활용한 경도인지장애 선별 시스템.
  2. 제1항에 있어서,
    상기 몰입 가상현실에서 획득된 피검자의 상기 행동데이터를 이용하여 기설정된 컷오프 값을 기준으로 경도인지장애 여부를 판별하는 인지능력 판단부
    를 더 포함하는 몰입 가상현실 속 행동데이터를 활용한 경도인지장애 선별 시스템.
  3. 제1항에 있어서,
    상기 가상현실 제공부는,
    3D 가상현실 화면을 제공하는 프로젝터;
    상기 프로젝터에서 제공되는 상기 3차원 가상현실 화면을 확대하여 제공하는 4면 스크린(4-sided screen); 및
    피검자에게 착용되어 3차원 입체 영상을 제공하는 3D 안경(3D glass)
    을 포함하는 몰입 가상현실 속 행동데이터를 활용한 경도인지장애 선별 시스템.
  4. 제1항에 있어서,
    상기 행동데이터 측정부는,
    상기 피검자의 손 및 머리의 움직임을 촬영하는 복수의 모션 캡쳐 카메라를 통해 상기 피검자의 움직임을 추적하여 상기 행동데이터를 측정하는 것
    을 특징으로 하는 몰입 가상현실 속 행동데이터를 활용한 경도인지장애 선별 시스템.
  5. 제4항에 있어서,
    상기 모션 캡쳐 카메라는,
    상기 피검자의 머리, 손, 및 발 중 적어도 어느 하나 이상의 신체에 부착된 센서의 좌푯값 및 회전값을 측정하여 상기 행동데이터를 측정하는 것
    을 특징으로 하는 몰입 가상현실 속 행동데이터를 활용한 경도인지장애 선별 시스템.
  6. 제1항에 있어서,
    상기 콘텐츠 제공부는,
    획득된 상기 행동데이터를 상기 3차원 가상현실 화면에 반영하여 가상현실 콘텐츠를 제작하고, 상기 가상현실 제공부에 상기 가상현실 콘텐츠를 제공하는 것
    을 특징으로 하는 몰입 가상현실 속 행동데이터를 활용한 경도인지장애 선별 시스템.
  7. 제6항에 있어서,
    상기 콘텐츠 제공부는,
    상기 피검자의 머리 움직임에 따라 상기 가상현실 콘텐츠의 시야각이 변화되도록 제작하여 상기 가상현실 제공부에 제공하는 것
    을 특징으로 하는 몰입 가상현실 속 행동데이터를 활용한 경도인지장애 선별 시스템.
  8. 스크린을 통한 3차원 가상현실 화면을 제공하는 단계;
    카메라 또는 센서를 통해 피검자의 움직임을 추적하여 행동데이터를 측정하는 단계;
    획득된 상기 행동데이터를 상기 3차원 가상현실 화면에 반영하여, 몰입 가상현실 콘텐츠와 피검자가 상호작용하는 몰입 가상현실을 구현하는 단계; 및
    상기 몰입 가상현실에서 획득된 피검자의 상기 행동데이터를 바탕으로 기설정된 데이터와 비교하여 인지능력을 평가하는 단계
    를 포함하는 몰입 가상현실 속 행동데이터를 활용한 경도인지장애 선별 방법.
  9. 제8항에 있어서,
    상기 스크린을 통한 3차원 가상현실 화면을 제공하는 단계는,
    프로젝터를 통해 3D 가상현실 화면을 제공하고, 상기 프로젝터에서 제공되는 상기 3차원 가상현실 화면을 4면 스크린(4-sided screen)를 통해 확대하여 제공하며, 피검자에 의해 3D 안경(3D glass)이 착용되어 3차원 입체 영상을 제공하는 것
    을 특징으로 하는 몰입 가상현실 속 행동데이터를 활용한 경도인지장애 선별 방법.
  10. 제8항에 있어서,
    상기 카메라 또는 센서를 통해 피검자의 움직임을 추적하여 행동데이터를 측정하는 단계는,
    상기 피검자의 손 및 머리의 움직임을 촬영하는 복수의 모션 캡쳐 카메라를 통해 상기 피검자의 움직임을 추적하여 상기 행동데이터를 측정하고, 상기 모션 캡쳐 카메라는 상기 피검자의 머리, 손, 및 발 중 적어도 어느 하나 이상의 신체에 부착된 센서의 좌푯값 및 회전값을 측정하여 상기 행동데이터를 측정하는 것
    을 특징으로 하는 몰입 가상현실 속 행동데이터를 활용한 경도인지장애 선별 방법.
  11. 제8항에 있어서,
    상기 몰입 가상현실 콘텐츠와 피검자가 상호작용하는 몰입 가상현실을 구현하는 단계는,
    획득된 상기 행동데이터를 상기 3차원 가상현실 화면에 반영하여 가상현실 콘텐츠를 제작하고, 상기 가상현실 제공부에 상기 가상현실 콘텐츠를 제공하는 것
    을 특징으로 하는 몰입 가상현실 속 행동데이터를 활용한 경도인지장애 선별 방법.
  12. 제11항에 있어서,
    상기 몰입 가상현실 콘텐츠와 피검자가 상호작용하는 몰입 가상현실을 구현하는 단계는,
    상기 피검자의 머리 움직임에 따라 상기 가상현실 콘텐츠의 시야각이 변화되도록 제작하여 상기 가상현실 제공부에 제공하는 것
    을 특징으로 하는 몰입 가상현실 속 행동데이터를 활용한 경도인지장애 선별 방법.
  13. 제8항에 있어서,
    상기 몰입 가상현실에서 획득된 피검자의 상기 행동데이터를 바탕으로 기설정된 데이터와 비교하여 인지능력을 평가하는 단계는,
    획득된 피검자의 상기 행동데이터를 이용하여 기설정된 컷오프 값을 기준으로 경도인지장애 여부를 판별하는 것
    을 특징으로 하는 몰입 가상현실 속 행동데이터를 활용한 경도인지장애 선별 방법.
  14. 제8항에 있어서,
    상기 카메라 또는 센서를 통해 피검자의 움직임을 추적하여 행동데이터를 측정하는 단계는,
    상기 피검자에게 기설정된 금전관리 과제를 제시하고 가상현실 속에서 피검자가 현금 자동 입출금기(Automated Teller Machine, ATM)를 이용하여 현금을 인출하는 상기 행동데이터를 측정하며,
    상기 몰입 가상현실 콘텐츠와 피검자가 상호작용하는 몰입 가상현실을 구현하는 단계는,
    상기 피검자가 몰입 가상현실 속에서 상기 현금 자동 입출금기의 카드 투입구에 카드를 투입하도록 화면을 제공하는 단계;
    상기 피검자가 카드를 투입함에 따라 메뉴 선택(Select menu)을 제공하여 현금 인출 버튼을 클릭하도록 화면을 제공하는 단계;
    상기 피검자가 현금 인출 버튼을 클릭함에 따라 인출 금액 선택(Select amount to withdraw) 화면을 제공하는 단계;
    상기 피검자는 인출 금액을 선택함에 따라 지폐 종류 결정(Select a bill type)하는 화면을 제공하는 단계;
    상기 피검자가 인출 금액을 선택함에 따라 비밀번호 입력(Enter PIN) 화면을 제공하는 단계;
    상기 피검자가 비밀번호를 입력함에 따라 영수증 여부 선택(Select receipt option)화면을 제공하는 단계;
    상기 피검자가 명세표 출력 여부를 결정함에 따라 카드 및 영수증 회수(Remove card) 화면을 제공하는 단계;
    상기 피검자가 카드와 명세표를 회수함에 따라 현금 회수(Receive money) 화면을 제공하는 단계
    를 포함하는 몰입 가상현실 속 행동데이터를 활용한 경도인지장애 선별 방법.
  15. 제8항에 있어서,
    상기 카메라 또는 센서를 통해 피검자의 움직임을 추적하여 행동데이터를 측정하는 단계는,
    상기 피검자에게 기설정된 대중교통 이용 과제를 제시하고 가상현실 속에서 피검자가 버스 정류장에서 유사 버스와 목표 버스를 구분하여 탑승하는 상기 행동데이터를 측정하며,
    상기 몰입 가상현실 콘텐츠와 피검자가 상호작용하는 몰입 가상현실을 구현하는 단계는,
    몰입 가상현실 속에서 상기 피검자에게 기설정된 색상, 번호, 및 목적지의 목표 버스(target bus)를 일정 기간마다 제공하는 단계; 및
    상기 피검자가 버스 정류장에서 상기 목표 버스를 기다리는 동안 상기 목표 버스와 유사한 색상, 번호, 및 목적지 중 적어도 어느 하나 이상이 다른 유사 버스를 제공하는 단계
    를 포함하는 몰입 가상현실 속 행동데이터를 활용한 경도인지장애 선별 방법.
KR1020160171246A 2016-12-15 2016-12-15 몰입 가상현실 속 행동데이터를 활용한 경도인지장애 선별 시스템 및 그 방법 KR101912020B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160171246A KR101912020B1 (ko) 2016-12-15 2016-12-15 몰입 가상현실 속 행동데이터를 활용한 경도인지장애 선별 시스템 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160171246A KR101912020B1 (ko) 2016-12-15 2016-12-15 몰입 가상현실 속 행동데이터를 활용한 경도인지장애 선별 시스템 및 그 방법

Publications (2)

Publication Number Publication Date
KR20180069947A true KR20180069947A (ko) 2018-06-26
KR101912020B1 KR101912020B1 (ko) 2018-10-26

Family

ID=62788776

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160171246A KR101912020B1 (ko) 2016-12-15 2016-12-15 몰입 가상현실 속 행동데이터를 활용한 경도인지장애 선별 시스템 및 그 방법

Country Status (1)

Country Link
KR (1) KR101912020B1 (ko)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109976530A (zh) * 2019-04-08 2019-07-05 贵州大学 一种vr系统认知负荷量化评估方法
KR20200083109A (ko) * 2018-12-31 2020-07-08 주식회사 엔가든 치매환자용 복합 인지재활 콘텐츠 제공 시스템 및 방법
WO2020141695A1 (ko) * 2018-12-31 2020-07-09 주식회사 엔가든 치매환자용 복합 인지재활 콘텐츠 제공 시스템 및 방법
WO2020262923A1 (en) * 2019-06-27 2020-12-30 Samsung Electronics Co., Ltd. System and method for generating a mixed reality experience
WO2021014458A1 (en) * 2019-07-19 2021-01-28 Joshi Pulkit Dutt Systems and methods for automated visual perceptual assessment
KR20210119071A (ko) 2020-03-24 2021-10-05 부산대학교병원 가상현실 기반 인지게임 점수에 따른 인지장애 분석을 이용한 맞춤형 인지개선 훈련 시스템 및 방법
KR102376448B1 (ko) * 2021-10-25 2022-03-18 울산과학기술원 가상 현실 기반 hitl 실험 장치 및 방법
WO2023075083A1 (ko) * 2021-10-25 2023-05-04 울산과학기술원 실시간 행위자 상태 연동을 이용한 가상 현실 기반 hitl 실험 장치 및 방법
KR20230097332A (ko) * 2021-12-24 2023-07-03 서울과학기술대학교 산학협력단 치매조기진단 시스템 및 이를 이용한 치매조기진단 방법

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200083109A (ko) * 2018-12-31 2020-07-08 주식회사 엔가든 치매환자용 복합 인지재활 콘텐츠 제공 시스템 및 방법
WO2020141695A1 (ko) * 2018-12-31 2020-07-09 주식회사 엔가든 치매환자용 복합 인지재활 콘텐츠 제공 시스템 및 방법
CN109976530A (zh) * 2019-04-08 2019-07-05 贵州大学 一种vr系统认知负荷量化评估方法
WO2020262923A1 (en) * 2019-06-27 2020-12-30 Samsung Electronics Co., Ltd. System and method for generating a mixed reality experience
US11533468B2 (en) 2019-06-27 2022-12-20 Samsung Electronics Co., Ltd. System and method for generating a mixed reality experience
WO2021014458A1 (en) * 2019-07-19 2021-01-28 Joshi Pulkit Dutt Systems and methods for automated visual perceptual assessment
KR20210119071A (ko) 2020-03-24 2021-10-05 부산대학교병원 가상현실 기반 인지게임 점수에 따른 인지장애 분석을 이용한 맞춤형 인지개선 훈련 시스템 및 방법
KR102376448B1 (ko) * 2021-10-25 2022-03-18 울산과학기술원 가상 현실 기반 hitl 실험 장치 및 방법
WO2023075083A1 (ko) * 2021-10-25 2023-05-04 울산과학기술원 실시간 행위자 상태 연동을 이용한 가상 현실 기반 hitl 실험 장치 및 방법
KR20230097332A (ko) * 2021-12-24 2023-07-03 서울과학기술대학교 산학협력단 치매조기진단 시스템 및 이를 이용한 치매조기진단 방법

Also Published As

Publication number Publication date
KR101912020B1 (ko) 2018-10-26

Similar Documents

Publication Publication Date Title
KR101912020B1 (ko) 몰입 가상현실 속 행동데이터를 활용한 경도인지장애 선별 시스템 및 그 방법
Li et al. Vision-based assessment of parkinsonism and levodopa-induced dyskinesia with pose estimation
US20210104178A1 (en) System and method for three-dimensional augmented reality guidance for use of medical equipment
EP2560141B1 (en) Interactive virtual care
US10478114B2 (en) Brain dysfunction assessment method, brain dysfunction assessment device, and program thereof
US10810512B1 (en) Validating a machine learning model prior to deployment
US8041091B2 (en) Methods and systems for detection of retinal changes
WO2018065883A1 (en) System and method for training and monitoring administration of inhaler medication
KR20190119488A (ko) 스마트 요가 매트를 이용한 기계학습 기반의 점수화 시스템 및 방법
JP2022511965A (ja) 人工神経網を利用する臓器の体積測定方法及びその装置
CN106504001A (zh) 一种vr环境中的支付方法及装置
US11779260B2 (en) Cognitive function evaluation method, cognitive function evaluation device, and non-transitory computer-readable recording medium in which cognitive function evaluation program is recorded
WO2019086535A1 (en) Classifying a disease or disability of a subject
WO2021148880A1 (en) Systems for dynamic assessment of upper extremity impairments in virtual/augmented reality
WO2015099843A1 (en) Method for medical image processing
JP6900766B2 (ja) 接客要否判定装置、接客要否判定方法、及びプログラム
JP6832005B2 (ja) 被験者判断装置、方法、及びプログラム
JP6941833B2 (ja) 高次脳機能検査用の三次元表示装置、高次脳機能検査用の三次元表示方法、および高次脳機能検査用の三次元表示プログラム
KR20210144208A (ko) 증강현실 기반 인지재활 훈련 시스템 및 방법
KR102292041B1 (ko) 질병 발병 예측을 위한 시구간 단위 데이터 세트 구성 방법 및 그 장치
US20220358726A1 (en) System and method for augmented reality visualization of benign paroxysmal position vertigo (bppv) disorder
WO2019018577A1 (en) SYSTEMS AND METHODS FOR ANALYZING A BEHAVIOR OF A HUMAN SUBJECT
Khakwani et al. Artifial Intelligence in Interventional Radiology
Büscher et al. Statistical analysis and improvement of the repeatability and reproducibility of an evaluation method for IMUs on a smartphone
KR20170081415A (ko) X선 영상에 근거한 촬영 자세/조건 오류 분석 장치 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right