KR102591797B1 - 치매조기진단 시스템 및 이를 이용한 치매조기진단 방법 - Google Patents

치매조기진단 시스템 및 이를 이용한 치매조기진단 방법 Download PDF

Info

Publication number
KR102591797B1
KR102591797B1 KR1020210186728A KR20210186728A KR102591797B1 KR 102591797 B1 KR102591797 B1 KR 102591797B1 KR 1020210186728 A KR1020210186728 A KR 1020210186728A KR 20210186728 A KR20210186728 A KR 20210186728A KR 102591797 B1 KR102591797 B1 KR 102591797B1
Authority
KR
South Korea
Prior art keywords
dementia
task
data
diagnosis
early
Prior art date
Application number
KR1020210186728A
Other languages
English (en)
Other versions
KR20230097332A (ko
Inventor
서경원
박하현
Original Assignee
서울과학기술대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서울과학기술대학교 산학협력단 filed Critical 서울과학기술대학교 산학협력단
Priority to KR1020210186728A priority Critical patent/KR102591797B1/ko
Publication of KR20230097332A publication Critical patent/KR20230097332A/ko
Application granted granted Critical
Publication of KR102591797B1 publication Critical patent/KR102591797B1/ko

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/40Detecting, measuring or recording for evaluating the nervous system
    • A61B5/4076Diagnosing or monitoring particular conditions of the nervous system
    • A61B5/4088Diagnosing of monitoring cognitive diseases, e.g. Alzheimer, prion diseases or dementia
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024Detecting, measuring or recording pulse rate or heart rate
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/05Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/053Measuring electrical impedance or conductance of a portion of the body
    • A61B5/0531Measuring skin impedance
    • A61B5/0533Measuring galvanic skin response
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1116Determining posture transitions
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/162Testing reaction times
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/163Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/48Other medical applications
    • A61B5/4884Other medical applications inducing physiological or psychological stress, e.g. applications for stress testing
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Child & Adolescent Psychology (AREA)
  • Physiology (AREA)
  • Psychology (AREA)
  • Psychiatry (AREA)
  • Hospice & Palliative Care (AREA)
  • Developmental Disabilities (AREA)
  • Social Psychology (AREA)
  • Neurology (AREA)
  • Cardiology (AREA)
  • Dermatology (AREA)
  • Educational Technology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Neurosurgery (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

본 발명의 일 측면에 따르면, 본 발명의 일측면에 따르면, 가상현실 제공장치에 의해 VR과제가 디스플레이 되는 단계(S1 단계); 데이터 수집장치에 의해 진단대상자가 상기 VR과제를 수행하는 동안 생체데이터, 행동데이터 및 인지데이터가 수집되는 단계(S2 단계); 치매조기진단 서버에 의해 상기 생체데이터, 행동데이터 및 인지데이터가 학습된 멀티모달 딥러닝 모델에 입력되어 치매여부가 판단되는 단계(S3단계); 및 치매조기진단 서버에 의해 상기 치매여부에 대한 설명력이 제공되는 단계(S4 단계)를 포함하는 치매조기진단 방법이 제공될 수 있다.

Description

치매조기진단 시스템 및 이를 이용한 치매조기진단 방법 {System for early diagnosis of dementia and Method for early diagnosis of dementia using the same}
본 발명은 치매조기진단 시스템 및 이를 이용한 치매조기진단 방법에 관한 것이다.
치매는 비가역적 질병으로 조기진단을 통한 예방이 핵심이다. 2020년 통계청 자료에 따르면 대한민국 65세 이상 고령인구의 치매 유병률은 10.29%이며, 연간 국가 치매 관리비용은 약 16.5조원이다. 이러한 비용은 2040년에는 약 63.1조원까지 증가할 것으로 추정된다.
미국, 유럽 연합 등 선진국은 치매조기진단을 위한 인공지능 기반 VR 기술, MRI 분석 기술, 말투 분석 기술 등의 연구개발에 박차를 가하고 있다. 2시간 이상이 소요되는 기존 설문지 기반 인지능력평가 (예: SNSB), 침습적인 아밀로이드 베타 검사 방법과 비교했을 때 인공지능 기반 의료기술은 치매조기진단에 걸리는 시간을 대폭 줄이고 정확도를 향상시킴으로써 의료진뿐만 아니라 환자의 만족도를 높일 것으로 기대된다.
도구적 일상생활 수행능력(instrumental activities of daily living)은 치매를 조기에 진단할 수 있는 핵심지표이다. 이를 위해 설문지 기반 인지능력평가 (예: SNSB) 등이 수행되고 있다.
그러나 설문지 기반 치매조기진단은 많은 시간이 소요되며, 대상자의 나이, 교육년수 등 인구통계학적 요소에 영향을 받으며, 대상자의 주관적 편향(bias)에 의해 결과가 왜곡될 수 있다는 한계점을 갖는다.
그 결과, 설문지 기반 평가기술은 스크리닝 지표로만 활용될 뿐 실제 치매조기진단을 위해서는 EEG, MRI 등 추가 검사가 요구된다.
최근 VR 기술을 활용해 가상 일상생활을 구현하고 여기서 도구적 일상생활 수행능력을 직접 평가하는 방법론이 연구되고 있다. VR 환경 속에서 운전, 장보기, 버스이용, 금전관리 등 일상생활 과제를 구현하고 여기서 수집되는 대상자의 손 움직임, 머리 움직임, 성과 (수행시간, 오류횟수) 같은 특징(feature)을 기계학습(machine learning)으로 분석해 치매를 조기 진단한다.
그러나 이러한 방법론은 대상자의 복잡한 행동 패턴을 분석할 수 없을 뿐만 아니라, 일상생활 수행능력과 치매와의 관계에 대해 충분한 설명력을 제공하지 못한다.
특허문헌: 한국 등록 특허 10-2282101 B1 (2021.07.27)
본 발명의 실시예들은 상기와 같은 문제를 해결하기 위해 제안된 것으로서, 알츠하이머 치매를 조기진단할 수 있는 치매조기진단 시스템(1) 및 이를 이용한 치매조기진단 방법을 제공하고자 한다.
또한, 어떠한 이유로 치매로 판정되었는지 설명력을 제공할 수 있는 치매조기진단 시스템 및 이를 이용한 치매조기진단 방법을 제공하고자 한다.
또한, 다수의 진단대상자를 대상으로 동시에 검사를 진행하고, 검사 시간을 단축할 수 있으며, 정확도 높은 검사 결과를 도출할 수 있는 치매조기진단 시스템 및 이를 이용한 치매조기진단 방법을 제공하고자 한다.
또한, 병원에 방문하지 않더라도 알츠하이머 치매를 진단할 수 있는 치매조기진단 시스템 및 이를 이용한 치매조기진단 방법을 제공하고자 한다.
본 발명의 일 실시예에 따르면, 본 발명의 일측면에 따르면, 가상현실 제공장치(20)에 의해 VR과제가 디스플레이 되는 단계(S1 단계); 데이터 수집장치(30)에 의해 진단대상자가 상기 VR과제를 수행하는 동안 생체데이터, 행동데이터 및 인지데이터가 수집되는 단계(S2 단계); 치매조기진단 서버(10)에 의해 상기 생체데이터, 행동데이터 및 인지데이터가 학습된 멀티모달 딥러닝 모델에 입력되어 치매여부가 판단되는 단계(S3단계); 및 치매조기진단 서버(10)에 의해 상기 치매여부에 대한 설명력이 제공되는 단계(S4 단계)를 포함하는 치매조기진단 방법이 제공될 수 있다.
또한, 상기 S1 단계에서의 VR과제는 VR과제 설정모듈(310)에 의해 제어되고, 상기 VR과제 설정모듈(310)에 의해 제어되는 상기 VR과제는 키오스크를 통해 메뉴를 주문하는 과제를 포함하고 치매조기진단 방법이 제공될 수 있다.
또한, 상기 키오스크를 통해 메뉴를 주문하는 과제는, 식사장소를 선택하는 제1 과제, 메인 식사의 종류를 선택하는 제2 과제, 사이드 메뉴를 선택하는 제3 과제, 음료를 선택하는 제4 과제, 결제방법을 선택하는 제5 과제 및 비밀번호를 입력하는 제6 과제를 포함하는 치매조기진단 방법이 제공될 수 있다.
또한, 상기 S3단계는, 치매조기진단 서버(10)의 치매진단 모듈(320)에 의해 학습된 멀티모달 딥러닝 모델을 구축되는 것을 포함하고, 상기 학습된 멀티모달 딥러닝 모델은 서로 다른 분류군에 속하는 진단대상자에 대한 생체데이터, 행동데이터 및 인지데이터를 시계열 데이터 분류(Time-series classification)하고 이를 합성곱신경망(CNN) 모델을 학습시킴으로써 구축되는 것을 포함하는 치매조기진단 방법이 제공될 수 있다.
또한, 상기 S3단계는, 상기 생체데이터를 구성하는 심박수, 피부전도도 및 상기 행동데이터를 구성하는 손 3축 움직임, 머리 3축 움직임, 안구 3축 움직임 및 상기 인지데이터를 구성하는 오류횟수, 수행시간이 상기 멀티모달 딥러닝 모델에 입력된 후, 컨볼루션레이어(convolution lyaer), 배치 정규화(batch normalization) 및 엑션 레이어(action layer)를 통해 학습시킨 후 GAP(global average pooling)을 통해 상기 진단대상자가 치매여부를 갖는지 판단되는것을 포함하는 치매조기진단 방법이 제공될 수 있다.
또한, 상기 S4 단계는, 설명력 제공모듈(330)에 의해 상기 진단대상자의 행동을 CAM(class activation map)을 통해 GCF(general cognitive function)에 맵핑하는 단계를 포함하고, 상기 GCF(general cognitive function)는, 주변 환경의 자극 및 정보에 대한 주의 및 집중 능력을 의미하는 집중(attention), 일상생활을 수행하는 데 활용되는 자기조절 및 기억 능력을 의미하는 기억(memory), 주어진 정보 또는 작업을 정신적으로 수행하는 속도를 의미하는 정신운동 속도(psychomotor speed), 체계적이며 합리적인 문제 해결 능력인 문제 해결(problem solving), 다른사람과의 의사소통에 필요한 언어 능력인 언어(language)로 구분되어 분류될 수 있는 치매조기진단 방법이 제공될 수 있다.
본 발명의 일측면에 따르면, VR과제를 디스플레이할 수 있는 가상현실 제공장치(20); 진단대상자가 상기 VR과제를 수행하는 동안 생체데이터, 행동데이터 및 인지데이터를 수집할 수 있는 데이터 수집장치(30); 및 상기 생체데이터, 행동데이터 및 인지데이터가 학습된 멀티모달 딥러닝 모델에 입력되어 치매여부를 판단하고, 치매여부에 대한 설명력을 제공할 수 있는 치매조기진단 서버(10)를 포함하는 치매조기진단 시스템이 제공될 수 있다.
또한, 상기 치매조기진단 서버(10)는, 상기 가상현실 제공장치(20)에 의해 디스플레이되는 VR과제를 제어하는 VR과제 설정모듈(310); 학습된 멀티모달 딥러닝 모델을 구축할 수 있는 치매진단 모듈(320); 및 상기 VR과제를 수행하는 동안의 진단대상자의 행동을 CAM(class activation map)을 통해 GCF(general cognitive function)에 맵핑할 수 있는 설명력 제공모듈(330)을 포함하는 치매조기진단 시스템이 제공될 수 있다.
본 발명의 실시예들에 따른 치매조기진단 시스템 및 이를 이용한 치매조기진단 방법은 알츠하이머 치매를 조기진단할 수 있다.
또한, 어떠한 이유로 치매로 판정되었는지 설명력을 제공할 수 있다.
또한, 다수의 진단대상자를 대상으로 동시에 검사를 진행하고, 검사 시간을 단축할 수 있으며, 정확도 높은 검사 결과를 도출할 수 있다.
또한, 병원에 방문하지 않더라도 알츠하이머 치매를 진단할 수 있다.
도 1은 본 발명의 일 실시예에 따른 치매조기진단 시스템(1)을 개략적으로 나타내는 도면이다.
도 2는 도 1의 치매조기진단 서버(10)의 구성을 개략적으로 나타내는 도면이다.
도 3은 도 1의 치매조기진단 시스템(1)에 의해 실행되는 치매조기진단 방법을 개략적으로 나타내는 순서도이다.
도 4는 진단대상자가 VR과제를 수행하는 동안 수집된 생체데이터(심박수, 피부전도도), 행동데이터(손 3축 움직임, 머리 3축 움직임) 및 인지데이터 (오류횟수, 수행시간)를 나타내는 도표이다.
도 5는 생체데이터, 행동데이터 및 인지데이터가 멀티모달 딥러닝 모델에 입력된후 GAP(global average pooling)을 거쳐, 진단대상자가 정상범위에 있는 진단대상자인지, 경도인지장애를 가진 진단대상자인지 판별되는 것을 개념적으로 나타낸 도면이다.
이하에서는 본 발명의 구체적인 실시예들에 대하여 도면을 참조하여 상세히 설명한다. 아울러 본 발명을 설명함에 있어서, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다.
도 1은 본 발명의 일 실시예에 따른 치매조기진단 시스템(1)을 개략적으로 나타내는 도면이다.
도 1을 참조하면, 치매조기진단 시스템(1)은 치매조기진단 서버(10)와 가상현실 제공장치(20)와 데이터 수집장치(30)와 통신망(40)을 포함할 수 있다.
치매조기진단 시스템(1)은 알츠하이머 치매 조기 진단을 위한 VR 디지털 마이오마커 시스템으로 명명될 수 있으며, 치매조기진단 서버(10)와 가상현실 제공장치(20)와 데이터 수집장치(30)는 서로 독립적인 장치로 제공되어 통신망(40)을 통해 데이터 통신하거나, 또는 하나의 물리적인 장치로 구성되어 직접 데이터 통신 가능하게 제공될 수 있다.
본 실시예에서는 치매조기진단 서버(10)와 가상현실 제공장치(20)와 데이터 수집장치(30)는 별개의 독립적인 장치로 제공되는 것을 예로 들어 설명한다.
본 실시예의 치매조기진단 시스템(1)은 가상현실 제공장치(20)를 통해 VR과제가 제시되며, 진단대상자가 VR과제를 수행하는 동안 생체데이터(예를 들어, 심박수, 피부전도도), 행동데이터(예를 들어, 손 3축 움직임, 머리 3축 움직임, 안구 3축 움직임) 및 인지데이터(오류횟수, 수행시간)가 수집되고, 이와 같이 수집된 데이터를 치매조기진단 서버(10)에 의해 구축된 멀티모달 딥러닝 모델에 입력시켜 치매여부가 판단될 수 있다.
또한, 치매조기진단 시스템(1)은 딥러닝 기반 시계열 데이터 분류(time-series classification)를 통한 복잡한 행동 패턴 특징추출 및 모델학습을 구현할 수 있으며, CAM(class activation map)을 활용해 대상자의 VR과제 속 행동 패턴을 GCF(general cognitive function)에 맵핑하고 이를 바탕으로 어떠한 이유로 대상자가 치매로 조기 진단되었는지에 대한 설명력(expainability)을 제공할 수 있다. 이에 대한 자세한 설명은 후술한다.
치매조기진단 서버(10)는 가상현실 제공장치(20)에 VR과제를 디스플레이하고, 진단대상자가 VR과제를 수행하는 동안의 데이터(생체데이터, 행동데이터, 인지데이터)를 수집하여, 이를 기초로 치매여부를 조기진단하고, 이에 대한 설명력을 제공할 수 있는 서버로 이해될 수 있다. 이에 대한 자세한 설명은 후술한다.
가상현실 제공장치(20)는 진단대상자가 머리에 쓴 상태에서 VR과제를 보여주는 헤드-마운티드 디스플레이(HDM)를 포함할 수 있다.
데이터 수집장치(30)는 진단대상자의 심박수와 피부전도도를 측정하는 생체데이터수집장치를 포함할 수 있다.
또한, 데이터 수집장치(30)는 진단대상자의 손 3축 움직임, 머리 3축 움직임, 안구 3축 움직임을 측정하는 행동데이터 수집장치를 포함할 수 있다. 예를 들어, 행동데이터 수집장치는 머리 3축 움직임과 안구 3축 움직임을 측정하기 위해 헤드-마운티드 디스플레이(HDM)에 장착된 기구거나 및 손 3축 움직임을 측정하기 위해 사용자가 파지할 수 있은 기구를 포함할 수 있다.
또한, 데이터 수집장치(30)는 진단대상자의 오류횟수 및 수행시간을 측정하는 인지데이터 수집부를 포함할 수 있다.
여기서, 심박수와 피부전도도를 측정하는 생체데이터수집장치와, 손 3축 움직임, 머리 3축 움직임 및 안구 3축 움직임을 측정하는 행동데이터 수집장치는 하드웨어 일 수 있으며, 진단대상자의 오류횟수 및 수행시간을 측정하는 인지데이터 수집부는 가상현실 제공장치(20)에 내장된 소프트웨어일 수 있다.
다만, 이러한 생체데이터수집장치, 행동데이터 수집장치 및 인지데이터 수집부는 예시적인 것으로, 생체데이터, 행동데이터 및 인지데이터를 수집하기 위한 다른 장치를 포함할 수 있다.
도 2는 도 1의 치매조기진단 서버(10)의 구성을 개략적으로 나타내는 도면이다.
도 2를 참조하면, 치매조기진단 서버(10)는 메모리(200), 프로세서(300) 및 통신모듈(400)을 포함할 수 있다.
프로세서(300)는 기본적인 산술, 로직 및 입출력 연산을 수행함으로써, 컴퓨터 프로그램의 명령을 처리하도록 구성될 수 있다. 명령은 메모리(200) 또는 통신 모듈(400)로부터 프로세서(300)로 제공될 수 있다. 그 외에 명령은 치매조기진단 서버(10)를 구성하는 각각의 구성요소들 간의 통신 채널을 통해 프로세서(300)로 제공될 수 있다.
프로세서(300)는 VR과제를 설정하고, 멀티모달 딥러닝 모델을 구축하고, 진단대상자의 생체데이터, 행동데이터 및 인지데이터를 멀티모달 딥러닝 모델에 입력시켜 치매여부를 판단할 수 있고, 어떠한 이유로 진단대상자가 치매로 조기 진단되었는지 설명력(expainability)을 제공할 수 있다. 이를 실행하기 위한 프로세서(300)의 구체적인 구성요소들은 후술한다.
또한, 프로세서(300)의 구성요소들은 딥러닝으로 미리 학습된 인공신경망을 포함할 수 있다. 예를 들어, 프로세서(300)의 구성요소들 중 적어도 하나는 합성곱신경망(CNN)을 포함할 수 있으며, 합성곱신경망(CNN)은 시계열 데이터 분류(Time-series classification)를 통한 진단대상자의 행동 패턴 특징추출에 의해 구축될 수 있다.
이와 같은 시계열 데이터 분류(Time-series classification) 합성곱신경망(CNN)을 통해 멀티모달 딥러닝 모델이 구축될 수 있으며, 수집된 생체데이터, 행동데이터 및 인지데이터는 멀티모달 딥러닝 모델에 입력되어 raw data 형태로 분석되어, 그 속의 복잡한 패턴이 분석될 수 있다.
메모리(200)는 컴퓨터에서 판독 가능한 기록매체로서 RAM(Random Access Memory), ROM(Read Only Memory) 및 디스크 드라이브와 같은 비소멸성 대용량 기록장치(permanent mass storage device)를 포함할 수 있다. 또한, 프로세서(300)는 메모리(200)에 저장된 프로그램 코드를 로딩하여 치매여부를 판단하거나, 설명력을 제공할 수 있다. 이러한 프로그램 코드는 별도의 컴퓨터에서 판독 가능한 기록 매체(예를 들어 DVD, 메모리 카드 등)로부터 로딩되거나, 다른 장치로부터 통신 모듈(400)을 통해 전달되어 메모리(200)에 저장될 수도 있다.
또한, 메모리(200)에는 VR과제를 설정하거나, 멀티모달 딥러닝 모델을 구축하거나, 시계열 데이터들을 멀티모달 딥러닝 모델에 입력시켜 치매여부를 판단하거나, 어떠한 이유로 진단대상자가 치매로 조기 진단되었는지 설명력(expainability)을 제공하기 위해 필요한 데이터를 저장할 수 있는 데이터베이스(210)가 제공될 수 있다.
통신 모듈(400)은 통신망(40)을 통해 가상현실 제공장치(20) 및 데이터 수집장치(30)와 서로 통신하기 위한 기능을 제공할 수 있다.
치매조기진단 서버(10)의 프로세서(300)은 물리적인 구성인 VR과제 설정모듈(310), 치매진단 모듈(320) 및 설명력 제공모듈(330)을 포함할 수 있으며, 이에 대한 자세한 설명은 후술한다.
도 3은 도 1의 치매조기진단 시스템(1)에 의해 실행되는 치매조기진단 방법을 개략적으로 나타내는 순서도이고, 도 4는 진단대상자가 VR과제를 수행하는 동안 수집된 생체데이터(심박수, 피부전도도), 행동데이터(손 3축 움직임, 머리 3축 움직임) 및 인지데이터 (오류횟수, 수행시간)를 나타내는 도표이며, 도 5는 생체데이터, 행동데이터 및 인지데이터가 멀티모달 딥러닝 모델에 입력된후 GAP(global average pooling)을 거쳐, 진단대상자가 정상범위에 있는 진단대상자인지, 경도인지장애를 가진 진단대상자인지 판별되는 것을 개념적으로 나타낸 도면이다.
도 3 내지 도 5를 참조하면, 치매조기진단 방법은 가상현실 제공장치(20)에 의해 VR과제가 디스플레이되는 단계(S1 단계); 데이터 수집장치(30)에 의해 진단대상자가 상기 VR과제를 수행하는 동안 생체데이터, 행동데이터 및 인지데이터가 수집되는 단계(S2 단계); 치매조기진단 서버(10)에 의 상기 생체데이터, 행동데이터 및 인지데이터가 학습된 멀티모달 딥러닝 모델에 입력되어 치매여부가 판단되는 단계(S3단계); 및 치매조기진단 서버(10)에 의해 상기 치매여부에 대한 설명력이 제공되는 단계(S4 단계)를 포함할 수 있다.
먼저, 가상현실 제공장치(20)에 의해 VR과제가 디스플레이되는 단계(S1 단계)에 대해 자세히 설명하면 다음과 같다.
가상현실 제공장치(20)(예를 들어, 헤드-마운티드 디스플레이(HDM))에 디스플레이 되는 VR과제는 VR과제 설정모듈(310)에 의해 제어될 수 있다.
예를 들어, VR과제 설정모듈(310)은 VR과제를 키오스크를 통해 메뉴를 주문하는 과제로 설정할 수 있다. 구체적으로, 키오스크를 통해 메뉴를 주문하는 과제는 복수 개의 과제를 수행하는 것을 포함할 수 있으며, 복수 개의 과제는 식사장소를 선택하는 제1 과제, 메인 식사(예를 들어, 햄버거)의 종류를 선택하는 제2 과제, 사이드 메뉴를 선택하는 제3 과제, 음료를 선택하는 제4 과제, 결제방법을 선택하는 제5 과제, 비밀번호를 입력하는 제6 과제를 포함할 수 있다.
다만, VR과제의 종류는 예시적인 것으로서, 진단대상자에 따라 VR과제가 맞춤형으로 변경될 수 있다.
진단대상자가 가상현실 제공장치(20)를 통해 키오스크를 통해 메뉴를 주문하는 과제를 수행하는 동안 데이터 수집장치(30)에 의해 생체데이터, 행동데이터 및 인지데이터가 수집(S2 단계)될 수 있다.
여기서, 생체데이터는 심박수, 피부전도도를 포함할 수 있으며, 행동데이터는 손 3축 움직임, 머리 3축 움직임, 안구 3축 움직임을 포함할 수 있으며, 인지데이터는 오류횟수, 수행시간을 포함할 수 있다.
도 4는 진단대상자가 VR과제를 수행하는 동안 수집된 생체데이터(심박수, 피부전도도), 행동데이터(손 3축 움직임, 머리 3축 움직임) 및 인지데이터 (오류횟수, 수행시간)를 나타내는 도표이다.
이와 같이 데이터 수집장치(30)에 의해 수집된 생체데이터, 행동데이터 및 인지데이터는 치매조기진단 서버(10)로 전달될 수 있다.
그 후, 치매조기진단 서버(10)에 의해 상기 생체데이터, 행동데이터 및 인지데이터가 학습된 멀티모달 딥러닝 모델에 입력되어 치매여부가 판단되는 단계(S3단계)가 실행될 수 있으며, 이에 대한 자세한 설명은 다음과 같다.
먼저, 치매조기진단 서버(10)의 치매진단 모듈(320)은 학습된 멀티모달 딥러닝 모델을 포함할 수 있다.
이때, 학습된 멀티모달 딥러닝 모델은 서로 다른 분류군에 속하는 진단대상자 (예를 들어, N명의 정상범위에 있는 진단대상자, N명의 경도인지장애를 가진 진단대상자, N명 치매를 앓는 진단대상자)에 대한 생체데이터, 행동데이터 및 인지데이터 각각을 합성곱신경망(CNN) 모델로 학습시킴으로써 1차 시계열 데이터 분류(Time-series classification)를 수행하고, 이를 합쳐서 2차 시계열 데이터 분류를 수행하는 중첩 시계열 데이터 분류(Nested time-series classification)를 수행한다.
보다 구체적으로, 생체데이터, 행동데이터 및 인지데이터를 구성하는 심박수, 피부전도도, 손 3축 움직임, 머리 3축 움직임, 안구 3축 움직임, 오류횟수, 수행시간은 시계열 데이터 분류(Time-series classification)되어 멀티모달 딥러닝 모델에 입력된 후, 이를 다시 컨볼루션레이어(convolution lyaer)를 통해 데이터 속 시간적 특성을 추출하고, 배치 정규화(batch normalization) 및 엑션 레이어(action layer)를 통해 시계열 데이터 속 편항(bias)을 최소화해 학습시킨 후, GAP(global average pooling)을 통해 시계열 데이터의 전반적 맥락특성(contextual feature)을 계산한 최종 결과값을 바탕으로 진단대상자가 어느 분류군(예를 들어, 정상범위에 있는 진단대상자인지, 경도인지장애를 가진 진단대상자인지, 치매를 앓는 진단대상자인지)에 속하는지 확율로 예측될 수 있다.
여기서, 컨볼루션레이어(convolution lyaer), 배치 정규화(batch normalization) 및 엑션 레이어(action layer) 및 GAP(global average pooling)는 치매진단 모듈(320)에 의해 실행될 수 있다.
도 5는 상술한 생체데이터, 행동데이터 및 인지데이터가 멀티모달 딥러닝 모델에 입력된후 GAP(global average pooling)을 거쳐, 진단대상자가 정상범위에 있는 진단대상자인지, 경도인지장애를 가진 진단대상자인지 판별되는 것을 개념적으로 나타낸 도면이다.
그 후, 치매조기진단 서버(10)에 의해 상기 치매여부에 대한 설명력이 제공되는 단계(S4 단계)가 실행될 수 있으며, 이에 대한 자세한 설명은 다음과 같다.
S4 단계는, 치매조기진단 서버(10)의 설명력 제공모듈(330)에 의해 VR과제를 수행하는 동안의 진단대상자의 행동을 CAM(class activation map)을 통해 GCF(general cognitive function)에 맵핑할 수 있다. 이를 통해 진단대상자가 어떠한 이유로 치매로 조기 진단되었는지 설명력을 제공할 수 있다.
구체적으로, GCF(general cognitive function)는 주변 환경의 자극 및 정보에 대한 주의, 집중 능력을 의미하는 집중(attention), 일상생활을 수행하는 데 활용되는 자기조절 및 기억 능력을 의미하는 기억(memory), 주어진 정보 또는 작업을 정신적으로 수행하는 속도를 의미하는 정신운동 속도(psychomotor speed), 체계적이며 합리적인 문제 해결 능력인 문제 해결(problem solving), 일상생활 및 다른사람과의 의사소통에 필요한 언어 능력인 언어(language)를 포함할 수 있다.
여기서, GCF(general cognitive function)에 대한 구체적은 정보인 집중(attention), 기억(memory), 정신운동 속도(psychomotor speed), 문제 해결(problem solving), 언어(language)에 대한 정보는 데이터베이스(210)에 저장되어 있을 수 있다.
상술한 바와 같이, 치매조기진단 서버(10)는 물리적인 구성인 VR과제 설정모듈(310), 치매진단 모듈(320) 및 설명력 제공모듈(330)을 포함할 수 있으며, 이에 대해 보다 자세히 설명하면 다음과 같다.
VR과제 설정모듈(310)은 가상현실 제공장치(20)에 의해 디스플레이되는 VR과제를 제어할 수 있다.
예를 들어, VR과제 설정모듈(310)은 VR과제를 키오스크를 통해 메뉴를 주문하는 과제로 설정할 수 있다. 구체적으로, 키오스크를 통해 메뉴를 주문하는 과제는 복수 개의 과제를 수행하는 것을 포함할 수 있으며, 복수 개의 과제는 식사장소를 선택하는 제1 과제, 메인 식사(예를 들어, 햄버거)의 종류를 선택하는 제2 과제, 사이드 메뉴를 선택하는 제3 과제, 음료를 선택하는 제4 과제, 결제방법을 선택하는 제5 과제, 비밀번호를 입력하는 제6 과제를 포함할 수 있다.
치매진단 모듈(320)은 학습된 멀티모달 딥러닝 모델을 구축할 수 있으며, 학습된 멀티모달 딥러닝 모델은 서로 다른 분류군에 속하는 진단대상자 (예를 들어, N명의 정상범위에 있는 진단대상자, N명의 경도인지장애를 가진 진단대상자, N명 치매를 앓는 진단대상자)에 대한 생체데이터, 행동데이터 및 인지데이터를 시계열 데이터 분류(Time-series classification)하고, 이를 합성곱신경망(CNN) 모델을 학습시킴으로써 구축될 수 있다.
설명력 제공모듈(330)은 VR과제를 수행하는 동안의 진단대상자의 행동을 CAM(class activation map)을 통해 GCF(general cognitive function)에 맵핑할 수 있으며, 이를 통해 진단대상자가 어떠한 이유로 치매로 조기 진단되었는지 설명력을 제공할 수 있다.
본 실시예의 치매조기진단 시스템(1)은 VR 환경 속 대상자의 생체-행동-인지 시계열 데이터 연계 분석하고, 딥러닝 기반 시계열 데이터 분류(time-series classification)를 통한 특징추출 및 모델학습, CAM을 활용한 VR 과제 속 대상자 움직임과 GCF(general cognitive function) 맵핑을 통한 설명력 제공이라는 측면에서 독창성이 있다.
또한, 이러한 치매조기진단 시스템(1) 및 이를 이용한 치매조기진단 방법은 지속적으로 성장 중인 치매조기진단 분야 및 VR 의료분야에 적용될 수 있다.
종래의 설문지 기반 검사, MRI 검사 등과 비교했을 때 VR 검사는 여러 명이 동시에 검사를 진행하고 정량화된 데이터로 시간을 단축하고 정확도 높은 검사결과를 얻을 수 있어 실제 현장에서 적용이 가능하다. 또한 VR은 시간과 장소에 구애받지 않고 사용이 가능하고 가상현실을 기반으로 몰입감이 높다. 따라서 지금과 같이 코로나19로 인해 병원 방문에 거부감을 느끼는 상황이나 병원을 방문할 수 없는 상황에서도 도구적 일상능력을 평가하며 적용이 용이하다.
또한, 문화, 여가 컨텐츠로 소비되던 VR을 의료분야로 들여오면서 VR은 질병의 진단, 치료 등 많은 역할을 하게 되었다. 사회적 문제로 대두되는 치매 문제를 조기에 진단함으로써 높은 치매 유병률과 막대한 치매 관리 비용을 감소시켜 사회적, 경제적 문제를 해결한다.
또한, 의료현장에서 인공지능 사용이 확대됨에 따라 의료 환경 내 원활한 소통을 방해하는 단절된 구조와 분과별 데이터 사일로 현상을 극복하고 병원 운영과 환자관리 및 치료의 효율성을 높여 나은 의료 서비스를 제공할 수 있다.
본 기술은 대상자로 하여금 치매 검사의 거부감을 없애고 하나의 놀이로써 검사를 받을 수 있게 한다. 이는 키오스크 사용과 같이 노인들이 익숙하지 못해 일상생활에서 기피하던 상황들을 VR을 통해 간접경험을 해봄으로써 가상환경에서 익힌 사용을 실제 환경에서 적용할 수 있게 도울 수 있다.
본 기술을 실제 임상에서 적용할 수 있도록 EEG, MRI와 연계하여 개발하고 품질과 안전성, 유효성을 확보하여 식약처의 허가를 받아 안전하고 신뢰 있는 진단으로 발전시킬 것이다. 그리고 VR 기술의 휴대성을 살려서 VR을 일선 보건소에 설치할 뿐만 아니라 홈케어링을 가능하게 해, 치매 데일리 케어 서비스와 같은 재활 프로그램을 정기적으로 운영할 수 있다.
이상 본 발명의 실시예에 따른 치매조기진단 시스템 및 이를 이용한 치매조기진단 방법을 구체적인 실시 형태로서 설명하였으나, 이는 예시에 불과한 것으로서, 본 발명은 이에 한정되지 않는 것이며, 본 명세서에 개시된 기초 사상에 따르는 최광의 범위를 갖는 것으로 해석되어야 한다. 당업자는 개시된 실시형태들을 조합, 치환하여 적시되지 않은 형상의 패턴을 실시할 수 있으나, 이 역시 본 발명의 범위를 벗어나지 않는 것이다. 이외에도 당업자는 본 명세서에 기초하여 개시된 실시형태를 용이하게 변경 또는 변형할 수 있으며, 이러한 변경 또는 변형도 본 발명의 권리범위에 속함은 명백하다.
1 : 치매조기진단 시스템
10 : 치매조기진단 서버
20 : 가상현실 제공장치
200 : 메모리
210 : 데이터베이스
30 : 데이터 수집장치
300 : 프로세서
310 : VR과제 설정모듈
320 : 치매진단 모듈
330 : 설명력 제공모듈

Claims (5)

  1. 가상현실 제공장치에 의해 VR과제가 디스플레이 되는 단계(S1 단계);
    데이터 수집장치에 의해 진단대상자가 상기 VR과제를 수행하는 동안 생체데이터, 행동데이터 및 인지데이터가 수집되는 단계(S2 단계);
    치매조기진단 서버에 의해 상기 생체데이터, 행동데이터 및 인지데이터가 학습된 멀티모달 딥러닝 모델에 입력되어 치매여부가 판단되는 단계(S3단계); 및
    상기 치매조기진단 서버에 의해 상기 치매여부에 대한 설명력이 제공되는 단계(S4 단계)를 포함하고,
    상기 S4 단계는,
    상기 치매조기진단 서버에 의해, 설명력 제공모듈에 의해 상기 진단대상자의 행동을 CAM(class activation map)을 통해 GCF(general cognitive function)에 맵핑하는 단계를 포함하고,
    상기 GCF(general cognitive function)는, 주변 환경의 자극 및 정보에 대한 주의 및 집중 능력을 의미하는 집중, 일상생활을 수행하는 데 활용되는 자기조절 및 기억 능력을 의미하는 기억, 주어진 정보 또는 작업을 정신적으로 수행하는 속도를 의미하는 정신운동 속도, 체계적이며 합리적인 문제 해결 능력인 문제 해결, 다른사람과의 의사소통에 필요한 언어 능력인 언어로 구분되어 분류될 수 있는 치매조기진단 방법.
  2. 제1 항에 있어서,
    상기 S1 단계에서의 VR과제는 VR과제 설정모듈에 의해 제어되고,
    상기 VR과제 설정모듈에 의해 제어되는 상기 VR과제는 키오스크를 통해 메뉴를 주문하는 과제를 포함하고
    상기 키오스크를 통해 메뉴를 주문하는 과제는,
    식사장소를 선택하는 제1 과제, 메인 식사의 종류를 선택하는 제2 과제, 사이드 메뉴를 선택하는 제3 과제, 음료를 선택하는 제4 과제, 결제방법을 선택하는 제5 과제 및 비밀번호를 입력하는 제6 과제를 포함하는
    치매조기진단 방법.
  3. 제1 항에 있어서,
    상기 S3단계는,
    상기 치매조기진단 서버의 치매진단 모듈에 의해 학습된 멀티모달 딥러닝 모델을 구축되는 것을 포함하고,
    상기 학습된 멀티모달 딥러닝 모델은 서로 다른 분류군에 속하는 진단대상자에 대한 생체데이터, 행동데이터 및 인지데이터를 시계열 데이터 분류하고 이를 합성곱신경망 모델을 학습시킴으로써 구축되는 것을 포함하는
    치매조기진단 방법.
  4. 제3 항에 있어서,
    상기 S3단계는,
    상기 치매조기진단 서버에 의해, 상기 생체데이터를 구성하는 심박수, 피부전도도 및 상기 행동데이터를 구성하는 손 3축 움직임, 머리 3축 움직임, 안구 3축 움직임 및 상기 인지데이터를 구성하는 오류횟수, 수행시간이 상기 멀티모달 딥러닝 모델에 입력된 후, 컨볼루션레이어, 배치 정규화 및 엑션 레이어를 통해 학습시킨 후 GAP(global average pooling)을 통해 상기 진단대상자가 치매여부를 갖는지 판단되는것을 포함하는
    치매조기진단 방법.
  5. 삭제
KR1020210186728A 2021-12-24 2021-12-24 치매조기진단 시스템 및 이를 이용한 치매조기진단 방법 KR102591797B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210186728A KR102591797B1 (ko) 2021-12-24 2021-12-24 치매조기진단 시스템 및 이를 이용한 치매조기진단 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210186728A KR102591797B1 (ko) 2021-12-24 2021-12-24 치매조기진단 시스템 및 이를 이용한 치매조기진단 방법

Publications (2)

Publication Number Publication Date
KR20230097332A KR20230097332A (ko) 2023-07-03
KR102591797B1 true KR102591797B1 (ko) 2023-10-19

Family

ID=87157412

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210186728A KR102591797B1 (ko) 2021-12-24 2021-12-24 치매조기진단 시스템 및 이를 이용한 치매조기진단 방법

Country Status (1)

Country Link
KR (1) KR102591797B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116712041B (zh) * 2023-08-04 2024-03-08 首都医科大学附属北京安贞医院 认知障碍评估模型的构建方法、系统及认知障碍评估方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102165590B1 (ko) * 2019-11-15 2020-10-14 가천대학교 산학협력단 경도인지장애 치료를 위한 소셜 가상현실 시스템 및 소셜 가상현실을 제공하는 방법

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101912020B1 (ko) * 2016-12-15 2018-10-26 한양대학교 산학협력단 몰입 가상현실 속 행동데이터를 활용한 경도인지장애 선별 시스템 및 그 방법
KR20200087348A (ko) * 2018-12-31 2020-07-21 네오데우스 주식회사 깊이 기반 가분 합성곱 신경망 인공지능을 이용한 나이/감정/성별 분류 시스템
KR102282101B1 (ko) 2020-06-23 2021-08-02 김성연 기능적 근적외선 분광법을 이용한 대상체의 상태를 결정하기 위한 방법 및 시스템

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102165590B1 (ko) * 2019-11-15 2020-10-14 가천대학교 산학협력단 경도인지장애 치료를 위한 소셜 가상현실 시스템 및 소셜 가상현실을 제공하는 방법

Also Published As

Publication number Publication date
KR20230097332A (ko) 2023-07-03

Similar Documents

Publication Publication Date Title
Kamalraj et al. Interpretable filter based convolutional neural network (IF-CNN) for glucose prediction and classification using PD-SS algorithm
US8412664B2 (en) Non-natural pattern identification for cognitive assessment
CN110192252A (zh) 用于评估发育状况并提供覆盖度和可靠性控制的方法和装置
CN108780663A (zh) 数字个性化医学平台和系统
JP5538749B2 (ja) 診断支援システム及びその診断支援方法、プログラム
US20090313047A1 (en) Brain Condition Assessment
KR20190041081A (ko) 인지장애 진단을 위한 vr기반 인지능력 평가시스템
Jahanara et al. Detecting autism from facial image
Olbert et al. Assessment of attachment in psychosis: A psychometric cause for concern
EP3901963A1 (en) Method and device for estimating early progression of dementia from human head images
Javed et al. Artificial intelligence for cognitive health assessment: State-of-the-art, open challenges and future directions
KR102591797B1 (ko) 치매조기진단 시스템 및 이를 이용한 치매조기진단 방법
Khanna et al. A novel application for the efficient and accessible diagnosis of ADHD using machine learning
KR101557957B1 (ko) 기능성 게임을 위한 플랫폼 장치
US11250723B1 (en) Visuospatial disorders detection in dementia using a computer-generated environment based on voting approach of machine learning algorithms
CN115497621A (zh) 一种老年人认知状况测评系统
Demirci et al. Functional magnetic resonance imaging–implications for detection of schizophrenia
Cruz-Martínez et al. Towards Data-Driven Persuasive Coaching in a Heart Failure Telemonitoring Technology.
TWI704579B (zh) 健康管理方法與系統
Mitra et al. Diagnosing Alzheimer’s Disease Using Deep Learning Techniques
Anninou et al. A novel software tool for detection of meniscus injury using dynamic fuzzy cognitive networks
US20170340272A1 (en) Decision support system for cns drug development
Dia et al. Video-based continuous affect recognition of children with Autism Spectrum Disorder using deep learning
Anakal et al. Clinical Decision Support System for Diagnosis and Treatment of COPD Using Ensemble Methods
Leghissa et al. Machine learning approaches for frailty detection, prediction and classification in elderly people: A systematic review

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant