KR20230161179A - 치매 진단 시스템 - Google Patents

치매 진단 시스템 Download PDF

Info

Publication number
KR20230161179A
KR20230161179A KR1020220060866A KR20220060866A KR20230161179A KR 20230161179 A KR20230161179 A KR 20230161179A KR 1020220060866 A KR1020220060866 A KR 1020220060866A KR 20220060866 A KR20220060866 A KR 20220060866A KR 20230161179 A KR20230161179 A KR 20230161179A
Authority
KR
South Korea
Prior art keywords
dementia
face
data
server
facial
Prior art date
Application number
KR1020220060866A
Other languages
English (en)
Inventor
정영희
Original Assignee
의료법인 명지의료재단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 의료법인 명지의료재단 filed Critical 의료법인 명지의료재단
Priority to KR1020220060866A priority Critical patent/KR20230161179A/ko
Priority to PCT/KR2023/006529 priority patent/WO2023224333A1/ko
Publication of KR20230161179A publication Critical patent/KR20230161179A/ko

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/40—Detecting, measuring or recording for evaluating the nervous system
    • A61B5/4076—Diagnosing or monitoring particular conditions of the nervous system
    • A61B5/4088—Diagnosing of monitoring cognitive diseases, e.g. Alzheimer, prion diseases or dementia
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1079—Measuring physical dimensions, e.g. size of the entire body or parts thereof using optical or photographic means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Psychiatry (AREA)
  • Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • Developmental Disabilities (AREA)
  • Child & Adolescent Psychology (AREA)
  • Neurology (AREA)
  • Educational Technology (AREA)
  • Social Psychology (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Physiology (AREA)
  • Neurosurgery (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

본 발명의 치매 진단 시스템은 사람의 시선을 추적하는 장치인 시선 추적기, 사용자가 사용하는 단말로서, 유무선 통신망을 통해 서버와 통신 가능하고, 상기 서버로부터 치매 진단을 위한 전용 어플리케이션을 제공받아 설치할 수 있는 단말 및 치매 진단을 위한 전용 어플리케이션을 상기 단말에 제공하며, 상기 시선 추적기로부터 시선 추적 데이터를 수신하고, 상기 단말에 구비된 카메라로부터 얼굴 데이터를 수신하고, 시선 추적 데이터와 얼굴 데이터를 이용하여 해당 사용자의 치매 여부와 치매 중증 정도를 진단하고, 치매 환자의 감정을 평가하는 서버를 포함한다. 본 발명에 의하면, 환자에게서 직접 얻을 수 있는 디지털 바이오마커(digital biomarker) 정보로 행동 및 심리 증상을 발견하고 치매 진단 모니터링을 함으로써, 치매 환자 진료와 치료에 큰 도움을 줄 수 있다.

Description

치매 진단 시스템 {Dementia Diagnosis System}
본 발명은 비대면 방식으로 치매 정도를 진단하는 기술에 관한 것이다.
최근 인류의 수명이 연장되고 노인 인구의 비중이 급속히 증가하면서 노인층에서 발생하는 만성 질환도 증가하고 있다. 특히 치매는 인지 능력의 감소를 동반하는 질환으로 일상생활이나 사회생활에 커다란 장애 요인이 되고 있어 중요한 사회 문제로 등장하고 있다.
코로나 팬데믹 시대에 비대면 치매 환자의 우울, 불안 등 BPSD(Behavioral &　psychological symptoms of dementia)를 비대면으로 모니터링하는 필요성이 대두되고 있다.
치매 환자에 있어서 우울, 불안 등 행동 및 심리 증상(behavioral and psychological )이 중요하고, 현재는 이러한 행동 심리 증상을 환자 본인이나 보호자에게 묻는 설문지로 측정하고 있는데, 환자의 경우 인지 저하로 인한 제한이 있으며, 보호자의 경우 환자의 정서 상태에 대해 간접적으로만 알 수 있을 뿐만 아니라 환자와 동거하지 않는 경우 증상 파악에 큰 제한이 있다.
구강 안면 실행증(buccofacial apraxia), 안구 주시(gaze) 문제, 동공반사 등이 느려지는 증상들은 잘 알려져 있는 치매환자의 신경학적 증상들이며 대면 진료 시 신경학적 검사를 통해 시행되고 있다. 그러나 비대면 진료 시 이러한 신경학적 검사가 어렵고, 대면 진료 시에도 검사자에 따라 진찰 소견이 다를 수 있다.
무감각증(apathy), 우울(depression), 불안(anxiety) 등의 BPSD(Behavioral &　psychological symptoms of dementia)는 치매 환자에서 흔하면서도 심각한 문제이다. 그러나 치매 환자의 경우 본인의 질환에 대한 병식이 떨어지고 의사 표현에 제한이 있어 증상 발견 및 모니터링이 어렵다는 문제가 있다. 따라서, 환자의 표정 분석을 통해서 환자의 감정 상태나 행동 문제를 파악하고 정량화 할 수 있는 안면 및 눈 인식 기반 디지털 바이오마커(digital biomarker)를 발굴한다면 환자의 행동 심리 증상 확인 및 조절에 큰 역할을 할 것이라 기대할 수 있다.
대한민국 공개특허 10-2021-0138924
본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 치매 환자의 인지 상태와 상관성이 높은 안면 및 눈(gaze, pupil) 인식 디지털 바이오마커(digital biomarker)를 이용하여 치매 환자를 치매 정보를 진단할 수 있는 시스템을 제공하는데 그 목적이 있다.
또한, 본 발명은 치매 환자의 무감각증, 우울, 불안 등 BPSD(Behavioral &　psychological symptoms of dementia)를 비대면으로 모니터링할 수 있는 안면 인식 디지털 바이오마커(digital biomarker)를 이용한 치매 진단 시스템을 제공하는데 그 다른 목적이 있다.
본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
이와 같은 목적을 달성하기 위한 본 발명의 치매 진단 시스템은 사람의 시선을 추적하는 장치인 시선 추적기, 사용자가 사용하는 단말로서, 유무선 통신망을 통해 서버와 통신 가능하고, 상기 서버로부터 치매 진단을 위한 전용 어플리케이션을 제공받아 설치할 수 있는 단말 및 치매 진단을 위한 전용 어플리케이션을 상기 단말에 제공하며, 상기 시선 추적기로부터 시선 추적 데이터를 수신하고, 상기 단말에 구비된 카메라로부터 얼굴 데이터를 수신하고, 시선 추적 데이터와 얼굴 데이터를 이용하여 해당 사용자의 치매 여부와 치매 중증 정도를 진단하고, 치매 환자의 감정을 평가하는 서버를 포함한다.
상기 서버는 얼굴 움직임 부호화 시스템(Facial Action Coding System, FACS)의 페이스 리더(face reader) 프로그램을 이용하여 얼굴 데이터를 분석할 수 있다.
상기 서버는 수신한 시선 추적 데이터와 얼굴 데이터를 이용하여 하나 이상의 태스크를 수행하고, 각 태스크를 통해 나온 점수를 합산하여 치매 상태를 진단할 수 있다.
상기 서버는 상기 페이스 리더 프로그램을 이용하여 치매 환자 얼굴의 얼굴 표정 데이터로부터 하나 이상의 기본 정서 데이터를 정량화하고, 이를 기반으로 치매 환자의 BPSD(Behavioral &　psychological symptoms of dementia)를 진단할 수 있다.
본 발명에 의하면, 환자에게서 직접 얻을 수 있는 디지털 바이오마커(digital biomarker) 정보로 행동 및 심리 증상을 발견하고 치매 진단 모니터링을 함으로써, 치매 환자 진료와 치료에 큰 도움을 줄 수 있다.
또한 본 발명에 의하면, 비대면 진료가 불가피한 코로나 팬데믹 같은 상황에서도 치매 환자를 진료할 수 있고, 포스터 코로나 시대에도 인지 장애로 증상에 대한 보고에 제한이 있는 치매 환자를 진료할 수 있는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 치매 진단 시스템의 전체 구조를 도시한 것이다.
도 2는 얼굴 움직임 부호화 시스템(Facial Action Coding System)에서의 액션 유닛을 예시한 것이다.
도 3은 본 발명의 일 실시예에 따른 치매 진단 시스템에서 치매 진단 방법을 도시한 흐름도이다.
도 4는 본 발명의 일 실시예에 따른 치매 진단 시스템에서 제1 기본 표정 태스크 진행 방법을 보여주는 흐름도이다.
도 5는 본 발명의 일 실시예에 따른 치매 진단 시스템에서 제2 기본 표정 태스크 진행 방법을 보여주는 흐름도이다.
도 6은 본 발명의 일 실시예에 따른 치매 진단 시스템에서 구강 안면 실행증 태스크 진행 방법을 보여주는 흐름도이다.
도 7은 본 발명의 일 실시예에 따른 치매 진단 시스템에서 제1 시선분석 태스크 진행 방법을 보여주는 흐름도이다.
도 8은 본 발명의 일 실시예에 따른 치매 진단 시스템에서 제2 시선분석 태스크 진행 방법을 보여주는 흐름도이다.
도 9는 본 발명의 일 실시예에 따른 치매 진단 시스템에서 신속보기 태스크 진행 방법을 보여주는 흐름도이다.
도 10은 본 발명의 일 실시예에 따른 치매 진단 시스템에서 부드러운 따라보기 태스크 진행 방법을 보여주는 흐름도이다.
도 11은 본 발명의 일 실시예에 따른 치매 진단 시스템에서 동공 반사 태스크 진행 방법을 보여주는 흐름도이다.
도 12는 본 발명의 일 실시예에 따른 치매 진단 시스템에서 치매 환자의 감정 평가 방법을 보여주는 흐름도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 갖고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 갖는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조 부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
도 1은 본 발명의 일 실시예에 따른 치매 진단 시스템의 전체 구조를 도시한 것이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 치매 진단 시스템은 서버(100), 시선 추적기(200), 단말(300)을 포함한다.
시선 추적기(eye tracker)(200)는 사람의 시선을 추적하는 장치이다. 시선 추적기(200)는 적외선을 사람의 눈에 비춘 후, 망막으로부터 적외선 재방출에 의한 동공 중심점과 각막으로부터 적외선 재방출에 의한 각막반사를 기록하는 방식으로 시선을 추적한다. 따라서 시선 추적기(200)를 이용하면 사람이 어디를 보고있는지 알아낼 수 있으며, 눈 움직임의 특성과 눈 자체에 대한 데이터를 측정할 수 있다.
이러한 시선 추적기(200)를 통해 측정된 시선데이터를 통해 인지반응과정, 심리 등을 파악할 수 있으며, 동공 및 눈의 움직임을 정확하고 세밀하게 특정함으로써 사람이 어느 곳을, 어떠한 순서로, 얼마나 오랫동안 응시하는 지와 같은 주시 행동을 수치 데이터로 정량화 할 수 있다.
단말(300)은 유무선 통신망을 통해 서버(100)와 통신 가능한 단말로서, 서버(100)에서 제공하는 치매 진단을 위한 전용 어플리케이션이 설치될 수 있다. 예를 들어, 단말(300)은 스마트폰, 핸드폰, 이동통신 단말기, 태블릿 PC, 데스크탑 컴퓨터, 랩탑 컴퓨터 등일 수 있다.
본 발명의 일 실시예에서 단말(300)은 사용자의 얼굴을 촬영하기 위한 카메라가 내장될 수 있다.
또는 본 발명의 다른 실시예에서 서버와 연결된 카메라(미도시)가 별도의 장치로 존재할 수도 있다.
서버(100)는 치매 진단을 위한 전용 어플리케이션을 단말(300)에 제공할 수 있다.
서버(100)는 시선 추적기(200)로부터 시선 추적 데이터를 수신하고, 카메라로부터 얼굴 데이터를 수신하고, 시선 추적 데이터와 얼굴 데이터를 이용하여 치매 여부와 중증 정도를 진단하고, 치매 환자의 감정을 평가한다.
서버(100)는 시선 추적기(200)로부터 시선 추적 데이터를 수신하고, 단말(300)에 구비된 카메라로부터 얼굴 데이터를 수신하고, 시선 추적 데이터와 얼굴 데이터를 이용하여 해당 사용자의 치매 여부와 치매 중증 정도를 진단하고, 치매 환자의 감정을 평가할 수 있다.
본 발명에서 서버(100)는 얼굴 움직임 부호화 시스템(Facial Action Coding System, FACS)의 페이스 리더(face reader) 프로그램을 이용하여 얼굴 데이터를 분석할 수 있다. 이때, 서버(100)는 수신한 시선 추적 데이터와 얼굴 데이터를 이용하여 하나 이상의 태스크를 수행하고, 각 태스크를 통해 나온 점수를 합산하여 치매 상태를 진단할 수 있다. 또한, 서버(100)는 페이스 리더 프로그램을 이용하여 치매 환자 얼굴의 얼굴 표정 데이터로부터 하나 이상의 기본 정서 데이터를 정량화하고, 이를 기반으로 치매 환자의 BPSD(Behavioral &　psychological symptoms of dementia)를 진단할 수 있다.
본 발명의 치매 진단 시스템은 사람의 얼굴 분석 기술과 시선 분석 기술을 이용하여 치매를 진단한다.
얼굴 움직임 부호화 시스템(Facial Action Coding System, FACS)은 폴 에크만(Paul Ekman)과 월러스 프리젠(Wallace Friesen)이 1978년에 제안한 얼굴 표정 분석법으로서, 사람의 얼굴 근육을 해부학적 기반으로 분석하여 설명한 것이다. 이 시스템은 얼굴이 어떻게 움직이는지와, 움직이는 이유에 대해 이해하고자 얼굴 근육의 움직임을 액션 유닛(Action Unit, AU)으로 기록하여 분석하였고, 최근에는 컴퓨터 비전(Computer Vision) 기술이 발달함에 따라 자동으로 분석할 수 있게 되어 사람의 표정을 쉽게 구분하여 감정을 분석할 수 있다.
페이스 리더(face reader) 프로그램은 얼굴 표정이 포함된 이미지, 동영상, 실시간 동영상에서 500개의 얼굴 특징점을 자동으로 분석하여 관찰 대상의 각성도(arousal) 및 정서가(valence)를 정량화할 수 있다. 또한 중립, 슬픔, 분노, 놀라움, 두려움, 혐오감, 경멸 등과 같은 기본적인 7가지 정서를 분석할 수 있으며, 기본 7가지 얼굴 표정과 액션 유닛(Action Unit)을 결합하여 '사용자 지정 표정/상태'를 정의 할 수 있다.
FACS에서 페이스 리더 프로그램은 얼굴 인식(face recognition), 얼굴 모델링(face modeling), 얼굴 분류(face classification)의 3단계를 통해 표정을 인식한다.
얼굴 인식 단계에서는 viola jones cascaded classifier 알고리즘을 사용하여 얼굴의 정확한 위치를 인식한다.
얼굴 모델링 단계에서 active appearance model 은 인공 얼굴 모델을 동기화하는데 사용된다. 여기서 인공 얼굴 모델은 얼굴 표면의 500개 이상의 특징점(key points) 위치와 얼굴의 질감을 인식하고 이를 deep face 알고리즘의 결과와 결합시켜 더 높은 수준의 분류 정확도로 나타낸다. 만일 얼굴 모델링이 성공적이지 않은 경우(예를 들어, 손으로 입을 가리고 있지만 두 눈을 찾을 수 있는 경우) deep learning 알고리즘을 기반으로 한 deep face 알고리즘으로 대체하여 분류 정확도를 확보할 수 있다.
얼굴 분류 단계에서 분석 결과로 얼굴의 정서에 대해 7개의 기본 정서와 1개의 중립적인 정서에 대해 정량값을 제공한다. 이외에 valence, arousal 등의 값을 정량화한다.
도 2는 얼굴 움직임 부호화 시스템(Facial Action Coding System)에서의 액션 유닛을 예시한 것이다.
도 2를 참조하면, 자세한 얼굴 표정을 분석하기 위하여 얼굴 움직임 부호화 시스템(Facial Action Coding System)은 총 44개의 액션 유닛(Action Units)을 포함하고 있으며, 강도(또는 세기, Intensity)에 따라 A~E 까지 5단계로 분류한다.
액션 유닛(AU)은 얼굴 표정에 관여하는 얼굴의 근육 또는 근육 그룹으로서, 얼굴 움직임 부호화 시스템(Facial Action Coding System, FACS)에 근거하여 눈썹의 오르내림, 보조개 유무, 입술을 오므리는 정도 등의 20가지 대표적인 액션 유닛(Action Unit)을 5단계의 Intensity로 분석한 것이다.
도 3은 본 발명의 일 실시예에 따른 치매 진단 시스템에서 치매 진단 방법을 도시한 흐름도이다.
도 3을 참조하면, 서버(100)는 카메라로부터 얼굴 표정 데이터와, 시선 추적기(200)로부터 시선 추적 데이터를 입력받으면(S101, S103), 치매 진단을 위한 태스크(task)를 진행한다. 도 3의 실시예에서 총 8개의 태스크를 실시하며, 각 태스크를 통해 나온 점수를 합산하여 치매를 진단한다. 도 3의 실시예에서 8개의 태스크를 통해 10점 만점을 기준으로 점수를 합산한다.
8개의 태스크(10점 만점)는 기본 표정에서 정서가(valence) 값을 이용하여 점수를 산출하는 제1 기본 표정 태스크(S107)(1점), 기본 표정에서 각성도(arousal) 값을 이용하여 점수를 산출하는 제2 기본 표정 태스크(S109)(1점), 구강 안면 실행증 태스크(S111)(3점), 제1 시선분석 태스크(S113)(1점), 제2 시선분석 태스크(S115)(1점), 신속보기(Saccade) 태스크(S117)(1점), 부드러운 따라보기(Smooth pursuit) 태스크(S119)(1점), 동공 반사 태스크(S121)(1점)이다. 여기서 각 태스크에 대한 상세한 설명은 후술하기로 한다.
서버(100)는 각 태스크를 실행한 결과, 점수를 합산하여 10점 만점 중에 5점 이상이면 치매 고위험군으로 판단한다(S123, S125, S127).
본 발명에서는 치매 환자와 정상군 간의 기본 표정값의 차이를 비교하는 태스크를 실시한다. 일반적으로 많은 퇴행성 신경질환에서 얼굴의 변화가 나타난다. 예를 들어 파킨슨 병 환자에서는 가면형 얼굴(masked face) 이 나타나고, 진행성 핵상마비(progressive supranuclear palsy)에서는 놀란 얼굴(frightened face)이 전형적으로 나타난다. 이것은 각 질환에서 나타나는 얼굴 근육의 긴장 이상으로 인한 것이다.
본 발명에서는 치매환자에서 나타나는 얼굴 근육의 긴장도를 이용하는데, 기본 표정에서 각성(arousal) 정도나 대뇌 기능 이상으로 인한 미세한 얼굴 근육의 긴장도를 정량화하고 비교하여 디지털 마커(digital marker)로 이용한다.
또한, 본 발명에서는 기본 표정에서 우울과 불안 등 감정 상태를 확인하여 치매환자에서 흔한 우울과 불안 등의 행동 심리 증상(behavioral psychological symptom)을 진단할 수 있다.
시선추적(eye tracking)은 '사람의 응시 행동'에 대한 과정을 식별하고 알아내는 것으로서 대상자가 '무엇'을 '어떠한 순서'로 바라보는지에 대한 전과정을 과학적으로 측정하고 기록하여, 응시 행동의 의미와 인사이트를 찾는 과정이다. 이를 통해 기본적으로 사용자의 무의식적인 관심(주목) 요소를 확인하고, 더 나아가 사용자의 정보 탐색 전략이나 의사결정 과정까지 살펴볼 수 있다. 즉, 시선추적을 통해 환자의 인지 과정을 밝히는 과정에서 정성적이고 정량적인 데이터를 수집할 수 있다.
본 발명에서는 치매 환자와 정상인에게 시각적 자극을 주었을 때 시선 분석을 통해서 탐색 과정을 정량화하여 어떻게 다른 패턴을 나타내는지 분석한다. 예를 들어, 본인의 얼굴같은 익숙한 자극을 주었을 때와 낯선 얼굴을 자극을 주었을 때, 환자군과 정상군에서 시선이 각각 어떻게 다른 패턴을 보이는지, Rey-Osterieth complex figure와 같은 시공간 기능을 측정하는 인지검사에서 쓰이는 시각 자극을 주었을 때 탐색하는 시선 추적(eye tracking) 정보가 정상군과 환자군에서 어떻게 다른지 정량화하여 하여 디지털 바이오마커(digital biomarker) 로 사용한다.
도 4는 본 발명의 일 실시예에 따른 치매 진단 시스템에서 제1 기본 표정 태스크 진행 방법을 보여주는 흐름도이다. 도 4의 제1 기본표정 태스크에서는 통계학적 접근 방식으로 결과를 출력하는 실시예를 예시한다.
도 4를 참조하면, 제1 기본 표정 태스크는, FACS에 기반하여 얼굴 표정에서 액션 유닛(action unit, AU) 별 얼굴 근육 긴장도를 분석한다(S201). 액션 유닛 별 얼굴 근육 긴장도는 severity 1에서부터 4까지의 단계로 구분된다.
다음, 얼굴 인식 데이터로부터 정서가(valence) 값을 측정한다(S203).
그리고, 정상인의 얼굴 표정에 대한 데이터베이스를 기반으로 한 정상군과 비교한다(S205). 본 발명에서 정상인의 얼굴 표정에 대한 데이터베이스는 다양한 방식으로 수집할 수 있다. 예를 들어, 정상인의 얼굴 표정에 대한 데이터베이스는 병원에서 수집한 정상 노인의 대조군 얼굴 표정 데이터베이스일 수 있다.
다음, t-test를 이용하여 정서가 값을 정상군 평균값과 비교했을 때, p<0.05이면 1이고, 아니면 0을 출력한다(S207).
도 5는 본 발명의 일 실시예에 따른 치매 진단 시스템에서 제2 기본 표정 태스크 진행 방법을 보여주는 흐름도이다. 도 5의 제2 기본표정 태스크에서는 통계학적 접근 방식으로 결과를 출력하는 실시예를 예시한다.
도 5를 참조하면, 제2 기본 표정 태스크는, FACS에 기반하여 얼굴 표정에서 액션 유닛(action unit, AU) 별 얼굴 근육 긴장도를 분석한다(S301). 액션 유닛 별 얼굴 근육 긴장도는 severity 1에서부터 4까지의 단계로 구분된다.
다음, 얼굴 인식 데이터로부터 각성도(arousal) 값을 측정한다(303).
그리고, 정상인의 얼굴 표정에 대한 데이터베이스를 기반으로 한 정상군과 비교한다(S305). 본 발명에서 정상인의 얼굴 표정에 대한 데이터베이스는 다양한 방식으로 수집할 수 있다. 예를 들어, 정상인의 얼굴 표정에 대한 데이터베이스는 병원에서 수집한 정상 노인의 대조군 얼굴 표정 데이터베이스일 수 있다.
다음, t-test를 이용하여 각성도 값을 정상군 평균값과 비교했을 때, p<0.05이면 1이고, 아니면 0을 출력한다(S307).
구강 안면 실행증(buccofacial apraxia)은 전두엽의 일차 운동 피질이 실비우스열과 만나는 부분, 뇌섬 (insula) 등에 병변이 있을 때 발생하며, 뇌의 기능저하가 동반되는 치매 환자에서도 일부가 구강 안면 실행증이 동반되는 것으로 알려져 있다. 구강 안면 실행증을 가진 환자들은 얼굴, 입술 혀, 후두, 인두에 관련된 숙련된 운동을 못하게 되고, 이와 관련된 운동 시에 여러 가지 오류를 보인다. 따라서, 본 발명에서는 눈감기, 입벌리기, 혀내밀기, 기침하기, 빨대로 빨아먹는 흉내, 촛불끄는 흉내, 냄새맡는 흉내 등　구강안면 실행증을 확인할 수 있는 과제를 하도록 하고, 이를 액션 유닛(action unit) 분석을 통해서 자동으로 분석하고, 치매환자에서 정상군과 다른 구강 안면 실행증을 발견하여 감별에 도움이 되는 디지털 바이오마커(digital biomarker)로 이용할 수 있다.
도 6은 본 발명의 일 실시예에 따른 치매 진단 시스템에서 구강 안면 실행증 태스크 진행 방법을 보여주는 흐름도이다.
도 6을 참조하면, 구강 안면 실행증 태스크는, FACS에 기반하여 얼굴 표정에서 액션 유닛(action unit, AU) 별 얼굴 근육 긴장도를 분석한다(S401). 액션 유닛 별 얼굴 근육 긴장도는 severity 1에서부터 4까지의 단계로 구분된다.
다음, 구강 안면 실행증 시행 시 동작 오류를 확인한다(S403).
그리고 하위 태스크로서 다음과 같은 세 개의 태스크를 실시한다(S405).
촛불끄기(lip plucker; Action unit 18) 태스크에서는 10초 이내의 incisivii labii superioris and incisivii labii inferioris 의 severity 가 3 이상인지를 확인한다.
입 벌리기(mouth stretch; action unit 27) 태스크에서는 10초 이내의 pterygoid, digastric 의 severity 가 3 이상인지를 확인한다.
눈감기(eye closed; action unit 54) 태스크에서는 10초 이내의 relaxation of levator palpebrae의 severity 가 3 이상인지를 확인한다
세 개의 태스크를 모두 성공하면 3점, 두 개의 태스크를 성공하면 2점, 하나의 태스크를 성공하면 1점, 하나의 태스크도 성공하지 못하면 0점을 출력한다(S407).
도 7은 본 발명의 일 실시예에 따른 치매 진단 시스템에서 제1 시선분석 태스크 진행 방법을 보여주는 흐름도이다. 도 7의 제1 시선분석 태스크에서는 통계학적 접근 방식으로 결과를 출력하는 실시예를 예시한다.
도 7을 참조하면, 제1 시선분석 태스크에서 환자에게 익숙한 자극과 낯선 자극을 주었을 때의 시선을 분석한다(S501). 예를 들어, 익숙한 자극은 본인 얼굴이고, 낯선 자극은 낯선 얼굴일 수 있다. 도 7의 제1 시선분석 태스크에서는 통계학적 접근 방식으로 결과를 출력하는 실시예를 예시한다.
익숙한 자극(본인 얼굴)과 낯선 자극(낯선 얼굴)을 주었을 때 환자군과 정상군에서 시선 운동 체류시간, 총 시선 고정 시간, 총 시선 고정 비율을 각각 측정한다(S503).
그리고, 해당 환자와 정상 대조군에서의 시선운동 체류시간, 총 시선 고정 시간, 총 시선 고정 비율을 통계적으로 비교하여 t-test를 실시하고, P<0.05 이면 1, 아니면 0을 출력한다(S505).
도 8은 본 발명의 일 실시예에 따른 치매 진단 시스템에서 제2 시선분석 태스크 진행 방법을 보여주는 흐름도이다. 도 8의 제2 시선분석 태스크에서는 통계학적 접근 방식으로 결과를 출력하는 실시예를 예시한다.
도 8을 참조하면, 제2 시선분석 태스크에서 환자에게 Rey-Osterieth complex figure를 보여주고 시선을 분석한다(S601).
Rey-Osterieth complex figure를 보여주고 시선을 분석한 결과, 환자군과 정상군에서 시선 운동 체류시간, 총 시선 고정 시간, 총 시선 고정 비율을 각각 측정한다(S603).
그리고, 해당 환자와 정상 대조군에서의 시선운동 체류시간, 총 시선 고정 시간, 총 시선 고정 비율을 통계적으로 비교하여 t-test를 실시하고, P<0.05 이면 1, 아니면 0을 출력한다(S605).
신속 보기(saccade) 현재 주시하고 있는 물체에서 다른 물체로 시선을 신속하게 옮기는 기능을 말하며, 주위환경을 탐색하거나 책을 읽는 것과 같은 일상활동에서 가장 중요한 역할을 하는 동향(conjugate) 눈 운동이다. 신속 보기의 조절에 관련된 시각정보는 시피질을 거쳐 뒤두정엽 피질과 전두엽으로 전달된다.이러한 내용을 바탕으로 신속 보기 장애로 대뇌 피질 기능의 이상을 평가할 수 있다. 신속 보기는 눈 운동범위, 속도, 정확성 및 잠복기로 평가할 수 있다. 특히 나이가 들면서 신속 보기의 정확도가 낮아지고 잠복기가 증가하는 것으로 알려져 있으며, 중추신경계의 기능감소가 그 원인이라고 할 수 있다. 따라서 치매 환자군과 정상군의 신속 보기의 눈 운동범위, 속도, 정확성 및 잠복기 등을 비교하고 정량화하여 치매와 정상인을 감별할 수 있는 디지털 바이오마커(digital biomarker)로 이용할 수 있다.
도 9는 본 발명의 일 실시예에 따른 치매 진단 시스템에서 신속 보기 태스크 진행 방법을 보여주는 흐름도이다. 도 9의 신속 보기 태스크에서는 통계학적 접근 방식으로 결과를 출력하는 실시예를 예시한다.
도 9를 참조하면, 신속 보기(saccade) 태스크에서 눈동자 움직임 속도를 측정한다(S701).
그리고, 측정한 움직임 속도를 정상 대조군에서의 신속 보기 눈동자 움직임 속도와 비교하여, -1SD(standard deviation) 이하로 느려진 경우 1을 출력하고, -1SD 이상일 경우 0을 출력한다(S703).
부드러운 따라보기(smooth pursuit)는 망막 중심 오목(fovea)에서 천천히 움직이는 작은 물체를 따라 봄으로써, 물체의 상이 망막 중심 오목에서 안정되게 머물러 있게 하는 기능을 말한다. 부드러운 따라보기에 의한 안구의 이동 속도가 물체의 속도와 일치하지 않으면 물체를 따라잡기 위한 신속 보기가 발생한다. 부드러운 따라보기는 뇌의 기능장애를 나타내는 예민한 지표라고 할 수 있으므로,
치매환자에서 부드러운 따라보기의 기능 저하를 정량화하여 디지털 바이오마커(digital biomarker)로 이용할 수 있다.
도 10은 본 발명의 일 실시예에 따른 치매 진단 시스템에서 부드러운 따라보기 태스크 진행 방법을 보여주는 흐름도이다. 도 10의 부드러운 따라보기 태스크에서는 통계학적 접근 방식으로 결과를 출력하는 실시예를 예시한다.
도 10을 참조하면, 부드러운 따라보기(smooth pursuit) 태스크에서 눈동자 움직임 속도를 측정한다(S801).
그리고, 측정한 움직임 속도를 정상 대조군에서의 부드러운 따라보기 눈동자 움직임 속도와 비교하여, -1SD(standard deviation) 이하로 느려진 경우 1을 출력하고, -1SD 이상일 경우 0을 출력한다(S803).
알츠하이머 병 환자에서 빛 자극이 있을 때 동공이 줄어드는 동공 반사 속도가 정상군에 비해 유의미하게 감소한다. 따라서 동공 반응 속도나 빛에 반응하는 동공의 크기 등을 정량화하여 치매군과 정상군에서 비교함으로써, 치매군을 감별하고 임상 상태를 측정하는 디지털 바이오마커(digital biomarker로 이용할 수 있다.
도 11은 본 발명의 일 실시예에 따른 치매 진단 시스템에서 동공 반사 태스크 진행 방법을 보여주는 흐름도이다. 도 11의 동공 반사 태스크에서는 통계학적 접근 방식으로 결과를 출력하는 실시예를 예시한다.
도 11을 참조하면, 동공 반사 태스크에서 빛에 의해 동공이 줄어드는 속도인 동공 반사 속도를 측정한다(S901).
그리고, 측정한 동공 반사 속도를 정상 대조군에서의 동공 반사 속도와 비교하여, -1SD(standard deviation) 이하로 느려진 경우 1을 출력하고, -1SD 이상일 경우 0을 출력한다(S903).
본 발명에서는 감정에 따른 표정변화를 이용하여 치매 환자의 감정을 진단하는 방법을 제안한다.
보통 치매 환자에서 무감동증(apathy)은 초기부터 나타나는 것으로 알려져 있다. 따라서 감정에 따른 표정 변화가 정상군에 비해서 치매환자에서 감소되어 있을 것으로 추정되고, 본 발명에서는 이를 정량화하여 디지털 마커(digital marker)로 이용할 수 있다.
도 12는 본 발명의 일 실시예에 따른 치매 진단 시스템에서 치매 환자의 감정 평가 방법을 보여주는 흐름도이다.
도 12를 참조하면, FACS에 기반하여 얼굴 표정에서 액션 유닛(action unit, AU) 별 얼굴 근육 긴장도를 분석한다(S1001). 액션 유닛 별 얼굴 근육 긴장도는 severity 1에서부터 4까지의 단계로 구분된다.
다음, 페이스 리더(face reader) 프로그램을 이용하여 치매 환자 얼굴의 얼굴표정 데이터로부터 7가지 기본 정서(happiness, sadness, anger, surprise, fear, disgust, neutral) 데이터를 정량화한다(S1003).
이렇게 정량화한 데이터를 기반으로 치매 환자의 BPSD(Behavioral &　psychological symptoms of dementia)를 진단한다(S1005, S1007). 예를 들어, Sadness 70% 이상인 경우 moderate depression, sadness 50% 이상인 경우 mild depression, Anger 70% 이상인 경우 moderate aggression, Anger 50% 이상인 경우 mild aggression, Fear 70% 이상인 경우 moderate anxiety, fear 50% 이상인 경우 mild anxiety 로 진단할 수 있다.
이상 본 발명을 몇 가지 바람직한 실시 예를 사용하여 설명하였으나, 이들 실시 예는 예시적인 것이며 한정적인 것이 아니다. 본 발명이 속하는 기술분야에서 통상의 지식을 지닌 자라면 본 발명의 사상과 첨부된 특허청구범위에 제시된 권리범위에서 벗어나지 않으면서 다양한 변화와 수정을 가할 수 있음을 이해할 것이다.
100 서버
200 시선 추적기
300 단말

Claims (4)

  1. 사람의 시선을 추적하는 장치인 시선 추적기;
    사용자가 사용하는 단말로서, 유무선 통신망을 통해 서버와 통신 가능하고, 상기 서버로부터 치매 진단을 위한 전용 어플리케이션을 제공받아 설치할 수 있는 단말; 및
    치매 진단을 위한 전용 어플리케이션을 상기 단말에 제공하며, 상기 시선 추적기로부터 시선 추적 데이터를 수신하고, 상기 단말에 구비된 카메라로부터 얼굴 데이터를 수신하고, 시선 추적 데이터와 얼굴 데이터를 이용하여 해당 사용자의 치매 여부와 치매 중증 정도를 진단하고, 치매 환자의 감정을 평가하는 서버
    를 포함하는 치매 진단 시스템.
  2. 청구항 1에 있어서,
    상기 서버는 얼굴 움직임 부호화 시스템(Facial Action Coding System, FACS)의 페이스 리더(face reader) 프로그램을 이용하여 얼굴 데이터를 분석하는 것을 특징으로 하는 치매 진단 시스템.
  3. 청구항 2에 있어서,
    상기 서버는 수신한 시선 추적 데이터와 얼굴 데이터를 이용하여 하나 이상의 태스크를 수행하고, 각 태스크를 통해 나온 점수를 합산하여 치매 상태를 진단하는 것을 특징으로 하는 치매 진단 시스템.
  4. 청구항 2에 있어서,
    상기 서버는 상기 페이스 리더 프로그램을 이용하여 치매 환자 얼굴의 얼굴 표정 데이터로부터 하나 이상의 기본 정서 데이터를 정량화하고, 이를 기반으로 치매 환자의 BPSD(Behavioral &　psychological symptoms of dementia)를 진단하는 것을 특징으로 하는 치매 진단 시스템.

KR1020220060866A 2022-05-18 2022-05-18 치매 진단 시스템 KR20230161179A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020220060866A KR20230161179A (ko) 2022-05-18 2022-05-18 치매 진단 시스템
PCT/KR2023/006529 WO2023224333A1 (ko) 2022-05-18 2023-05-15 치매 진단 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220060866A KR20230161179A (ko) 2022-05-18 2022-05-18 치매 진단 시스템

Publications (1)

Publication Number Publication Date
KR20230161179A true KR20230161179A (ko) 2023-11-27

Family

ID=88835731

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220060866A KR20230161179A (ko) 2022-05-18 2022-05-18 치매 진단 시스템

Country Status (2)

Country Link
KR (1) KR20230161179A (ko)
WO (1) WO2023224333A1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210138924A (ko) 2020-05-13 2021-11-22 류경희 치매 환자 케어 및 기록 지원 시스템

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101711093B1 (ko) * 2015-02-11 2017-03-02 울산과학기술원 치매의 자가 조기 진단 및 훈련을 위한 안구 운동 및 지각 기능 기반 가상현실 시스템
JP7123539B2 (ja) * 2017-09-21 2022-08-23 日清オイリオグループ株式会社 診断支援情報提供装置
SG11202103438SA (en) * 2018-10-19 2021-05-28 Univ Emory Systems and methods for automated passive assessment of visuospatial memory and/or salience
JP7390268B2 (ja) * 2019-10-08 2023-12-01 サントリーホールディングス株式会社 認知機能予測装置、認知機能予測方法、プログラム及びシステム
KR20220021975A (ko) * 2020-08-14 2022-02-23 정새보미 비대면 신경학적 질환 검진 서비스 제공 시스템

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210138924A (ko) 2020-05-13 2021-11-22 류경희 치매 환자 케어 및 기록 지원 시스템

Also Published As

Publication number Publication date
WO2023224333A1 (ko) 2023-11-23

Similar Documents

Publication Publication Date Title
Donkers et al. Attenuated auditory event-related potentials and associations with atypical sensory response patterns in children with autism
Moser et al. Interpretation of ambiguous social scenarios in social phobia and depression: Evidence from event-related brain potentials
US20040210159A1 (en) Determining a psychological state of a subject
Hills et al. Word and text processing in acquired prosopagnosia
KR20150076167A (ko) 감각 및 인지 프로파일링을 위한 시스템 및 방법
CN112259237B (zh) 基于多情感刺激和多级分类模型的抑郁评估系统
JP2007502630A (ja) 認知処理
Fontaine et al. Artificial intelligence to evaluate postoperative pain based on facial expression recognition
KR20230003483A (ko) 망막 신호 데이터를 처리하고 병태들을 식별하기 위한 시스템들 및 방법들
Abrami et al. Using an unbiased symbolic movement representation to characterize Parkinson’s disease states
Patel et al. What you see is what you get: visual scanning failures of naturalistic social scenes in schizophrenia
CN115299947A (zh) 基于多模态生理数据的心理量表置信度评估方法及系统
Alfaro et al. Joint engagement in infants and its relationship to their visual impairment measurements
Sharma et al. EDA wavelet features as Social Anxiety Disorder (SAD) estimator in adolescent females
Alsaggaf et al. Directions of autism diagnosis by electroencephalogram based brain computer interface: a review
KR20230161179A (ko) 치매 진단 시스템
Buettner et al. Machine Learning Based Diagnostics of Developmental Coordination Disorder using Electroencephalographic Data
Rafique et al. Towards estimation of emotions from eye pupillometry with low-cost devices
Swati et al. Machine learning systems for detecting schizophrenia
Alsuradi et al. EEG-Based Machine Learning Models to Evaluate Haptic Delay: Should We Label Data Based on Self-Reporting or Physical Stimulation?
CN110675953B (zh) 利用人工智能和大数据筛查识别精神病患者的系统
CN113855022A (zh) 基于眼动生理信号的情绪评估方法及装置
Kamaruddin Eustress and Distress Analysis Based on Neuro-Physiological Model of Affect
Smith et al. Affective computing for brain health disorders
WO2019227690A1 (zh) 行为范式指标的筛选及其应用

Legal Events

Date Code Title Description
E902 Notification of reason for refusal