KR102155309B1 - 인지 장애 예측 방법 및 이를 구현한 서버, 사용자 단말 및 어플리케이션 - Google Patents

인지 장애 예측 방법 및 이를 구현한 서버, 사용자 단말 및 어플리케이션 Download PDF

Info

Publication number
KR102155309B1
KR102155309B1 KR1020200055353A KR20200055353A KR102155309B1 KR 102155309 B1 KR102155309 B1 KR 102155309B1 KR 1020200055353 A KR1020200055353 A KR 1020200055353A KR 20200055353 A KR20200055353 A KR 20200055353A KR 102155309 B1 KR102155309 B1 KR 102155309B1
Authority
KR
South Korea
Prior art keywords
moving target
user
information
coordinate information
target
Prior art date
Application number
KR1020200055353A
Other languages
English (en)
Inventor
황은경
Original Assignee
주식회사 창 헬스케어
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 창 헬스케어 filed Critical 주식회사 창 헬스케어
Priority to KR1020200055353A priority Critical patent/KR102155309B1/ko
Application granted granted Critical
Publication of KR102155309B1 publication Critical patent/KR102155309B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/40—Detecting, measuring or recording for evaluating the nervous system
    • A61B5/4076—Diagnosing or monitoring particular conditions of the nervous system
    • A61B5/4088—Diagnosing of monitoring cognitive diseases, e.g. Alzheimer, prion diseases or dementia
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A61B5/0004—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by the type of physiological signal transmitted
    • A61B5/0013—Medical image data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6887—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
    • A61B5/6898—Portable consumer electronic devices, e.g. music players, telephones, tablet computers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/7465—Arrangements for interactive communication between patient and care services, e.g. by using a telephone network
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/60—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Physiology (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Psychiatry (AREA)
  • Neurology (AREA)
  • Hospice & Palliative Care (AREA)
  • Developmental Disabilities (AREA)
  • Child & Adolescent Psychology (AREA)
  • Psychology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Nursing (AREA)
  • Educational Technology (AREA)
  • Social Psychology (AREA)
  • Neurosurgery (AREA)
  • Radiology & Medical Imaging (AREA)
  • Ophthalmology & Optometry (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Data Mining & Analysis (AREA)

Abstract

단말이 사용자의 인지 장애를 예측하는 방법으로서, 사용자가 주시해야 하는 고정 타겟 또는 이동 타겟을 각 설정된 시간 동안에 설정된 좌표 정보들에 기초하여 단말의 화면에 표시하는 단계, 고정 타겟 또는 이동 타겟이 표시되는 동안 사용자의 얼굴을 촬영한 이미지를 실시간으로 수집하는 단계, 수집된 이미지마다 사용자의 안구 영역을 인식하고, 안구 영역에서 추출한 안구 움직임에 기초하여 시선 정보를 생성하는 단계, 각 설정된 시간 동안에 고정 타겟의 좌표 정보와 시선 정보에 따른 좌표 정보가 일치하는 횟수와 이동 타겟의 좌표 정보와 시선 정보에 따른 좌표 정보가 일치하는 횟수를 산출하는 단계, 그리고 고정 타겟에 대응하여 좌표 정보가 일치하는 횟수 대비 시선 정보가 생성된 총 횟수를 통해 산정된 점수와 이동 타겟에 대응하여 좌표 정보가 일치하는 횟수 대비 시선 정보가 생성된 총 횟수를 통해 산정된 점수에 기초하여 사용자의 인지 장애를 예측하는 단계를 포함한다.

Description

인지 장애 예측 방법 및 이를 구현한 서버, 사용자 단말 및 어플리케이션{METHOD FOR PREDICTING COGNITIVE IMPAIRMENT, SERVER, USER DEVICE AND APPLICATION IMPLEMENTING THE METHOD}
본 발명은 안구운동 검사를 기반으로 인지 장애를 예측하는 기술에 관한 것이다.
일반적으로 알츠하이머와 같은 인지 장애를 정확하게 진단하기 위해서는 뇌 내부를 촬영한 뇌 영상 기술을 이용한다. 예를 들어, 자기공명영상(MRI), 컴퓨터 단층촬영, 양전자방출단층촬영(PET) 등을 사용한다.
이러한 진단 방법은 고 비용의 영상 촬영 장비를 이용함에 따라 특정한 장소에서 검사를 진행하기 때문에 대기시간이 오래 걸리고, 비용이 많이 들며, 방사성 추적자를 주입하는 침습적 방법을 이용하여 환자의 부담이 크다. 그러므로 의사의 임상적인 판단을 거친 이후에 해당 진단 방법이 적용되기 때문에, 진단결과로 인지 장애의 진행 단계가 일정 이상 진행된 경우가 많다.
다만, 이러한 인지 장애는 질환의 진행 정도를 늦출 수 있도록 초기 진단이 중요하기 때문에 의사의 임상적인 판단을 위한 다양한 검사 방법이 개발되고 있다.
최근에는 안구운동과 다양한 인지 장애와의 상관관계에 대한 연구가 진행되고 있다. 안구는 뇌의 연장으로서, 신경말단과 모세결관 및 근섬섬유 조직을 가지고 있으며, 뇌와 신경계를 통하여 모든 장기와 조직에 연결되어 있다.
이에 안구운동 검사는 현훈, 어지러움, 및 안구운동 장애뿐 아니라 소뇌, 전정계(내이) 및 신경계 전반의 기능에 대한 이상 유무를 진단하는 데 유용한 정보를 제공한다.
이처럼 검진하기 어려운 뇌에 대한 건강 상태를 진단하거나 평형기관에 대한 건강 상태를 진단하는데 안구운동 검사는 매우 유용하지만, 안구운동 검사를 진행하고, 이에 대한 검사 결과를 분석하는 데에는 전문지식이 요구되기 때문에 안구운동 검사를 통한 인지 장애를 검진하기에는 한계가 있다.
따라서, 저 비용이면서 시공간의 제약없이도 안구운동 검사를 수행하고, 검사 결과를 분석하여 현재 인지 장애 상태뿐 아니라 인지 장애를 예측할 수 있는 기술이 요구된다.
한국공개특허 제10-2020-0002702호 시야장애 평가 및 안구 운동장애 평가 결과에 기반한 뇌병변 진단 장치
해결하고자 하는 과제는 사용자의 시선을 실시간으로 인식하여 제공되는 콘텐츠에 대응하여 안구운동을 검사하고, 안구운동의 검사 결과를 통해 사용자의 인지 장애를 예측하는 방법을 제공하는 것이다.
본 발명의 실시예에 따른 단말이 사용자의 인지 장애를 예측하는 방법으로서, 사용자가 주시해야 하는 고정 타겟 또는 이동 타겟을 각 설정된 시간 동안에 설정된 좌표 정보들에 기초하여 단말의 화면에 표시하는 단계, 고정 타겟 또는 이동 타겟이 표시되는 동안 사용자의 얼굴을 촬영한 이미지를 실시간으로 수집하는 단계, 수집된 이미지마다 사용자의 안구 영역을 인식하고, 안구 영역에서 추출한 안구 움직임에 기초하여 시선 정보를 생성하는 단계, 각 설정된 시간 동안에 고정 타겟의 좌표 정보와 시선 정보에 따른 좌표 정보가 일치하는 횟수와 이동 타겟의 좌표 정보와 시선 정보에 따른 좌표 정보가 일치하는 횟수를 산출하는 단계, 그리고 고정 타겟에 대응하여 좌표 정보가 일치하는 횟수 대비 시선 정보가 생성된 총 횟수를 통해 산정된 점수와 이동 타겟에 대응하여 좌표 정보가 일치하는 횟수 대비 시선 정보가 생성된 총 횟수를 통해 산정된 점수에 기초하여 사용자의 인지 장애를 예측하는 단계를 포함한다.
삭제
단말의 화면에 표시하는 단계는, 배경 이미지 상에 표시한 고정 타겟을 일정 시간 동안 주시하도록 요청메시지를 출력하는 단계, 배경 이미지 상에 이동 타겟을 표시하고 움직이는 이동 타겟을 주시하도록 요청 메시지를 출력하는 단계, 배경 이미지의 움직이는 장애물 이미지를 도시하여 이동 타겟을 중첩하여 표시하고, 이동 타겟을 주시하도록 요청 메시지를 출력하는 단계, 그리고 일정 속도 이상으로 랜덤하게 상하 좌우 방향으로 움직이는 신속 이동 타겟을 화면에 도시하고 신속 이동 타겟을 주시하도록 요청 메시지를 출력하는 단계를 포함할 수 있다.
단말의 화면에 표시하기 이전에 사용자로부터 나이를 포함하는 사용자 정보를 입력받으면, 사용자의 얼굴을 촬영한 이미지에서 안구 영역을 인식하는 단계를 더 포함할 수 있다.
단말의 화면에 표시하는 단계는, 사용자의 나이에 기초하여 이동 타겟의 이동 속도, 표시되는 빈도수, 연속적인 표시 여부, 표시되는 시간 간격 중에서 하나 이상이 설정된 패턴에 기초하여 이동 타겟을 표시할 수 있다.
시선 정보를 생성하는 단계는, 이미지를 회귀분석 알고리즘에 입력하여 사용자의 얼굴에서 안구 영역을 인식하고, 인식된 안구 영역을 학습된 머신 러닝에 입력하여 안구의 움직임을 획득하면 획득된 안구의 움직임에 따른 시선의 좌표 정보를 생성할 수 있다.
횟수를 산출하는 단계는, 고정 타겟을 주시해 줄 것으로 요청한 일정 시간 동안 고정 타겟의 좌표 정보와 시선 좌표 정보의 방향 정보가 일치하는 제1 횟수를 산출하고, 이동 타겟의 좌표 정보와 시선의 좌표 정보를 비교하여 방향 정보가 일치하는 제2 횟수를 산출하며, 장애물 이미지와 상기 이동 타겟이 중첩되어 표시된 상황에서의 이동 타겟의 좌표 정보와 시선의 좌표 정보를 비교하여 방향 정보가 일치하는 제 3횟수를 산출하고, 신속 이동 타겟의 좌표 정보와 시선 좌표 정보의 방향 정보가 일치하는 제4 횟수를 산출할 수 있다.
사용자의 인지 장애를 예측하는 단계는, 제3 횟수 대비 장애물 이미지와 이동 타겟이 중첩되어 표시된 상황에 대응하여 시선 정보가 생성된 총 횟수를 통해 산정된 점수와 제4 횟수 대비 신속 이동 타겟에 대응하여 시선 정보가 생성된 총 횟수를 통해 산정된 점수를 더 포함하여 사용자의 인지 장애를 예측할 수 있다.
사용자의 인지 장애의 가능성을 예측하는 단계는, 제1 횟수, 제2 횟수, 제3 횟수 그리고 제4 횟수를 기초하여 산출된 각 점수들을 합산하여 평균값을 산출하고, 평균 값이 높을수록 인지 장애의 발생 가능성을 낮게 예측할 수 있다.
사용자의 인지 장애를 예측하는 단계는, 산출된 각각의 점수에 대해 그래프, 숫자, 이미지 중에서 하나 이상의 형태로 표시하고, 개별 점수에 대응하여 인지 장애의 예방 및 대처 방안에 대한 정보를 제공할 수 있다.
본 발명의 실시예에 따른 컴퓨터 장치에 의해 실행되고, 컴퓨터 판독 가능한 저장 매체에 저장되는 어플리케이션으로서, 사용자가 주시해야 하는 고정 타겟과 이동 타겟 그리고 신속 이동 타겟을 각각 상이하게 설정된 시간 동안에 저장된 좌표 정보에 기초하여 단말의 화면에 표시하는 동작, 고정 타겟 또는 이동 타겟 그리고 신속 이동 타겟이 표시되는 동안 사용자의 얼굴을 촬영한 이미지를 실시간으로 수집하고, 이미지들에서 사용자의 안구 영역을 인식하면 안구 영역에서 추출한 안구 움직임에 기초하여 시선 정보를 생성하는 동작, 고정 타겟, 이동 타겟 또는 신속 이동 타겟마다 설정된 시간동안 각 타겟들의 좌표 정보와 생성된 시선정보가 일치하는 횟수를 산출하는 동작, 그리고 고정 타겟, 이동 타겟 또는 신속 이동 타겟에 대응하여 좌표 정보가 일치하는 횟수 대비 시선 정보가 생성된 총 횟수를 통해 각각의 점수를 산출하고, 산출된 점수들에 기초하여 사용자의 인지 장애를 예측하는 동작을 실행하는 명령어들을 포함한다.
본 발명의 실시예에 따르면 제공한 안구운동 검사에 대응하여 생성한 사용자의 시선 정보를 분석하여 사용자의 인지 장애에 대한 전조 상태를 정확하게 예측한 검사 결과를 제공할 수 있다.
본 발명의 실시예에 따르면 사용자의 개인 정보에 기초하여 설정된 안구운동 검사를 수행하고, 검사 결과를 누적하여 관리함으로써, 사용자의 뇌 건강 상태 관리에 도움을 줄 수 있다.
본 발명의 실시예에 따르면 간편하고 비침습적인 방법으로 시간과 공간의 제약을 벗어나 간편하게 사용자의 인지 장애의 가능성을 예측할 수 있다.
도 1은 본 발명의 실시예에 따른 사용자 단말을 포함하는 통신 네트워크를 나타내는 구성도이다.
도 2는 본 발명의 실시예에 따른 안구운동 콘텐츠 기반 인지 장애 예측 정보를 제공하는 방법을 도식적으로 설명하는 도면이다.
도 3은 본 발명의 실시예에 따른 인지 장애 예측 정보를 제공하는 방법에 대한 흐름도이다.
도 4는 본 발명의 실시예에 따른 인지 장애를 예측하는 어플리케이션의 실행 화면 중 고정 타겟과 이동 타겟을 제공하는 화면에 대한 예시도이다.
도 5는 본 발명의 실시예에 따른 어플리케이션의 실행 화면 중 고정 타겟과 이동 타겟을 제공하는 화면에서 장애물이 겹쳐지는 화면에 대한 예시도이다.
도 6은 본 발명의 실시예에 따른 어플리케이션의 실행 화면 중 신속안구운동을 제공하는 화면에 대한 예시도이다.
도 7은 본 발명의 실시예에 따른 안구운동 검사 결과 화면을 나타낸 예시도이다.
도 8은 본 발명의 실시예에 따른 인지 장애 예측 정보를 결과 리포트 형식으로 나타낸 예시도이다.
도 9는 본 발명의 실시예에 따른 안구운동 검사 결과의 분석 화면을 나타낸 예시도이다.
도 10은 본 발명의 한 실시예에 따른 컴퓨팅 장치의 구성을 나타낸 블록도이다.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
이하에서는 인지 장애는 경도 인지 장애, 알츠하이머, 퇴행성 인지 장애 등을 포함하며, 안구운동 검사를 통해 진단 가능한 인지 장애를 모두 포함할 수 있다.
도 1은 본 발명의 실시예에 따른 사용자 단말을 포함하는 통신 네트워크를 나타내는 구성도이다.
도 1을 참고하면, 사용자 단말(100)은 안구운동 검사 서버(200)와 통신망을 통하여 연결되어 있으며, 서로 데이터를 송수신한다. 통신망은 유선 통신 네트워크, 근거리 또는 원거리 무선 통신 네트워크, 이들이 혼합된 네트워크 등 데이터를 전달하는 모든 형태의 통신 네트워크를 포함할 수 있다. 사용자 단말(100)은 각각 메모리 수단, 프로세서를 구비함으로써 연산 처리 능력을 갖춘 단말기를 통칭하는 것이며, 예를 들어, 퍼스널 컴퓨터(personal computer), 핸드헬드 컴퓨터(handheld computer), PDA(personal digital assistant), 휴대폰, 스마트 기기, 태블릿(tablet) 등이 있다.
사용자 단말(100)은 인지 장애를 예측하는 어플리케이션 또는 프로그램이 설치된 단말로, 연동된 카메라를 통해 사용자 얼굴을 촬영한 이미지를 수집하고, 촬영된 이미지에서 사용자의 시선 정보를 생성한다.
여기서, 인지 장애를 예측하는 어플리케이션 또는 프로그램은 컴퓨터 판독 가능한 저장 매체에 저장되는 소프트웨어로서, 본 발명의 동작을 실행하는 명령어들(instructions) 및 데이터를 포함한다. 어플리케이션은 단말에 설치되고, 단말에서 실행되며, 통신망을 통해 지정된 안구운동 검사 서버(200)와 통신한다.
그리고 사용자 단말(100)은 안구운동을 검사하기 위한 콘텐츠를 사용자 단말의 화면에 제공하며, 실시간으로 제공되는 콘텐츠의 좌표 정보와 실시간으로 생성되는 시선 정보의 좌표 정보를 비교하여 최종적으로 사용자의 인지 장애의 발생 가능성을 예측한다.
여기서, 콘텐츠는 사용자가 주시해야 하는 고정 타겟과 설정된 패턴에 기초하여 이동하는 이동 타겟, 배경 화면, 배경 화면에 포함된 장애물 등을 포함한다.
안구운동 검사 서버(200)는 인지 장애의 가능성을 예측하는 어플리케이션에 연결된 서버를 나타내기 위해 명명한 것으로, 안구운동 검사 서버(200)에 한정될 필요 없이, 본 발명에서 설명하는 동작을 수행하는 서버이면 충분하다.
안구운동 검사 서버(200)는 안구운동을 검사하기 위한 하나 이상의 콘텐츠를 관리하고 있으며, 사용자 단말(100)로부터 사용자 개인정보에 기초하여 사용자별 인지 장애 예측정보를 수신하면, 연동되는 데이터베이스에 저장하여 관리할 수 있다.
이때, 안구운동 검사 서버(200)는 사용자 단말(100)로부터 수신한 사용자 정보에 기초하여 인지 장애 예측 정보를 관리함에 있어서, 인지 장애 예측 정보가 일정한 단계 이상의 값을 가지거나 이전 예측 정보에 비해 변화도가 큰 경우 병원이나 관련 의료 기관의 방문을 권하는 알림 메시지를 생성하여 사용자 단말(100)에 전송할 수 있다.
또한, 안구운동 검사 서버(200)는 사용자 단말(100)로부터의 정보 공유 승인을 기초로 관련 기관 서버(300)와 네트워크로 연결되어 해당 사용자별 인지 장애 예측 정보를 공유할 수 있다. 여기서, 관련 기관 서버(300)는 인지 장애를 진단하고 치료하는 병원과 같은 의료 기관이거나 인지 장애에 대한 질병의 경제적인 준비를 하기 위한 보험 상품을 관리하는 기관 등을 모두 포함한다.
참고로, 설명의 편의를 위해, 인지 장애의 발생 가능성을 예측하는 어플리케이션을 동작의 주체로 설명하거나, 설치된 인지 장애의 발생 가능성을 예측하는 어플리케이션을 실행한 단말(100)을 동작의 주체로 설명할 수 있다.
도 2는 본 발명의 실시예에 따른 안구운동 콘텐츠 기반 인지 장애 예측 정보를 제공하는 방법을 도식적으로 설명하는 도면이다.
도 2에 도시한 바와 같이, 안구운동 검사 서버(200)는 고정 타겟, 이동 타겟을 포함하는 하나 이상의 안구운동 검사 콘텐츠를 관리한다.
안구운동 검사 콘텐츠는 고정 타겟의 좌표와 설정 정보, 이동 타겟의 좌표와 설정 정보, 배경 설정 정보 그리고 연령별 패턴 설정 정보등을 포함한다.
여기서, 안구운동 검사 콘텐츠는 동일한 좌표 정보를 기준으로 배경, 고정 타겟, 이동 타겟 그리고 신속 이동 타겟의 좌표가 각각 설정된다.
배경 설정 정보에는 배경이 되는 이미지, 이미지의 채도 값, 배경 상에서 이동하는 장애물 이미지, 장애물에 설정되는 채도 값, 장애물을 표시하는 빈도수, 장애물의 이동하는 속도, 장애물이 등장하는 시간 간격 등을 포함한다.
예를 들어 배경으로 밤 하늘의 이미지가 설정되면, 하나 이상의 별을 포함하는 밤 하늘 이미지에서 구름을 장애물 이미지로 설정하여 바람에 의해 해당 구름이 이동하는 듯한 효과를 가지도록 설정할 수 있다.
그리고 고정 타겟은 배경 상에서 특정 좌표 위치에서 고정적으로 위치하며, 해당 배경과 가장 큰 채도 차이 값을 가지도록 설정될 수 있다.
또한 이동 타겟의 이동 경로는 일정한 움직임에 따른 좌표들의 집합이거나 상하좌우 좌표 중에 무작위로 선택된 좌표들로 설정된 좌표의 집합을 의미하며, 이동 타겟의 설정 정보는 이동 타겟의 채도 값, 이동 타겟을 표시하는 빈도수, 이동 타겟의 속도, 표시되는 시간 간격, 이동되는 이동 경로(이동 좌표)등을 포함한다.
신속 이동 타겟은 특정 패턴으로 이동경로가 설정되지 않고 검사할 때마다 랜덤으로 상하좌우 방향의 어느 한 지점으로 이동되도록 설정된다. 이때, 신속 이동 타겟은 이동 타겟과 비교하여 이동 속도가 임계치 이상으로 더 빠르다.
이때, 이동 타겟의 이동 경로가 마무리 되고 신속 이동 타겟을 화면에 도시하기 전에 약 N초 동안 눈을 감고 휴식 시간이 포함될 수 있다. 여기서 휴식시간은 이동 타겟을 제공하는 시간과 신속 이동 타겟을 제공하는 시간 사이에 설정되는 것으로 순서는 추후에 변경될 수 있다. 예를 들어 신속 이동 타겟을 제공하는 화면이 마무리 되고 이동 타겟을 화면에 도시하기 전에 휴식 시간이 포함될 수 있다.
한편, 배경이 일정한 채도 이하의 값을 가진다면, 고정 타겟은 가장 밝은 채도 값을 가지고 이동 타겟 또는 장애물 이미지는 배경의 채도 값과 고정 타겟의 채도 값의 중간 영역에 해당하는 채도 값을 가질 수 있다.
이때, 신속 이동 타겟을 제공할 때의 배경은 고정 타겟 또는 이동 타겟의 배경과 달리 설정될 수 있으며, 신속 이동 타겟은 배경과 구분 가능한 채도 값의 차이를 가질 수 있다.
그리고 배경의 장애물 이미지와 고정 타겟 또는 이동 타겟의 좌표 위치가 서로 겹치게 되는 경우에 장애물 이미지를 우선적으로 표시하여, 고정 타겟 또는 이동 타겟이 가려지는 효과를 나타낼 수 있다.
그리고 연령별 패턴 설정 정보는 연령대별로 이동 타겟의 설정 정보 또는 장애물에 대한 배경 설정 정보를 변경하는 기준을 포함한다.
예를 들어, 사용자의 연령이 미리 설정된 연령대를 나타내는 임계치보다 이하인 경우, 이동 타겟의 이동 속도를 증가시키고 이동 경로가 불연속적인 형태로 설정되거나 출현 빈도를 낮추거나 출현 간격을 감소시킬 수 있다. 이와 마찬가지로 장애물에 대한 배경 설정 정보도 변경되도록 설정할 수 있다.
또는 특정 연령대별로 이동 타겟의 이동 속도, 이동 경로, 출현 빈도, 출현 간격 그리고 장애물의 출현 빈도, 출현 간격 등을 설정하여 저장한 후, 사용자의 연령에 따라 대응되는 이동 타겟의 설정과 장애물의 설정을 콘텐츠에 적용할 수 있다.
이와 같은 안구운동 검사 콘텐츠의 각 구성 요소들은 추후에 새롭게 추가 또는 수정되어 업데이트될 수 있다.
안구운동 검사 서버(200)는 안구운동 검사 콘텐츠를 사용자 단말(100)로 전송한다. 사용자 단말(100)은 안구운동 검사 서비스를 이용하는 가입자 단말일 수 있다.
이때, 안구운동 검사 콘텐츠는 사용자 단말(100)의 내부에 저장될 수 있고, 해당 안구운동 검사 콘텐츠를 실시간으로 로딩할 수 있다.
사용자 단말(100)에 저장된 경우에 해당 안구운동 검사 콘텐츠는 주기적으로 안구운동 검사 서버(200)와 동기화될 수 있다. 예를 들어, 안구운동 검사 서버(200)에서 안구운동 검사 콘텐츠가 업데이트 되면 업데이트된 안구운동 검사 콘텐츠를 사용자 단말(100)에 전송함으로써, 서로 동기화할 수 있다.
사용자 단말(100)의 어플리케이션은 사용자의 얼굴을 포함하는 이미지를 수집하면, 이미지에서 사용자 얼굴을 인식하여 안구 영역을 검출한다. 그리고 사용자 단말(100)의 어플리케이션은 검출된 안구 영역에서 사용자의 시선정보를 해당 사용자 단말(100)의 화면의 좌표 정보로 생성할 수 있다.
이를 통해 사용자 단말(100)의 어플리케이션은 안구운동 콘텐츠의 고정 타겟 또는 이동 타겟의 좌표 정보 그리고 신속 이동 타겟의 좌표 정보와 생성된 사용자의 시선 정보에 해당하는 좌표 정보를 비교하여 인지 장애의 발생 가능성에 대한 인지 장애 예측 정보를 생성한다.
이에 사용자 단말(100)의 어플리케이션은 생성한 인지 장애 예측 정보를 해당 사용자 정보와 함께 안구운동 검사 서버(200)로 전송한다. 이에 안구운동 검사 서버(200)는 수신한 사용자 정보에 기초하여 인지 장애 예측 정보를 누적하여 저장하고 관리할 수 있다.
그리고 사용자 단말(100)의 어플리케이션은 안구운동 검사 서버(200)로부터 인지 장애 예측 정보에 대한 이력 정보를 수신하여 화면에 표시할 수 있다.
이하에서 도 3 내지 도 7을 이용하여 사용자 단말(100)을 통해 안구운동 콘텐츠에 기초하여 사용자의 인지 장애 예측 정보를 생성하는 과정에 대해서 상세하게 설명한다.
도 3은 본 발명의 실시예에 따른 인지 장애 예측 정보를 제공하는 방법에 대한 흐름도이다.
도 3에 도시한 바와 같이, 사용자 단말(100)은 사용자의 기본 정보를 입력받으면, 사용자의 얼굴이 촬영된 이미지에서 사용자의 얼굴을 인식하고, 인식된 얼굴에서의 안구 영역을 인식한다(S110).
사용자 단말(100)은 사용자의 이름, 성별, 나이, 단말 기기 번호 등 사용자 정보를 입력받을 수 있다. 이러한 사용자 정보는 고유 ID와 같은 사용자 계정에 기초하여 사용자 단말(100) 또는 연동되는 안구운동 검사 서버(200)에 저장될 수 있다.
그리고 사용자 단말(100)은 사용자 정보에 기초하여 연동되는 카메라를 통해 실시간으로 사용자의 얼굴을 촬영하고, 촬영된 이미지에서 사용자의 얼굴을 인식한다.
사용자 단말(100)은 촬영된 이미지에서 회귀분석(Regression) 알고리즘을 통하여 일반적인 사람의 얼굴 윤곽에 기초하여 사용자의 얼굴을 인식할 수 있다.
여기서, 회귀분석 알고리즘은 머신 러닝(machine learning) 내에서 사용되는 알고리즘 방법론 중 일부이며, 사용자 단말(100)은 머신 러닝에 얼굴 랜드마크(face landmark) 데이터 셋을 사용하여 사용자의 얼굴을 인식할 수 있다. 그리고 얼굴 랜드마크 데이터 셋은 제공(배포)되는 Dlib 라이브러리(Distribution LIBrary)를 이용할 수 있다.
이를 통해 사용자 단말(100)은 인식된 얼굴 이미지에서 안구 영역을 추출하고, 안구 영역 내에서 시선 정보의 초기 값을 설정할 수 있다.
이때, 사용자 단말(100)은 추출한 안구 영역의 위치 및 형태와 시선 정보의 초기값을 기초하여 사용자의 시선을 지속적으로 추적할 수 있다. 예를 들어, 사용자 단말(100)은 다음 시점에서의 얼굴 이미지에서 안구 영역을 추출할 때, 초기 추출된 영역을 우선적으로 선택하여 안구 영역의 추출 속도 및 정확도를 향상시킬 수 있다.
다음으로 사용자 단말(100)은 고정 타겟과 설정된 패턴에 기초하여 이동하는 이동 타겟 그리고 일정 속도 이상으로 랜덤하게 움직이는 신속 이동 타겟을 단말의 화면에 표시한다(S120).
예를 들어 사용자 단말(100)은 4 단계에 따라 고정 타겟을 배경상에 표시한콘텐츠, 이동 타겟을 배경 상에 표시한 콘텐츠, 이동 타겟을 장애물 이미지를 포함한 배경 상에 표시한 콘텐츠 그리고 일정 속도 이상으로 랜덤하게 움직이는 신속 이동 타겟을 배경상에 표시한 콘텐츠를 순차적으로 화면에 표시할 수 있다.
먼저, 사용자 단말(100)은 1단계로 배경 상에 고정 타겟만을 표시하여 일정 시간 동안 주시할 것을 요청할 수 있다.
그리고 사용자 단말(100)은 2단계로 배경 이미지 상에 이동 타겟을 표시하고 이동 타겟의 움직임에 따라 시선을 주시하도록 요청할 수 있다.
이때, 사용자 단말(100)은 3단계로 이동 타겟을 주시하도록 요청하는 과정에서 배경 이미지의 움직이는 장애물 이미지를 도시하여 이동 타겟을 중첩하여 표시할 수 있다. 2단계와 3단계는 설명과 같이 동일한 배경과 동일한 이동 타겟에서 장애물 이미지의 포함 여부로 구분될 수 있으나 반드시 이에 한정하는 것은 아니며, 별도의 배경과 별도의 이동 타겟으로 독립적인 콘텐츠로 제공될 수 있다.
그리고 사용자 단말(100)은 4단계로 일정 속도 이상으로 랜덤하게 움직이는 신속 이동 타겟을 표시하고 해당 신속 이동 타겟을 주시하도록 요청할 수 있다.
도 4는 본 발명의 실시예에 따른 인지 장애를 예측하는 어플리케이션의 실행 화면 중 고정 타겟과 이동 타겟을 제공하는 화면에 대한 예시도이고, 도 5는 본 발명의 실시예에 따른 어플리케이션의 실행 화면 중 고정 타겟과 이동 타겟을 제공하는 화면에서 장애물이 겹쳐지는 화면에 대한 예시도이다.
도 6은 본 발명의 실시예에 따른 어플리케이션의 실행 화면 중 신속안구운동을 제공하는 화면에 대한 예시도이다.
먼저, 도 4를 보면 도 4의 (a)는 배경이 밤 하늘 이미지에 고정 타겟(A)를 달로 표시하였으며, 화면의 일측에 고정 타겟(A)을 바라봐달라는 지시 문구(111)와 함께 안구 인식 상태의 결과(112)를 함께 표시할 수 있다. 그리고 화면 타측에는 검사 진행율(113)에 대한 문구를 표시할 수 있다.
그리고 도 4의 (b), (c)와 같이, 배경 상에 움직이는 새의 형체인 이동 타겟(B)을 설정된 이동 경로에 기초하여 표시하며, 지시 문구(111)란에는 새 실루엣을 눈으로 따라가주세요 라고 표시될 수 있다.
이에 도 4의 (b)와 (c)에서 B-1 위치에 있던 이동 객체(B)가 B-2 위치로 이동함에 있어서 사용자에게 이동한 위치에 따라 주시해 줄 것을 요청할 수 있다. 이러한 안내 문구는 반드시 문자로 표기되는 것은 아니며 사용자 단말(100)은 음성을 통한 지시 및 안내를 수행할 수 있다.
이와 같이, 배경 상에 이동 타겟의 이동 경로에 따라 시선의 움직임을 유도함으로써 안구운동 검사를 수행할 수 있다.
또한, 배경 설정에 포함된 장애물의 위치에 따라 해당 이동 타겟 또는 고정 타겟이 일부 또는 전체가 가려질 수 있다.
도 5의 (a)는 배경이 해질녘 이미지에 고정 타겟(A)을 해로 표시하였으며, 고정 타겟인 해를 바라 봐주세요 라는 문구를 표시한 화면이고 (b)는 배경 상에 움직이는 새의 형체인 이동 타겟(B)을 표시하고, 새 실루엣을 눈으로 따라가주세요 라는 문구를 표시한 화면이다.
이에 도 5의 (c)와 같이, 이미지에서 장애물(C)인 구름 형상을 도시하여 고정 타겟(A)과 중첩한 후, 이동 타겟(B)를 가리키는 실루엣에 계속 집중해주세요 라는 지시 문구(111)를 표시할 수 있다.
이에 도 5의 (b)와 (c)에서 B-1 위치에 있던 이동 객체(B)가 B-2 위치로 이동함에 있어서 사용자에게 이동한 위치에 따라 주시해 줄 것을 요청할 수 있다.
도 5의 (c)에는 장애물(C)과 고정 타겟(A)이 서로 중첩되어 도시하였지만, 반드시 이에 한정되는 것은 아니며, 장애물(C)과 이동 타겟(B)과 중첩되어 표시될 수 있다. 이때, 일부가 가려지거나 완전히 가려질 수 있다.
한편, 사용자 단말(100)은 장애물이 도시하지 않더라도 3단계로 장애물 이미지 여부 이외에도 이동 타겟(B) 자체의 채도를 배경과 유사하게 변경하여 일부 또는 전체가 가려지도록 조정할 수 있다.
도 4 및 도 5에서는 이동 타겟이 좌우로 이동한 것을 예시하였지만, 이동 타겟의 이동은 콘텐츠 배경 상에서 이동 방향이 일정하게 고정된 것은 아니고 상하좌우 다양하게 이동할 수 있다.
이와 같이, 사용자 단말(100)은 고정 타겟 또는 이동 타겟이 표시되는 동안 사용자의 얼굴을 촬영한 이미지를 실시간으로 수집한다(S130).
사용자 단말(100)은 연동되는 카메라를 통해 실시간으로 촬영된 이미지를 수신한다. 예를 들어, 1초당 10번 이상의 촬영된 이미지를 수신할 수 있다.
다음으로 사용자 단말(100)은 각각의 이미지에서 사용자의 안구 영역을 인식하고, 안구 영역에서 추출한 안구 움직임에 기초하여 시선 정보를 생성한다(S140).
사용자 단말(100)은 S110 단계와 같이 연동되는 카메라로부터 지속적으로 촬영되는 각각의 이미지에서 사용자의 얼굴을 인식하고, 인식된 사용자 얼굴에서 안구 영역을 검출한 다음 사용자 시선 정보를 생성한다.
이때, 사용자 단말(100)은 S110 단계에서 인식된 안구 영역 정보에 기초하여 각 이미지에서 바로 사용자의 안구 영역을 검출할 수 있다.
그리고 사용자 단말(100)은 지속적으로 고정 타겟 또는 이동 타겟을 표시하면서 해당 타겟을 주시해줄 것을 요청하는 과정에 따라 검출된 안구 영역에서 안구의 수평, 수직, 회선(torsion) 운동에 따른 움직임을 분석하여 시선 정보를 생성할 수 있다.
이때, 사용자 단말(100)은 학습된 머신 러닝(machine learning)에 얼굴 이미지를 입력하여 안구 움직임을 획득할 수 있다. 사용자 단말(100)은 학습된 머신 러닝에 기초하여 직전 이미지에서 해당 이미지로의 안구 움직임을 획득하며 획득된 안구 움직임에서 시선 좌표 정보를 포함하는 시선 정보를 생성한다.
이때, 사용자 단말(100)은 사용자에 따라 추출된 안구 움직임을 캘리브레이션(calibration)함으로써, 안구의 움직임에 대한 인식률을 높일 수 있다
머신 러닝은 이미지에서 얼굴 그리고 안구 영역 및 안구의 움직임을 획득하도록 학습된 인공지능 모델을 의미하며, 하나 또는 복수의 인공지능 모델로 구현될 수 있다.
다음으로 도 6의 (a)와 같이 어두운 배경 화면을 미리 설정된 N초간 제공하며, 사용자에게 눈을 감아줄 것을 요청할 수 있다.
그리고 도 6의 (b)와 같이, 새로운 배경(풀밭 배경)에서 신속이동 객체(D, 반딧불)를 제공할 수 있다.
주황색 박스와 하늘색 화살표는 설명을 위한 신속이동 객체(D)의 이동 지점과 방향을 나타내지만, 신속이동 객체(D)의 이동 지점 및 방향은 화면에 도시할 때 랜덤으로 실시간 설정된다.
신속이동 객체(D)의 이동 속도는 일정 속도 이상으로 설정되어 있으며, 움직이는 이동 객체의 이동 속도에 비해 임계치 이상 빠르게 설정된다. 이러한 신속이동 객체(D)의 이동 속도도 사용자의 연령에 기초하여 재설정 가능하다.
한편, 사용자 단말(100)은 사용자의 휴식시간, 지시 사항을 알리기 위한 음성 메시지를 제공할 수 있으며, 사용자의 안구운동에 대한 정확한 데이터를 확보하기 위해 사용자의 머리의 이동이 감지되면 머리를 움직이지 않고 시선만 움직여 줄 것을 요청하는 메시지를 생성하여 화면에 표시하거나 음성으로 안내할 수 있다.
다음으로 사용자 단말(100)은 고정 타겟 또는 이동 타겟 그리고 신속 이동 타겟의 좌표 정보들과 시선 정보에 따른 좌표 정보가 일치하는 횟수를 산출한다(S150).
사용자 단말(100)은 배경 상에 고정 타겟을 주시해 줄 것으로 요청한 일정 시간 동안에서 전체 안구 운동 인식 횟수와 물체의 좌표와 안구 운동 인식의 방향이 같은 제1 횟수를 산출한다.
그리고 사용자 단말(100)은 이동 타겟의 좌표 정보와 시선의 좌표 정보를 비교하여 방향 정보가 일치하는 제2 횟수를 산출하며, 장애물 이미지와 이동 타겟이 중첩되어 표시된 상황에서의 이동 타겟의 좌표 정보와 시선의 좌표 정보를 비교하여 방향 정보가 일치하는 제3 횟수를 산출한다.
2단계와 3단계가 동일한 배경과 동일한 이동 타겟으로 장애물 이미지 포함 여부로 구분되는 경우, 2단계를 완료하고 3단계로 넘어가는 것이 아닌 2단계와 3단계가 혼재하여 제공될 수 있다.
이때, 사용자 단말(100)은 이동 타겟의 좌표 정보와 시선의 좌표 정보를 비교할 때, 장애물 이미지의 표시 여부에 따라 각각 제2 횟수와 제3 횟수로 구분하여 산출할 수 있다.
예를 들어, 사용자 단말(100)은 장애물 이미지가 화면에 표시되는 경우에는 제3 횟수로 구분하여 산출하고, 장애물 이미지가 표시되지 않은 경우에 제2 횟수로 구분할 수 있다.
또는 사용자 단말(100)은 장애물 이미지와 이동 타겟이 중첩되는 경우에만 제3 횟수로 구분하여 산출하고, 장애물 이미지와 이동 타겟이 중첩되는 경우에는 제2 횟수로 산출할 수 있다. 이러한 구분 기준은 추후에 용이하게 변경 및 설정가능하다.
그리고 사용자 단말(100)은 상하좌우의 랜던한 지점으로 빠르게 이동하는 신속 이동 타겟을 화면에 도시하고, 신속 이동 타겟의 좌표 정보와 시선 정보에 따른 좌표 정보가 일치하는 제4 횟수를 산출한다.
이와 같이, 사용자 단말(100)은 주시해줄 것으로 요청하는 타겟의 좌표 정보와 시선의 좌표 정보를 비교하여 좌표 정보가 일치하는 횟수를 각각 산출한다.
다음으로 사용자 단말(100)은 좌표 정보가 일치하는 횟수 대비 각 단계마다 시선 정보가 생성된 횟수를 산출하여 사용자의 인지 장애를 예측한다(S160).
여기서, 시선 정보가 생성된 횟수는 각 제공되는 단계마다의 전체 안구운동 인식횟수를 의미한다.
사용자 단말(100)은 각 단계마다 좌표가 일치한 비율에 기초하여 안구 반응도, 안구 운동성, 안구 집중도 그리고 신속안구운동성에 대한 평가를 수행할 수 있다.
상세하게는 사용자 단말(100)은 제1 횟수와 고정 타겟을 제공하고 해당 고정 타겟을 주시해 줄 것을 요청한 시간 동안 시선 정보가 생성된 총 횟수를 이용하여 안구 반응도를 산출한다. 이와 마찬가지로 제2 횟수, 제3 횟수 그리고 제4 횟수도 각 2단계, 3단계 그리고 4단계에서 설정된 해당 시간 동안 시선 정보가 생성된 총 횟수를 이용하여 각 안구 운동성, 안구 집중도 그리고 신속안구운동성 라는 항목마다 점수를 산출할 수 있다.
예를 들어, 제1 횟수를 1단계에서 시선 정보가 생성된 총 횟수로 나눈 값에 대해 백분율로 환산하여 산출된 제1 점수는 안구 반응도를 의미하며, 제2 횟수를 2단계에서 시선 정보가 생성된 총 횟수로 나눈 값에 대해 백분율로 환산하여 산출된 제2 점수는 안구 운동성을 의미한다. 그리고 제3 횟수를 3단계에서 시선 정보가 생성된 총 횟수로 나눈 값에 대해 백분율로 환산하여 산출된 제3 점수는 안구 집중도를 의미하면, 제4 횟수를 4단계에서 시선 정보가 생성된 총 횟수로 나눈 값에 대해 백분율로 환산하여 산출된 제4 점수는 신속안구 운동성을 의미한다.
이와 같이, 사용자 단말(100)은 안구 반응도, 안구 운동성, 안구 집중도 그리고 신속안구운동성 항목마다 산출된 제1 내지 제4 점수들을 합산하고, 이에 대한 평균값을 이용하여 사용자의 인지 장애의 발생 가능성을 예측한다.
다시 말해 사용자 단말(100)은 인지 장애의 가능성에 대해 평균 값이 점수로 제공되며, 점수에 해당되는 단계에 대한 관련 정보를 함께 화면에 표시할 수 있다.
도 7은 본 발명의 실시예에 따른 안구운동 검사 결과 화면을 나타낸 예시도이다.
도 7에 도시한 바와 같이, 사용자의 가독성을 높이기 위해, 구체적인 숫자로 표시된 점수, 그래프 그리고 최종 테스트 결과를 일정하게 구분된 단계 중에 하나로 나타낼 수 있다.
예를 들어, 인지 장애의 발생 가능성에 대해 정상, 의심, 걱정 그리고 위험이라는 4 단계로 구분되는 경우, 점수 구간마다 각 단계를 매칭하고 최종 결과로 해당 단계를 표시할 수 있다.
그리고 해당 결과를 보다 상세하게 리포트 형식으로 제공할 수 있다.
도 8은 본 발명의 실시예에 따른 인지 장애 예측 정보를 결과 리포트 형식으로 나타낸 예시도이고, 도 9는 본 발명의 실시예에 따른 안구운동 검사 결과의 분석 화면을 나타낸 예시도이다.
도 8에 도시한 바와 같이, 사용자 단말(100)은 간단한 검사 결과 이외에도 사용자 정보에 포함된 나이를 기준으로 동일군으로 분류되는 나이대의 사람들의 검사 결과와 비교하여 검사 결과를 분석할 수 있다.
그리고 사용자가 획득한 점수 또는 테스트 결과에 따른 단계에서 주의해야 할 점, 해당 단계에서 확인해야 할 인지 장애의 예방 방안 및 대처 방안에 대한 정보가 연계될 수 있다.
도 8에는 인지 장애 가능성 결과가 정상, 관심 필요, 걱정으로 3단계로 구분되는 형식에 따라 도시하였으며, 사용자의 평균 점수에 대응하여 위치를 표시하여 제공할 수 있다. 이러한 단계 구분의 개수, 용어 등은 추후에 용이하게 변경 및 설정 가능하다.
이러한 정보는 안구 반응도(1단계), 안구 운동성(2단계), 안구 집중도(3단계) 그리고 신속 안구 운동성(4단계)의 검사 항목마다 특정하여 제공될 수 있다.
이와 같은 세부 분석 내용을 위한 해당 인지 장애의 예방 및 대처 방안 또는 동일 군으로 분류되는 나이대 사람들의 검사 결과들에 대한 정보가 안구운동 검사 서버(200)에 저장되어 있는 경우, 사용자 단말(100) 산출된 제1 내지 제4 점수, 평균값 점수 및 해당되는 단계를 안구운동 검사 서버(200)로 전송하여 관련 정보를 수신하여 화면에 출력할 수 있다.
그리고 사용자 단말(100)은 사용자의 안구 운동 검사가 완료되면 해당 운동검사 결과를 안구운동 검사 서버(200)로 전송하여 사용자 정보와 연계하여 검사 일자, 검사 시간, 검사 결과 등을 저장할 수 있다.
이에 도 9에 도시한 바와 같이, 검사 결과를 그래프와 같은 형식으로 제공할 수 있다.
도 9의 (a)는 안구 운동 검사에 대응하여 안구를 인식하는 시간마다 산출된 점수(좌표 정보와 일치하는 시선 정보)를 나타내고, (b)는 누적된 검사 결과에 따라 그래프로 나타낸 도면이다.
도 9의 (a)에 도시한 바와 같이, 3개의 그래프는 각 1단계, 2단계 그리고 3단계에서 검사한 점수를 나타내며, 안구 운동 검사 구간(단계별)마다 검사 시간이 다르지만, 분석을 용이하게 하기 위해 검사 구간을 정규화하여 통일된 숫자로 표기할 수 있다.
도 9의 (b)와 같이 검사를 수행한 날짜에 대응하여 점수를 나타낸 것으로, 일정 시간 동안 사용자의 점수의 변동을 확인할 수 있다. 이때, 해당 그래프의 x축은 날짜를 나타내는 것으로 사용자의 설정에 따라 주간, 월간, 3개월, 1년 구간 등으로 설정 및 변경 가능하다.
도 10은 본 발명의 한 실시예에 따른 컴퓨팅 장치의 구성을 나타낸 블록도이다.
도 10을 참조하면, 컴퓨팅 장치(500)의 하드웨어는 적어도 하나의 프로세서(510), 메모리(520), 스토리지(530), 통신 장치(540), 입력장치(550) 그리고 디스플레이 장치(560)를 포함할 수 있고, 버스(570)를 통해 연결될 수 있다.
컴퓨팅 장치(500)는 프로그램을 구동할 수 있는 운영 체제를 비롯한 각종 소프트웨어가 탑재될 수 있다.
프로세서(510)는 컴퓨팅 장치(500)의 동작을 제어하는 장치로서, 프로그램에 포함된 명령들을 처리하는 다양한 형태의 프로세서(510)일 수 있고, 예를 들면, CPU(Central Processing Unit), MPU(Micro Processor Unit), MCU(Micro Controller Unit), GPU(Graphic Processing Unit) 등 일 수 있다.
프로세서(510)는 입력 장치(550)로부터 전달받은 신호에 기초하여 인지 장애의 가능성을 예측하고 이를 디스플레이 장치(560)로 출력할 수 있다.
메모리(520) 및 스토리지(530)는 다양한 형태의 휘발성 또는 비휘발성 저장 매체를 포함할 수 있다.
메모리(520)는 본 발명의 동작을 실행하도록 기술된 명령들이 프로세서(510)에 의해 처리되도록 해당 프로그램을 로드한다. 메모리(520)는 예를 들면, ROM(read only memory), RAM(random access memory) 등 일 수 있다. 본 기재의 한 실시예에서 메모리(520)는 프로세서(510)의 내부 또는 외부에 위치할 수 있고, 메모리(520)는 이미 알려진 다양한 수단을 통해 프로세서(510)와 연결될 수 있다 스토리지(530)는 본 발명의 동작을 실행하는데 요구되는 각종 데이터, 프로그램 등을 저장한다. 통신 장치(540)는 유/무선 통신 모듈일 수 있다.
입력 장치(550)는 사용자 입력을 위한 장치로서, 예컨대 사용자의 개인정보를 입력받거나 출력되는 항목을 선택하는 등에 사용된다. 예로서, 입력 장치(550)는 키보드, 마우스, 키패드, 버튼, 터치 패널, 터치 스크린, 터치 패드, 진동 센서 등을 포함할 수 있다.
안구운동 검사 및 검사 결과는 프로세서(510), 메모리(520) 및 입력 장치(550)의 동작에 따라 디스플레이 장치(560)에서 표현된다.
한편, 본 발명의 실시예는 제공한 안구운동 검사에 대응하여 생성한 사용자의 시선 정보를 분석하여 사용자의 인지 장애에 대한 전조 상태를 정확하게 예측한 검사 결과를 제공할 수 있으며, 사용자의 뇌 건강 상태 관리에 도움을 줄 수 있다.
그리고 간편하고 비침습적인 방법으로 시간과 공간의 제약을 벗어나 간편하게 사용자의 인지 장애의 가능성을 예측할 수 있다.
이상에서 설명한 본 발명의 실시예는 장치 및 방법을 통해서만 구현이 되는 것은 아니며, 본 발명의 실시예의 구성에 대응하는 기능을 실현하는 프로그램 또는 그 프로그램이 기록된 기록 매체를 통해 구현될 수도 있다.
이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

Claims (15)

  1. 단말이 사용자의 인지 장애를 예측하는 방법으로서,
    상기 사용자가 주시해야 하는 고정 타겟 또는 이동 타겟을 각 설정된 시간 동안에 설정된 좌표 정보들에 기초하여 상기 단말의 화면에 표시하는 단계,
    상기 고정 타겟 또는 이동 타겟이 표시되는 동안 상기 사용자의 얼굴을 촬영한 이미지를 실시간으로 수집하는 단계,
    수집된 이미지마다 사용자의 안구 영역을 인식하고, 상기 안구 영역에서 추출한 안구 움직임에 기초하여 시선 정보를 생성하는 단계,
    각 설정된 시간 동안에 상기 고정 타겟의 좌표 정보와 시선 정보에 따른 좌표 정보가 일치하는 횟수와 상기 이동 타겟의 좌표 정보와 시선 정보에 따른 좌표 정보가 일치하는 횟수를 산출하는 단계, 그리고
    상기 고정 타겟에 대응하여 좌표 정보가 일치하는 횟수 대비 시선 정보가 생성된 총 횟수를 통해 산정된 점수와 상기 이동 타겟에 대응하여 좌표 정보가 일치하는 횟수 대비 시선 정보가 생성된 총 횟수를 통해 산정된 점수에 기초하여 상기 사용자의 인지 장애를 예측하는 단계
    를 포함하는 인지 장애 예측 방법.
  2. 제1항에서,
    상기 단말의 화면에 표시하는 단계는,
    배경 이미지 상에 표시한 상기 고정 타겟을 일정 시간 동안 주시하도록 요청메시지를 출력하는 단계,
    상기 배경 이미지 상에 상기 이동 타겟을 표시하고 움직이는 상기 이동 타겟을 주시하도록 요청 메시지를 출력하는 단계,
    상기 배경 이미지의 움직이는 장애물 이미지를 도시하여 상기 이동 타겟을 중첩하여 표시하고, 상기 이동 타겟을 주시하도록 요청 메시지를 출력하는 단계, 그리고
    일정 속도 이상으로 랜덤하게 상하 좌우 방향으로 움직이는 신속 이동 타겟을 화면에 도시하고 상기 신속 이동 타겟을 주시하도록 요청 메시지를 출력하는 단계
    를 포함하는 인지 장애 예측 방법.
  3. 제2항에서,
    상기 단말의 화면에 표시하기 이전에 상기 사용자로부터 나이를 포함하는 사용자 정보를 입력받으면, 상기 사용자의 얼굴을 촬영한 이미지에서 안구 영역을 인식하는 단계
    를 더 포함하는 인지 장애 예측 방법.
  4. 제3항에서,
    상기 단말의 화면에 표시하는 단계는,
    상기 사용자의 나이에 기초하여 상기 이동 타겟의 이동 속도, 표시되는 빈도수, 연속적인 표시 여부, 표시되는 시간 간격 중에서 하나 이상이 설정된 패턴에 기초하여 이동 타겟을 표시하는 인지 장애 예측 방법.
  5. 제2항에서,
    상기 시선 정보를 생성하는 단계는,
    상기 이미지를 회귀분석 알고리즘에 입력하여 상기 사용자의 얼굴에서 안구 영역을 인식하고, 인식된 상기 안구 영역을 학습된 머신 러닝에 입력하여 안구의 움직임을 획득하면 획득된 안구의 움직임에 따른 시선의 좌표 정보를 생성하는 인지 장애 예측 방법.
  6. 제5항에서,
    상기 횟수를 산출하는 단계는,
    상기 고정 타겟을 주시해 줄 것으로 요청한 일정 시간 동안 상기 고정 타겟의 좌표 정보와 상기 시선 좌표 정보의 방향 정보가 일치하는 제1 횟수를 산출하고,
    상기 이동 타겟의 좌표 정보와 상기 시선의 좌표 정보를 비교하여 방향 정보가 일치하는 제2 횟수를 산출하며,
    상기 장애물 이미지와 상기 이동 타겟이 중첩되어 표시된 상황에서의 이동 타겟의 좌표 정보와 상기 시선의 좌표 정보를 비교하여 방향 정보가 일치하는 제 3횟수를 산출하고,
    상기 신속 이동 타겟의 좌표 정보와 상기 시선 좌표 정보의 방향 정보가 일치하는 제4 횟수를 산출하는 인지 장애 예측 방법.
  7. 제6항에서,
    상기 사용자의 인지 장애를 예측하는 단계는,
    상기 제3 횟수 대비 상기 장애물 이미지와 상기 이동 타겟이 중첩되어 표시된 상황에 대응하여 시선 정보가 생성된 총 횟수를 통해 산정된 점수와 상기 제4 횟수 대비 상기 신속 이동 타겟에 대응하여 시선 정보가 생성된 총 횟수를 통해 산정된 점수를 더 포함하여 상기 사용자의 인지 장애를 예측하는 인지 장애 예측 방법.
  8. 제7항에서,
    상기 사용자의 인지 장애를 예측하는 단계는,
    상기 제1 횟수, 상기 제2 횟수, 상기 제3 횟수 그리고 제4 횟수를 기초하여 산출된 각 점수들을 합산하여 평균값을 산출하고, 상기 평균 값이 높을수록 상기 인지 장애의 발생 가능성을 낮게 예측하는 인지 장애 예측 방법.
  9. 제8항에서,
    상기 사용자의 인지 장애를 예측하는 단계는,
    산출된 각각의 점수에 대해 그래프, 숫자, 이미지 중에서 하나 이상의 형태로 표시하고, 상기 개별 점수에 대응하여 인지 장애의 예방 및 대처 방안에 대한 정보를 제공하는 인지 장애 예측 방법.
  10. 컴퓨터 장치에 의해 실행되고, 컴퓨터 판독 가능한 저장 매체에 저장되는 어플리케이션으로서,
    사용자가 주시해야 하는 고정 타겟과 이동 타겟 그리고 신속 이동 타겟을 각각 상이하게 설정된 시간 동안에 저장된 좌표 정보에 기초하여 단말의 화면에 표시하는 동작,
    상기 고정 타겟 또는 이동 타겟 그리고 상기 신속 이동 타겟이 표시되는 동안 상기 사용자의 얼굴을 촬영한 이미지를 실시간으로 수집하고, 이미지들에서 사용자의 안구 영역을 인식하면 상기 안구 영역에서 추출한 안구 움직임에 기초하여 시선 정보를 생성하는 동작,
    상기 고정 타겟, 상기 이동 타겟 또는 상기 신속 이동 타겟마다 설정된 시간동안 각 타겟들의 좌표 정보와 생성된 시선정보가 일치하는 횟수를 산출하는 동작, 그리고
    상기 고정 타겟, 상기 이동 타겟 또는 상기 신속 이동 타겟에 대응하여 상기 좌표 정보가 일치하는 횟수 대비 시선 정보가 생성된 총 횟수를 통해 각각의 점수를 산출하고, 산출된 점수들에 기초하여 상기 사용자의 뇌 질환의 가능성을 예측하는 동작
    을 실행하는 명령어들을 포함하는 어플리케이션.
  11. 제10항에서,
    상기 사용자로부터 나이를 포함하는 사용자 정보를 입력받으면, 상기 사용자의 나이에 기초하여 상기 이동 타겟의 이동 속도, 표시되는 빈도수, 연속적인 표시 여부, 표시되는 시간 간격 중에서 하나 이상을 변경하여 상기 이동 타겟의 패턴을 설정하는 동작
    을 실행하는 명령어들을 더 포함하는 어플리케이션.
  12. 제10항에서,
    상기 단말의 화면에 표시하는 동작은,
    배경 이미지 상에 표시한 상기 고정 타겟을 일정 시간 동안 주시하도록 요청메시지를 출력하는 동작,
    상기 배경 이미지 상에 상기 이동 타겟을 표시하고 움직이는 상기 이동 타겟을 주시하도록 요청 메시지를 출력하는 동작,
    상기 배경 이미지의 움직이는 장애물 이미지를 도시하여 상기 이동 타겟을 중첩하여 표시하고, 상기 이동 타겟을 주시하도록 요청 메시지를 출력하는 동작, 그리고
    일정 속도 이상으로 랜덤하게 상하 좌우 방향으로 움직이는 신속 이동 타겟을 화면에 도시하고 상기 신속 이동 타겟을 주시하도록 요청 메시지를 출력하는 단계
    을 포함하는 어플리케이션.
  13. 제12항에서,
    상기 시선 정보를 생성하는 동작은,
    상기 이미지를 회귀분석 알고리즘에 입력하여 상기 사용자의 얼굴에서 안구 영역을 인식하고, 인식된 상기 안구 영역을 학습된 머신 러닝에 입력하여 안구의 움직임을 획득하면 획득된 안구의 움직임에 따른 시선의 좌표 정보를 생성하는 어플리케이션.
  14. 제13항에서,
    상기 일치하는 횟수를 산출하는 동작은,
    상기 고정 타겟을 주시해 줄 것으로 요청한 일정 시간 동안 상기 고정 타겟의 좌표 정보와 상기 시선 좌표 정보의 방향 정보가 일치하는 제1 횟수를 산출하고,
    상기 이동 타겟의 좌표 정보와 상기 시선의 좌표 정보를 비교하여 방향 정보가 일치하는 제2 횟수를 산출하며,
    상기 장애물 이미지와 상기 이동 타겟이 중첩되어 표시된 상황에서의 이동 타겟의 좌표 정보와 상기 시선의 좌표 정보를 비교하여 방향 정보가 일치하는 제 3횟수를 산출하고,
    상기 신속 이동 타겟의 좌표 정보와 상기 시선 좌표 정보의 방향 정보가 일치하는 제4 횟수를 산출하는 어플리케이션.
  15. 제14항에서,
    상기 사용자의 인지 장애의 가능성을 예측하는 동작은,
    상기 제1 횟수, 상기 제2 횟수, 상기 제3 횟수 그리고 상기 제4 횟수에 대해, 각각 대응되는 시간동안 생성된 시선 정보의 총 횟수로 나눈 값들을 백분율로 환산하여 점수들을 산출하고, 상기 점수들의 평균값이 높을수록 상기 인지 장애의 발생 가능성을 낮게 예측하는 어플리케이션.
KR1020200055353A 2020-05-08 2020-05-08 인지 장애 예측 방법 및 이를 구현한 서버, 사용자 단말 및 어플리케이션 KR102155309B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200055353A KR102155309B1 (ko) 2020-05-08 2020-05-08 인지 장애 예측 방법 및 이를 구현한 서버, 사용자 단말 및 어플리케이션

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200055353A KR102155309B1 (ko) 2020-05-08 2020-05-08 인지 장애 예측 방법 및 이를 구현한 서버, 사용자 단말 및 어플리케이션

Publications (1)

Publication Number Publication Date
KR102155309B1 true KR102155309B1 (ko) 2020-09-11

Family

ID=72472621

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200055353A KR102155309B1 (ko) 2020-05-08 2020-05-08 인지 장애 예측 방법 및 이를 구현한 서버, 사용자 단말 및 어플리케이션

Country Status (1)

Country Link
KR (1) KR102155309B1 (ko)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102383793B1 (ko) * 2021-12-08 2022-04-11 주식회사 세븐포인트원 등록된 확장현실 기기 사용자의 집중도를 관리 및 제어하는 방법, 장치 및 시스템
KR20220051939A (ko) 2020-10-20 2022-04-27 (주) 로완 인공지능 기반의 그림 테스트를 이용한 인지장애 판별 방법 및 장치
KR102421879B1 (ko) * 2022-01-21 2022-07-19 주식회사 하이 시선 정보에 기초하여 치매를 식별하는 기법
KR102479598B1 (ko) * 2022-07-13 2022-12-21 주식회사 하이 시선 정보에 기초하여 경도 인지 장애를 식별하는 기법
WO2023022263A1 (ko) * 2021-08-19 2023-02-23 의료법인 명지의료재단 노인의 인지 기능 측정 방법 및 시스템
KR102545747B1 (ko) * 2022-05-26 2023-06-21 주식회사 아이디어빈스 사용자의 주의력 정도 결정 방법 및 장치
WO2023204516A1 (ko) * 2022-04-18 2023-10-26 사회복지법인 삼성생명공익재단 시야 검사 장치 및 방법
US11995779B2 (en) 2021-12-08 2024-05-28 Sevenpointone Inc. Method, device, and system for managing and controlling concentration of user of registered extended reality device

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004337348A (ja) * 2003-05-15 2004-12-02 New Opto Corp 眼球運動解析システム
KR20200002702A (ko) 2018-06-29 2020-01-08 고려대학교 산학협력단 시야장애 평가 및 안구 운동장애 평가 결과에 기반한 뇌병변 진단 장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004337348A (ja) * 2003-05-15 2004-12-02 New Opto Corp 眼球運動解析システム
KR20200002702A (ko) 2018-06-29 2020-01-08 고려대학교 산학협력단 시야장애 평가 및 안구 운동장애 평가 결과에 기반한 뇌병변 진단 장치

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220051939A (ko) 2020-10-20 2022-04-27 (주) 로완 인공지능 기반의 그림 테스트를 이용한 인지장애 판별 방법 및 장치
WO2023022263A1 (ko) * 2021-08-19 2023-02-23 의료법인 명지의료재단 노인의 인지 기능 측정 방법 및 시스템
KR102383793B1 (ko) * 2021-12-08 2022-04-11 주식회사 세븐포인트원 등록된 확장현실 기기 사용자의 집중도를 관리 및 제어하는 방법, 장치 및 시스템
US11995779B2 (en) 2021-12-08 2024-05-28 Sevenpointone Inc. Method, device, and system for managing and controlling concentration of user of registered extended reality device
KR102421879B1 (ko) * 2022-01-21 2022-07-19 주식회사 하이 시선 정보에 기초하여 치매를 식별하는 기법
US11957476B2 (en) 2022-01-21 2024-04-16 Haii Co, Ltd. Identifying a dementia based on gaze information of user performing task on a screen and gaze task score
WO2023204516A1 (ko) * 2022-04-18 2023-10-26 사회복지법인 삼성생명공익재단 시야 검사 장치 및 방법
KR102545747B1 (ko) * 2022-05-26 2023-06-21 주식회사 아이디어빈스 사용자의 주의력 정도 결정 방법 및 장치
KR102479598B1 (ko) * 2022-07-13 2022-12-21 주식회사 하이 시선 정보에 기초하여 경도 인지 장애를 식별하는 기법
KR102529344B1 (ko) * 2022-07-13 2023-05-09 주식회사 하이 시선 정보에 기초하여 경도 인지 장애를 식별하는 기법

Similar Documents

Publication Publication Date Title
KR102155309B1 (ko) 인지 장애 예측 방법 및 이를 구현한 서버, 사용자 단말 및 어플리케이션
US11961620B2 (en) Method and apparatus for determining health status
EP2829221B1 (en) Asperger's diagnosis assistance device
US11699529B2 (en) Systems and methods for diagnosing a stroke condition
CN111343927A (zh) 认知功能障碍诊断装置以及认知功能障碍诊断程序
EP3477589B1 (en) Method of processing medical image, and medical image processing apparatus performing the method
US20170188930A1 (en) Animation-based autism spectrum disorder assessment
US20200073476A1 (en) Systems and methods for determining defects in visual field of a user
CN106691476A (zh) 基于眼动特征的图像认知心理分析系统
Wang et al. Screening early children with autism spectrum disorder via response-to-name protocol
Beringer et al. Reliability and validity of machine vision for the assessment of facial expressions
US20170112373A1 (en) Visual acuity testing method and product
Saravanan et al. Convolutional Neural Networks-based Real-time Gaze Analysis with IoT Integration in User Experience Design
US20220218198A1 (en) Method and system for measuring pupillary light reflex with a mobile phone
CN112890815A (zh) 一种基于深度学习的孤独症辅助评估系统和方法
JP2022502789A (ja) 認知処置を最適化するための努力メトリックを導出するための認知プラットフォーム
Zhang et al. A human-in-the-loop deep learning paradigm for synergic visual evaluation in children
CN211862821U (zh) 一种基于深度学习的孤独症辅助评估系统
Krishnan et al. Gaze exploration index (GE i)-explainable detection model for glaucoma
JP2024512045A (ja) メンタルヘルスを診断および監視するための視覚システム
CN114420299A (zh) 基于眼动测试的认知功能筛查方法、系统、设备和介质
CN115813343A (zh) 儿童行为异常评估方法和系统
KR20220158957A (ko) 시선추적과 실시간 표정분석을 이용한 개인성향 예측 시스템 및 그 방법
KR20210128138A (ko) 정신 질환 검사 시스템 및 정신 질환 검사 방법
CN114863093B (zh) 基于眼动技术的神经网络训练方法及建筑设计方法和系统

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant