KR20210142921A - 안면 표정 인식을 이용한 기분장애 진단을 위한 정보 제공 방법 - Google Patents

안면 표정 인식을 이용한 기분장애 진단을 위한 정보 제공 방법 Download PDF

Info

Publication number
KR20210142921A
KR20210142921A KR1020200059695A KR20200059695A KR20210142921A KR 20210142921 A KR20210142921 A KR 20210142921A KR 1020200059695 A KR1020200059695 A KR 1020200059695A KR 20200059695 A KR20200059695 A KR 20200059695A KR 20210142921 A KR20210142921 A KR 20210142921A
Authority
KR
South Korea
Prior art keywords
patient
emotional state
mood
information
diagnosing
Prior art date
Application number
KR1020200059695A
Other languages
English (en)
Other versions
KR102429447B1 (ko
Inventor
이건석
조정기
송기민
Original Assignee
한양대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한양대학교 산학협력단 filed Critical 한양대학교 산학협력단
Priority to KR1020200059695A priority Critical patent/KR102429447B1/ko
Publication of KR20210142921A publication Critical patent/KR20210142921A/ko
Application granted granted Critical
Publication of KR102429447B1 publication Critical patent/KR102429447B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/7465—Arrangements for interactive communication between patient and care services, e.g. by using a telephone network
    • G06K9/00302—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Physics & Mathematics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Psychiatry (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physiology (AREA)
  • Educational Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Fuzzy Systems (AREA)
  • Evolutionary Computation (AREA)
  • Social Psychology (AREA)
  • Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • Signal Processing (AREA)
  • Developmental Disabilities (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Nursing (AREA)
  • Child & Adolescent Psychology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)

Abstract

일 실시예에 따른 기분장애 진단을 위한 정보 제공 방법은, 환자의 정서 상태 데이터를 이용하여 기분장애 진단을 위한 진단 모델을 학습시키는 단계; 환자의 기분장애 진단을 위한 서비스 실행을 위한 푸시를 통해 환자로부터 입력되는 안면 표정 데이터를 획득하는 단계; 상기 학습된 진단 모델에 상기 획득된 안면 표정 데이터를 입력하여 환자의 현재 정서 상태를 판단하는 단계; 및 상기 판단된 환자의 현재 감정 상태에 기초하여 환자의 기분장애를 진단하는 단계를 포함할 수 있다.

Description

안면 표정 인식을 이용한 기분장애 진단을 위한 정보 제공 방법{INFORMATION PROVISION METHOD FOR DIAGNOSING MOOD DISORDERS USING FACIAL EXPRESSION RECOGNITION}
아래의 설명은 정서 평가 기술에 관한 것으로, 양극성 장애 환자로부터 지속적인 얼굴표정 기록을 통해 정서 상태를 측정하고 일자별 종합하여 기분 상태의 확인, 기분삽화의 발생 또는 악화 여부에 대해 확인하는 방법 및 시스템에 관한 것이다.
양극성 장애는 서로 다른 극성의 우울과 조증 삽화가 경한 수준에서부터 심한 수준까지 다양한 형태와 빈도로 반복되어 나타나는 질환이다. 양극성 장애 환자들을 장기간 추적 관찰한 연구에 의하면 환자들은 전체 관찰기간의 절반 정도에서 기분 증상을 경험한다고 한다. 다양한 양극성 장애의 경과를 체계적이고 정확하게 파악하기 위해서는 기분 증상들을 연속적으로 평가하는 것이 중요하다.
환자의 기분 증상을 평가하기 위하여 흔히 사용되는 방법으로는 척도(설문지)를 이용한 평가방법이 있다. 하지만, 이러한 도구들은 환자의 상태 변화를 연속적으로 평가하기에는 적합하지 않다. 특히, 기분 변동이 수일 단위로 빠르게 진행되는 경우에는 이를 적절하게 반영하기 어렵다. 따라서, 기분 증상 평가도구의 한계를 보완하고 다양하게 변화하는 기분 증상을 잘 기록하고 평가하기 위한 목적으로 기분기록지가 도입되었다. 하지만, 이 역시 환자의 주관적 정서를 기록하는 방법으로 조증 상태에 있는 환자들은 동반된 기능장애를 없는 것으로 평가하는 경향이 있고, 일자별 기록에 따른 불편함, 주관적 지표의 결여 등이 제한점으로 제시되고 있다.
이에, 미세표정 분석을 이용하여 기분장애 증상의 평가, 이를 종합하여 기분장애의 정서상태 및 진단에까지 이를 수 있는 도구가 개발될 필요가 있다.
환자의 안면 표정 인식을 이용한 기분장애를 진단하는 방법 및 시스템을 제공할 수 있다.
기분장애 진단을 위한 정보 제공 방법은, 환자의 정서 상태 데이터를 이용하여 기분장애 진단을 위한 진단 모델을 학습시키는 단계; 환자의 기분장애 진단을 위한 서비스 실행을 위한 푸시를 통해 환자로부터 입력되는 안면 표정 데이터를 획득하는 단계; 상기 학습된 진단 모델에 상기 획득된 안면 표정 데이터를 입력하여 환자의 현재 정서 상태를 판단하는 단계; 및 상기 판단된 환자의 현재 감정 상태에 기초하여 환자의 기분장애를 진단하는 단계를 포함할 수 있다.
상기 획득하는 단계는, 상기 푸시에 설정된 주기마다 사용자로부터 입력된 환자의 안면 표정 데이터, 설문 정보, 수면 정보, 활동량 정보 또는, 현재의 기분 상태에 대응하는 이모티콘 정보를 포함하는 현재 감정 데이터를 획득하는 단계를 포함하고, 상기 현재 정서 상태를 판단하는 단계는, 상기 학습된 진단 모델에 상기 획득된 현재 감정 데이터를 입력하여 환자의 현재 정서 상태 정보를 기 설정된 단계의 정서 상태로 구분하는 단계를 포함할 수 있다.
상기 환자의 기분장애를 진단하는 단계는, 기 설정된 기간 동안의 판단된 현재 감정 상태에 기초하여 기분삽화 여부를 확인하고, 상기 진단된 기분삽화가 기 설정된 기간 이상 지속될 경우, 경고 메시지를 전달하고, 상기 전달된 경고 메시지를 통하여 진료를 권유하는 단계를 포함할 수 있다.
상기 환자의 기분장애를 진단하는 단계는, 상기 판단된 현재 감정 상태가 3일 이상 경조상태일 경우, 경조 삽화, 7일 이상 조증삽화 상태일 경우, 조증 삽화, 2주 이상 기분저하 상태일 경우, 우울 삽화로 진단하는 단계를 포함할 수 있다.
상기 학습시키는 단계는, 카메라를 이용하여 촬영된 안면 데이터로부터 환자의 안면 표정 데이터를 인식하고, 상기 인식된 환자의 안면 표정 데이터와 환자의 정서 상태에 대한 설문 정보를 포함하는 환자의 정서 상태 데이터를 이용하여 진단 모델을 학습시키는 단계를 포함할 수 있다.
전산화된 정서 기록을 통하여 양극성장애 재발을 방지하고 환자의 삶의 질을 향상시킬 수 있다.
스마트 기기를 이용한 정서 기록을 통하여 객관화된 정서 상태를 획득, 평가 및 치료 기술 향상에 기여할 수 있다.
도 1은 일 실시예에 따른 정보 제공 시스템에서 안면 표정 인식을 이용한 기분 삽화 확인을 위한 개괄적인 동작을 설명하기 위한 도면이다.
도 2는 일 실시예에 따른 정보 제공 시스템의 구성을 설명하기 위한 블록도이다.
도 3은 일 실시예에 따른 정보 제공 시스템에서 안면 표정 인식을 이용한 기분장애 진단을 위한 정보 제공 방법을 설명하기 위한 흐름도이다.
도 4는 일 실시예에 따른 정보 제공 시스템에서 환자의 안면 표정 데이터를 인식하는 것을 설명하기 위한 예이다.
도 5는 일 실시예에 따른 정보 제공 시스템에서 설명 정보를 제공하는 것을 설명하기 위한 예이다.
도 6은 일 실시예에 따른 정보 제공 시스템에서 이모티콘 정보를 선택하는 것을 설명하기 위한 예이다.
도 7은 일 실시예에 따른 정보 제공 시스템에서 기분장애를 진단한 것을 설명하기 위한 예이다.
이하, 실시예를 첨부한 도면을 참조하여 상세히 설명한다.
실시예에서는 환자(예를 들면, 양극성장애 환자, 정신질환 환자) 개별의 기본 정서 상태 정보를 먼저 학습해두고, 학습된 기본 정서 상태 정보에 기초하여 안면 표정 정보를 이용하여 환자 맞춤형 정서 상태(기분장애)를 판단하는 방법 및 시스템을 설명하기로 한다.
도 1은 일 실시예에 따른 정보 제공 시스템에서 안면 표정 인식을 이용한 기분 삽화 확인을 위한 개괄적인 동작을 설명하기 위한 도면이다.
정보 제공 시스템(100)은 전자 기기 내에서 기분장애 진단을 위한 플랫폼 형태로 동작되거나, 어플리케이션 형태로 동작될 수 있다. 예를 들면, 전자 기기는 컴퓨터 시스템으로 구현되는 고정형 단말이거나 이동형 단말일 수 있다. 전자 기기의 예를 들면, 스마트폰(smart phone), 휴대폰, 내비게이션, 컴퓨터, 노트북, 디지털방송용 단말, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 태블릿 PC, 게임 콘솔(game console), 웨어러블 디바이스(wearable device), IoT(internet of things) 디바이스, VR(virtual reality) 디바이스, AR(augmented reality) 디바이스 등이 있다.
정보 제공 시스템은 환자의 정서 상태 데이터를 이용하여 기분장애 진단을 위한 진단 모델을 학습시킬 수 있다. 예를 들면, 동일한 상황 또는 평소에 대하여 환자마다 각각 느끼는 감정 상태가 다를 수 있으며, 각 생활, 문화, 지형, 인종, 성별 등에 따라 동일한 감정일지라도 움직이는 각각의 안면 표정 데이터가 다를 수 있다. 정보 제공 시스템은 사전에 환자 개별의 기본 정서 상태 정보를 먼저 학습해놓을 수 있다. 예를 들면, 기 설정된 기간 동안(예를 들면, 1달)의 환자의 기본 정서 상태를 학습해놓을 수 있다. 기본 정서 상태 정보란, 환자의 평상시/보통의 정서 상태를 의미할 수 있다. 이에, 정보 제공 시스템은 정보 제공 시스템은 카메라를 이용하여 촬영된 안면 데이터로부터 환자의 안면 표정 데이터를 인식하고, 인식된 환자의 안면 표정 데이터와 환자의 정서 상태에 대한 설문 정보를 포함하는 환자의 정서 상태 데이터를 이용하여 진단 모델을 학습시킬 수 있다. 일례로, 정보 제공 시스템은 카메라를 이용하여 촬영된 안면 데이터로부터 안면 표정을 구성하는 적어도 하나 이상의 특징점을 추출할 수 있다. 예를 들면, 정보 제공 시스템을 안면 데이터로부터 안면 표정을 구성하는 눈, 코, 입, 미간, 눈썹을 포함하는 적어도 하나 이상의 특징점을 추출할 수 있고, 추출된 특징점들을 통해 진단 모델을 학습시킬 수 있다. 정보 제공 시스템은 안면 데이터로부터 환자의 기본 안면 표정을 인식할 수 있다. 또한, 정보 제공 시스템은 환자의 기본 상태 정보를 판단하기 위하여 정서 상태에 대한 설문 정보(기분기록지 포함)를 제공할 수 있다. 환자는 설문 정보에 응답함으로써 환자 정서의 주관적인 정보가 입력될 수 있다. 정보 제공 시스템은 설문 정보에 대한 응답을 진단 모델을 학습시킬 수 있다. 이때, 예를 들면, 진단 모델은 기 설정된 크기를 갖는 이미지(예를 들면, 안면 표정 데이터)를 입력으로 하고, 진단 결과를 출력으로 하는 컨볼루션 신경망 기반의 레이어로 구성될 수 있다. 이때, 진단 모델은 이미지 이외의 다른 복수의 데이터를 입력으로 받을 수 있다. 진단 모델은 하나 이상의 레이어에서 컨볼루션 연산자를 통해 특징을 추출하여 특징맵을 생성할 수 있다. 하나 이상의 레이어의 노드들은 네트워크로 연결될 수 있다. 진단 모델은 추출한 특징을 다른 레이어에 전달하고, 서브샘플링을 통해 추출한 특징을 통합하여 공간적 차원을 축소시키는 과정을 수행할 수 있다. 레이어는 파라미터를 포함할 수 있고, 레이어의 파라미터는 학습가능한 필터 집합을 포함할 수 있다. 파라미터는 노드 간의 가중치 및/또는 바이어스를 포함할 수 있다. 진단 모델은 복수의 파라미터를 학습하며, 일부 파라미터는 공유될 수 있고, 소프트맥스(Softmax) 함수 및 손실 함수를 포함할 수 있다. 이외에도, 진단 모델은 다양한 형태로 구성될 수 있다.
정보 제공 시스템(100)은 환자의 기분장애 진단을 위한 서비스 실행을 위한 푸시를 통해 환자로부터 입력되는 안면 표정 데이터를 획득할 수 있다. 정보 제공 시스템은 전자 기기에게 기분장애 진단을 위한 푸시를 발생시킬 수 있다. 이때, 정보 제공 시스템은 하루 동안에 기 설정 횟수만큼 기분장애 진단을 위한 사용자 정보를 획득하기 위하여 주기적으로 푸시를 발생시킬 수 있다. 예를 들면, 하루에 3번 주기적으로 기 설정된 시각에 푸시를 발생시킬 수 있다. 또한, 사용자가 푸시를 확인하여 기분장애 진단을 위한 서비스를 실행할 때까지 기 설정된 시간 동안 알림을 통보할 수도 있다. 환자는 전자 기기에 발생된 푸시를 통하여 기분장애 진단을 위한 서비스를 선택함에 따라 기분장애 진단 서비스가 실행시킬 수 있다. 또는, 정보 제공 시스템은 환자의 기분장애 진단을 위한 푸시를 발생시킴에 따라 자동으로 기분장애 진단을 위한 서비스를 실행시킬 수 있다. 이에, 환자는 기분장애 진단을 실시할 수 있다.
정보 제공 시스템(100)은 전자 기기를 통하여 촬영된 안면 데이터로부터 환자의 안면 표정 데이터를 획득할 수 있다. 구체적으로, 정보 제공 시스템(100)은 푸시에 설정된 주기마다 사용자로부터 입력된 환자의 안면 표정 데이터, 설문 정보, 수면 정보, 활동량 정보 또는, 현재의 기분 상태에 대응하는 이모티콘 정보를 포함하는 현재 감정 데이터를 획득할 수 있다. 도 4를 참고하면, 정보 제공 시스템(100)은 전자 기기의 카메라를 이용하여 촬영되는 환자의 안면 데이터를 획득할 수 있다. 정보 제공 시스템(100)은 안면 표정 정보를 취득하기 위하여 촬영된 환자의 안면 데이터로부터 얼굴 영역을 검출할 수 있고, 검출된 얼굴 영역의 안면 표정 데이터를 인식할 수 있다. 이때, 안면 데이터는 다양한 각도로 촬영된 것일 수 있으며, 안면 데이터의 일부 또는 전체가 포함될 수 있다. 또는, 정보 제공 시스템(100)은 카메라를 이용하여 얼굴 영역이 인식됨에 따라 환자의 안면 데이터의 촬영이 수행될 수 있고, 촬영이 수행된 안면 데이터로부터 안면 표정 데이터를 인식할 수 있다. 예를 들면, 정보 제공 시스템은 환자에게 '지금 당신의 기분을 잘 나타낼 수 있는 얼굴 표정을 지어주세요'와 같은 메시지를 제공할 수 있다. 이때, 카메라는 전면 카메라(셀프 카메라) 또는 후면 카메라를 포함하는 카메라 모드에 관계없이 촬영이 수행될 수 있다.
도 5를 참고하면, 정보 제공 시스템(100)은 환자의 현재 기분 상태를 질의하는 설문 정보를 제공할 수 있다. 사용자는 전자 기기에 제공된 설문 정보에 대한 응답 정보(답변)을 입력할 수 있다. 정보 제공 시스템은 환자 정서의 주관적 평가 정보를 입력받을 수 있다. 예를 들면, 설문 정보는 환자가 각 질문에 대하여 기 설정된 범위(예를 들면, 0부터 10 사이)의 점수를 입력할 수 있도록 구성될 수 있다.
도 6을 참고하면, 정보 제공 시스템(100)은 환자의 현재 기분 상태를 나타내는 이모티콘을 선택하도록 적어도 하나 이상의 기분을 나타내는 이모티콘 정보를 제공할 수 있다. 환자는 환자의 현재 기분 상태를 나타내는 이모티콘을 선택할 수 있다. 예를 들면, 이모티콘 정보를 각 감정에 대하여 9개의 이모티콘을 포함할 수 있다. 또한, 정보 제공 시스템은 전자 기기의 움직임 및 앱 사용 빈도 등을 통하여 환자의 활동량 데이터를 획득할 수 있다. 또한, 정보 제공 시스템은 수면의 질을 자가 보고식으로 평가하도록 할 수 있다. 예를 들면, 환자는 환자의 수면의 질을 1점(잘 못잠) 내지 10점(잘 잠) 사이의 점수를 매길 수 있다.
정보 제공 시스템(100)은 학습된 진단 모델에 획득된 현재 감정 데이터에 입력하여 환자의 현재 정서 상태 정보를 분석할 수 있다. 정보 제공 시스템(100)은 학습된 진단 모델에 획득된 현재 감정 데이터에 입력하여 환자의 현재 정서 상태 정보를 기 설정된 단계의 정서 상태로 구분할 수 있다. 정보 제공 시스템(100)은 학습된 진단 모델에 안면 표정 데이터, 설문 정보, 수면 정보, 활동량 정보 또는, 현재의 기분 상태에 대응하는 이모티콘 정보를 입력할 수 있고, 학습된 진단 모델의 학습 결과로서 환자의 현재 정서 상태를 출력할 수 있다. 예를 들면, 정보제공 시스템은 환자의 현재 정서 상태 정보를 조증, 경조, 기본, 기분저하, 우울 등의 5단계의 정서 상태로 분류할 수 있다. 정보 제공 시스템(100)은 환자 개별의 기본 정서 상태를 기준으로 환자의 현재 정서 상태 정보를 판단할 수 있다. 또는, 정보 제공 시스템은 기존의 여러 환자들을 통해 표준화된 얼굴 표정 정보를 추가적으로 이용할 수도 있다. 예를 들면, 전자 기기를 통하여 환자의 안면 데이터를 촬영함에 따라 환자의 안면 표정 데이터가 인식될 수 있다. 마찬가지로, 안면 데이터로부터 특징점을 추출하여 학습된 진단 모델에 입력함으로써 환자의 안면 표정 데이터가 인식될 수 있다. 정보 제공 시스템(100)은 특징점의 변화에 따라 표정 정보를 인식할 수 있다. 예를 들면, 정보 제공 시스템(100)은 행복, 혐오, 분노, 슬픔, 놀람, 공포를 포함하는 6가지 표정 정보를 인식할 수 있다. 정보 제공 시스템(100)은 진단 모델을 통하여 획득된 학습 결과에 기초하여 환자의 현재 정서 상태를 판단할 수 있다. 정보 제공 시스템(100)은 감정 데이터의 변화를 통해 현재 정서 상태를 판단할 수 있다.
정보 제공 시스템(100)은 판단된 환자의 현재 감정 상태에 기초하여 환자의 기분장애를 진단할 수 있다. 이때, 기분 장애란 지나치게 저조하거나 고양된 기분 상태가 지속되어 현실생활의 적응에 심각한 어려움을 겪는 정신장애를 의미한다. 뇌의 기분을 조절하는 부위에 이상이 생겨 발생하는 증상이다. 우울증, 경조증, 조증, 혼재성 조증, 주요우울장애, 기분부전장애, 미분류형 우울장애, 제1형 양극성 장애, 제2형 양극성 장애, 순환성 장애 등이 이에 속하며, 기분상태에 따라 크게 우울증, 조증, 혼재성 조증 등으로 나눌 수 있다. 정보 제공 시스템(100)은 분석된 현재 감정 상태를 종합하여 기분삽화 여부를 확인할 수 있다. 도 7을 참고하면, 기분장애를 진단한 예이다. 정보 제공 시스템(100)은 기 설정된 기간 동안의 판단된 현재 감정 상태에 기초하여 기분삽화 여부를 확인하고, 진단된 기분삽화가 기 설정된 기간 이상 지속될 경우, 경고 메시지를 전달하고, 전달된 경고 메시지를 통하여 진료를 권유할 수 있다. 정보 제공 시스템(100)은 하루 종일 일치된 정서 상태를 기준으로 기분산화 여부를 확인할 수 있다. 정보 제공 시스템(100)은 판단된 현재 감정 상태가 3일 이상 경조상태일 경우, 경조 삽화, 7일 이상 조증삽화 상태일 경우, 조증 삽화, 2주 이상 기분저하 상태일 경우, 우울 삽화로 진단할 수 있다. 정보 제공 시스템은 외래 통원기간 중 병원을 내원하지 않은 기간 동안 기분장애 진단을 위한 평가를 수행할 수 있다. 정보 제공 시스템은 환자의 현재 감정 상태 상 기분삽화에 해당되고 수면의 변화(증가 또는 감소)가 보고될 경우, 병원 진료를 권고할 수 있다. 예를 들면, 정보 제공 시스템은 경고 메시지에 환자의 담당 의사 또는 의료 기관에 연락할 수 있는 기능을 제공할 수 있다. 환자는 경고 메시지에 표시된 담당 의사 또는 의료 기관을 선택할 수 있고, 선택된 담당 의사 또는 의료 기관에 연락이 연결될 수 있다. 또한, 연락이 연결됨에 따라 담당 의사 또는 의료 기관으로 축적된 환자 데이터가 전달될 수 있다. 정보 제공 시스템(100)은 안면 표정 인식의 기록을 통해 정서 상태를 측정하고 일자별 종합하여 기분 상태의 확인, 기분삽화의 발생 또는 악화 여부를 진단 정보로 제공할 수 있다.
도 2는 일 실시예에 따른 정보 제공 시스템의 구성을 설명하기 위한 블록도이고, 도 3은 일 실시예에 따른 정보 제공 시스템에서 안면 표정 인식을 이용한 기분장애 진단을 위한 정보 제공 방법을 설명하기 위한 흐름도이다.
정보 제공 시스템(100)의 프로세서는 모델 학습부(210), 표정 획득부(220), 정서 상태 판단부(230) 및 기분장애 진단부(240)를 포함할 수 있다. 이러한 프로세서의 구성요소들은 전자 기기에 저장된 프로그램 코드가 제공하는 제어 명령에 따라 프로세서에 의해 수행되는 서로 다른 기능들(different functions)의 표현들일 수 있다. 프로세서 및 프로세서의 구성요소들은 도 3의 안면 표정 인식을 이용한 기분장애 진단을 위한 정보 제공 방법이 포함하는 단계들(310 내지 340)을 수행하도록 정보 제공 시스템을 제어할 수 있다. 이때, 프로세서 및 프로세서의 구성요소들은 메모리가 포함하는 운영체제의 코드와 적어도 하나의 프로그램의 코드에 따른 명령(instruction)을 실행하도록 구현될 수 있다.
프로세서는 안면 표정 인식을 이용한 기분장애 진단을 위한 정보 제공 방법을 위한 프로그램의 파일에 저장된 프로그램 코드를 메모리에 로딩할 수 있다. 예를 들면, 정보 제공 시스템에서 프로그램이 실행되면, 프로세서는 운영체제의 제어에 따라 프로그램의 파일로부터 프로그램 코드를 메모리에 로딩하도록 정보 제공 시스템을 제어할 수 있다. 이때, 프로세서 및 프로세서가 포함하는 모델 학습부(210), 표정 획득부(220), 정서 상태 판단부(230) 및 기분장애 진단부(240) 각각은 메모리에 로딩된 프로그램 코드 중 대응하는 부분의 명령을 실행하여 이후 단계들(310 내지 340)을 실행하기 위한 프로세서의 서로 다른 기능적 표현들일 수 있다.
단계(310)에서 모델 학습부(210)는 환자의 정서 상태 데이터를 이용하여 기분장애 진단을 위한 진단 모델을 학습시킬 수 있다. 모델 학습부(210)는 카메라를 이용하여 촬영된 안면 데이터로부터 환자의 안면 표정 데이터를 인식하고, 인식된 환자의 안면 표정 데이터와 환자의 정서 상태에 대한 설문 정보를 포함하는 환자의 정서 상태 데이터를 이용하여 진단 모델을 학습시킬 수 있다.
단계(320)에서 표정 획득부(220)는 환자의 기분장애 진단을 위한 서비스 실행을 위한 푸시를 통해 환자로부터 입력되는 안면 표정 데이터를 획득할 수 있다. 표정 획득부(220)는 푸시에 설정된 주기마다 사용자로부터 입력된 환자의 안면 표정 데이터, 설문 정보, 수면 정보, 활동량 정보 또는, 현재의 기분 상태에 대응하는 이모티콘 정보를 포함하는 현재 감정 데이터를 획득할 수 있다.
단계(330)에서 정서 상태 판단부(230)는 학습된 진단 모델에 획득된 안면 표정 데이터를 입력하여 환자의 현재 정서 상태를 판단할 수 있다. 정서 상태 판단부(230)는 학습된 진단 모델에 상기 획득된 현재 감정 데이터를 입력하여 환자의 현재 정서 상태 정보를 기 설정된 단계의 정서 상태로 구분할 수 있다.
단계(340)에서 기분장애 진단부(240)는 판단된 환자의 현재 감정 상태에 기초하여 환자의 기분장애를 진단할 수 있다. 기분장애 진단부(240)는 기 설정된 기간 동안의 판단된 현재 감정 상태에 기초하여 기분삽화 여부를 확인하고, 진단된 기분삽화가 기 설정된 기간 이상 지속될 경우, 경고 메시지를 전달하고, 전달된 경고 메시지를 통하여 진료를 권유할 수 있다. 기분장애 진단부(240)는 판단된 현재 감정 상태가 3일 이상 경조상태일 경우, 경조 삽화, 7일 이상 조증삽화 상태일 경우, 조증 삽화, 2주 이상 기분저하 상태일 경우, 우울 삽화로 진단할 수 있다.
일 실시예에 따른 정보 제공 시스템은 카메라를 이용하여 획득된 얼굴 표정의 분석을 통한 정서상태를 확인함으로써 객관적으로 환자의 상태를 판단할 수 있다.
일 실시예에 따른 정보 제공 시스템은 머신러닝을 이용하여 개별 환자의 정서 상태를 먼저 학습해두고, 학습 데이터와 안면 표정 데이터를 이용하여 환자 맞춤형 정서상태 및 진단을 실시간으로 수행할 수 있다.
일 실시예에 따른 정보 제공 시스템은 환자의 기본 정서 상태를 학습한 정보와 셀프카메라를 이용하여 획득된 안면 표정 데이터를 이용하여 정서 상태를 판단하여 정서 판단 기준의 객관성을 확보할 수 있다.
일 실시예에 따른 정보 제공 시스템은 영상 정보 외에 질문에 대한 답변 정보를 고려하여 기분장애의 정서상태 및 진단의 정확도를 향상시킬 수 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치에 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (5)

  1. 기분장애 진단을 위한 정보 제공 방법에 있어서,
    환자의 정서 상태 데이터를 이용하여 기분장애 진단을 위한 진단 모델을 학습시키는 단계;
    환자의 기분장애 진단을 위한 서비스 실행을 위한 푸시를 통해 환자로부터 입력되는 안면 표정 데이터를 획득하는 단계;
    상기 학습된 진단 모델에 상기 획득된 안면 표정 데이터를 입력하여 환자의 현재 정서 상태를 판단하는 단계; 및
    상기 판단된 환자의 현재 감정 상태에 기초하여 환자의 기분장애를 진단하는 단계
    를 포함하는 정보 제공 방법.
  2. 제1항에 있어서,
    상기 획득하는 단계는,
    상기 푸시에 설정된 주기마다 사용자로부터 입력된 환자의 안면 표정 데이터, 설문 정보, 수면 정보, 활동량 정보 또는, 현재의 기분 상태에 대응하는 이모티콘 정보를 포함하는 현재 감정 데이터를 획득하는 단계
    를 포함하고,
    상기 현재 정서 상태를 판단하는 단계는,
    상기 학습된 진단 모델에 상기 획득된 현재 감정 데이터를 입력하여 환자의 현재 정서 상태 정보를 기 설정된 단계의 정서 상태로 구분하는 단계
    를 포함하는 정보 제공 방법.
  3. 제1항에 있어서,
    상기 환자의 기분장애를 진단하는 단계는,
    기 설정된 기간 동안의 판단된 현재 감정 상태에 기초하여 기분삽화 여부를 확인하고, 상기 진단된 기분삽화가 기 설정된 기간 이상 지속될 경우, 경고 메시지를 전달하고, 상기 전달된 경고 메시지를 통하여 진료를 권유하는 단계
    를 포함하는 정보 제공 방법.
  4. 제3항에 있어서,
    상기 환자의 기분장애를 진단하는 단계는,
    상기 판단된 현재 감정 상태가 3일 이상 경조상태일 경우, 경조 삽화, 7일 이상 조증삽화 상태일 경우, 조증 삽화, 2주 이상 기분저하 상태일 경우, 우울 삽화로 진단하는 단계
    를 포함하는 정보 제공 방법.
  5. 제1항에 있어서,
    상기 학습시키는 단계는,
    카메라를 이용하여 촬영된 안면 데이터로부터 환자의 안면 표정 데이터를 인식하고, 상기 인식된 환자의 안면 표정 데이터와 환자의 정서 상태에 대한 설문 정보를 포함하는 환자의 정서 상태 데이터를 이용하여 진단 모델을 학습시키는 단계
    를 포함하는 정보 제공 방법.
KR1020200059695A 2020-05-19 2020-05-19 안면 표정 인식을 이용한 기분장애 진단을 위한 정보 제공 시스템 KR102429447B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200059695A KR102429447B1 (ko) 2020-05-19 2020-05-19 안면 표정 인식을 이용한 기분장애 진단을 위한 정보 제공 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200059695A KR102429447B1 (ko) 2020-05-19 2020-05-19 안면 표정 인식을 이용한 기분장애 진단을 위한 정보 제공 시스템

Publications (2)

Publication Number Publication Date
KR20210142921A true KR20210142921A (ko) 2021-11-26
KR102429447B1 KR102429447B1 (ko) 2022-08-04

Family

ID=78700280

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200059695A KR102429447B1 (ko) 2020-05-19 2020-05-19 안면 표정 인식을 이용한 기분장애 진단을 위한 정보 제공 시스템

Country Status (1)

Country Link
KR (1) KR102429447B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102485600B1 (ko) * 2022-06-24 2023-01-10 주식회사 엘젠 인공지능을 통한 우울증 관리 시스템

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160092011A (ko) * 2013-12-05 2016-08-03 피에스티 가부시키가이샤 추정장치, 프로그램, 추정방법 및 추정시스템
KR20170006312A (ko) * 2015-07-07 2017-01-18 재단법인대구경북과학기술원 건강 상태 추론 장치 및 방법
KR20180115389A (ko) * 2017-04-12 2018-10-23 중앙대학교 산학협력단 게임 분석 요소를 활용한 중증 정신 장애 진단 장치 및 방법
KR20200005986A (ko) * 2018-07-09 2020-01-17 주식회사 두브레인 얼굴인식을 이용한 인지장애 진단 시스템 및 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160092011A (ko) * 2013-12-05 2016-08-03 피에스티 가부시키가이샤 추정장치, 프로그램, 추정방법 및 추정시스템
KR20170006312A (ko) * 2015-07-07 2017-01-18 재단법인대구경북과학기술원 건강 상태 추론 장치 및 방법
KR20180115389A (ko) * 2017-04-12 2018-10-23 중앙대학교 산학협력단 게임 분석 요소를 활용한 중증 정신 장애 진단 장치 및 방법
KR20200005986A (ko) * 2018-07-09 2020-01-17 주식회사 두브레인 얼굴인식을 이용한 인지장애 진단 시스템 및 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102485600B1 (ko) * 2022-06-24 2023-01-10 주식회사 엘젠 인공지능을 통한 우울증 관리 시스템

Also Published As

Publication number Publication date
KR102429447B1 (ko) 2022-08-04

Similar Documents

Publication Publication Date Title
EP3787481B1 (en) Machine learning-based diagnostic classifier
US10039485B2 (en) Method and system for assessing mental state
US9861308B2 (en) Method and system for monitoring stress conditions
KR20200005986A (ko) 얼굴인식을 이용한 인지장애 진단 시스템 및 방법
CA3193776A1 (en) Systems and methods for machine-learning-assisted cognitive evaluation and treatment
KR102533467B1 (ko) 음성활동 평가를 이용한 기분삽화(우울삽화, 조증삽화) 조기 진단을 위한 정보 제공 방법
Herbig et al. Multi-modal indicators for estimating perceived cognitive load in post-editing of machine translation
CN115607156B (zh) 基于多模态的心理认知筛查测评方法、系统及存储介质
WO2020027213A1 (ja) 認知症リスクの提示システムおよび方法
KR102429447B1 (ko) 안면 표정 인식을 이용한 기분장애 진단을 위한 정보 제공 시스템
Park et al. Automated rating of patient and physician emotion in primary care visits
Verma et al. Artificial Intelligence Enabled Disease Prediction System in Healthcare Industry
Patnaik Intelligent Decision Support System in Healthcare using Machine Learning Models
Sourkatti et al. Investigation of different ML approaches in classification of emotions induced by acute stress
Tareen et al. The Future of Emergency Room Assistance
US12002590B2 (en) Machine learning-based diagnostic classifier
Kumar et al. Automatic Grading System of Parkinson's Disease using Smart App for Remote Monitoring System
US20230268080A1 (en) Analysis system and method for causal inference of digital therapeutics based on mobile data
Monteiro et al. A cognitive approach to digital health based on deep learning focused on classification and recognition of white blood cells
Faiem et al. Assessment of Parkinson’s Disease Severity Using Gait Data: A Deep Learning-Based Multimodal Approach
Ahuja et al. Machine learning algorithms for detection of visuomotor neural control differences in individuals with PASC and ME
BABU et al. AN EFFCIET FORCASTING MENTAL HEALTH CONDITION USING MACHINE LEARNING
KR20230007124A (ko) 치주질환 진단을 위한 보조지표를 제공하는 방법 및 시스템
Liu et al. Improving Mental Health Support in Engineering Education using Machine Learning and Eye-Tracking
Mitsou Multimodal Workplace Monitoring for Work-Related Fatigue Recognition

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant