KR102429447B1 - Information provision method for diagnosing mood disorders using facial expression recognition - Google Patents

Information provision method for diagnosing mood disorders using facial expression recognition Download PDF

Info

Publication number
KR102429447B1
KR102429447B1 KR1020200059695A KR20200059695A KR102429447B1 KR 102429447 B1 KR102429447 B1 KR 102429447B1 KR 1020200059695 A KR1020200059695 A KR 1020200059695A KR 20200059695 A KR20200059695 A KR 20200059695A KR 102429447 B1 KR102429447 B1 KR 102429447B1
Authority
KR
South Korea
Prior art keywords
patient
mood
emotional state
data
diagnosing
Prior art date
Application number
KR1020200059695A
Other languages
Korean (ko)
Other versions
KR20210142921A (en
Inventor
이건석
조정기
송기민
Original Assignee
한양대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한양대학교 산학협력단 filed Critical 한양대학교 산학협력단
Priority to KR1020200059695A priority Critical patent/KR102429447B1/en
Publication of KR20210142921A publication Critical patent/KR20210142921A/en
Application granted granted Critical
Publication of KR102429447B1 publication Critical patent/KR102429447B1/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/7465—Arrangements for interactive communication between patient and care services, e.g. by using a telephone network
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Physics & Mathematics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Psychiatry (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physiology (AREA)
  • Educational Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Fuzzy Systems (AREA)
  • Evolutionary Computation (AREA)
  • Social Psychology (AREA)
  • Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • Signal Processing (AREA)
  • Developmental Disabilities (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Nursing (AREA)
  • Child & Adolescent Psychology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)

Abstract

일 실시예에 따른 기분장애 진단을 위한 정보 제공 시스템은, 메모리에 포함된 컴퓨터 판독가능한 명령들을 실행하도록 구성된 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는, 환자 개별의 정서 상태 데이터를 이용하여 기분장애 진단을 위한 머신러닝 기반의 진단 모델을 학습하는 모델 학습부; 환자의 기분장애 진단을 위한 서비스 실행을 위한 푸시를 통해 상기 푸시에 설정된 주기마다 환자로부터 입력되는 안면 데이터를 획득하는 표정 획득부; 상기 학습된 기분장애 진단을 위한 머신러닝 기반의 진단 모델에 상기 획득된 안면 데이터를 입력하여 안면 표정 데이터를 인식하고, 상기 인식된 안면 표정 데이터의 변화를 통해 환자의 현재 정서 상태를 판단하는 정서 상태 판단부; 및 상기 판단된 환자의 현재 감정 상태에 기초하여 기 설정된 기간 동안 확인된 기분삽화에 따라 환자의 기분장애를 진단하고, 상기 진단된 환자의 기분장애와 관련된 진단 결과를 출력하는 기분장애 진단부를 포함하고, 상기 기분장애 진단을 위한 머신러닝 기반의 진단 모델은, 기분장애 진단을 위해 구성된 컨볼루션 신경망의 하나 이상의 레이어에서 컨볼루션 연산자를 통해 안면 데이터로부터 안면 표정을 구성하는 눈, 코, 입, 미간, 눈썹을 포함하는 적어도 하나 이상의 특징점을 추출하고, 상기 하나 이상의 레이어에서 추출된 특징점을 다른 레이어로 전달하고 서브샘플링을 통해 상기 추출된 특징점을 통합하여 공간적 차원을 축소시키는 과정을 수행하는 것이고, 상기 모델 학습부는, 카메라를 이용하여 촬영된 안면 데이터를 이용하여 상기 기분장애 진단을 위한 머신러닝 기반의 진단 모델을 학습시키는 것을 포함하고, 상기 정서 상태 판단부는, 상기 획득된 안면 데이터로부터 행복, 혐오, 슬픔, 놀람, 공포를 포함하는 안면 표정 데이터를 인식하고, 상기 인식된 안면 표정 데이터의 변화를 통해 환자의 현재 정서 상태를 조증, 경조, 기본, 기분저하, 우울을 포함하는 기 설정된 단계의 정서 상태로 분류하는 것을 포함하고, 상기 기분장애 진단부는, 상기 판단된 현재 감정 상태가 3일 이상 경조상태일 경우, 경조 삽화, 7일 이상 조증삽화 상태일 경우, 조증 삽화, 2주 이상 기분저하 상태일 경우, 우울 삽화로 진단하는 것을 포함할 수 있다. An information providing system for diagnosing a mood disorder according to an embodiment includes at least one processor configured to execute computer readable instructions included in a memory, wherein the at least one processor uses individual emotional state data of a patient a model learning unit for learning a machine learning-based diagnostic model for diagnosing mood disorders; a facial expression acquisition unit for acquiring facial data inputted from a patient at every cycle set in the push through a push for service execution for diagnosing a patient's mood disorder; Emotional state for recognizing facial expression data by inputting the acquired facial data to a machine learning-based diagnostic model for diagnosing the learned mood disorder, and determining the patient's current emotional state through changes in the recognized facial expression data judging unit; and a mood disorder diagnosis unit for diagnosing a patient's mood disorder according to a mood episode identified for a preset period based on the determined current emotional state of the patient, and outputting a diagnostic result related to the diagnosed patient's mood disorder, , The machine learning-based diagnostic model for diagnosing mood disorders includes eyes, nose, mouth, forehead, Extracting at least one feature point including the eyebrow, transferring the feature point extracted from the one or more layers to another layer, and performing a process of reducing the spatial dimension by integrating the extracted feature point through subsampling, the model The learning unit includes learning a machine learning-based diagnostic model for diagnosing the mood disorder using facial data photographed using a camera, and the emotional state determining unit includes happiness, disgust, and sadness from the acquired facial data. Recognizes facial expression data including , surprise, and fear, and through the change of the recognized facial expression data, the patient's current emotional state is converted to an emotional state of a preset stage including manic, hypojoic, basic, depressed mood, and depression. Including classifying, the mood disorder diagnosis unit, when the determined current emotional state is in a high mood for 3 days or longer , a diagnosis of a depressive episode.

Description

안면 표정 인식을 이용한 기분장애 진단을 위한 정보 제공 시스템{INFORMATION PROVISION METHOD FOR DIAGNOSING MOOD DISORDERS USING FACIAL EXPRESSION RECOGNITION}Information provision system for diagnosing mood disorders using facial expression recognition

아래의 설명은 정서 평가 기술에 관한 것으로, 양극성 장애 환자로부터 지속적인 얼굴표정 기록을 통해 정서 상태를 측정하고 일자별 종합하여 기분 상태의 확인, 기분삽화의 발생 또는 악화 여부에 대해 확인하는 방법 및 시스템에 관한 것이다. The description below relates to the emotion evaluation technology. It is a method and system for measuring the emotional state through continuous facial expression recording from a bipolar disorder patient and synthesizing it by date to confirm the mood state and whether a mood episode occurs or worsens. will be.

양극성 장애는 서로 다른 극성의 우울과 조증 삽화가 경한 수준에서부터 심한 수준까지 다양한 형태와 빈도로 반복되어 나타나는 질환이다. 양극성 장애 환자들을 장기간 추적 관찰한 연구에 의하면 환자들은 전체 관찰기간의 절반 정도에서 기분 증상을 경험한다고 한다. 다양한 양극성 장애의 경과를 체계적이고 정확하게 파악하기 위해서는 기분 증상들을 연속적으로 평가하는 것이 중요하다.Bipolar disorder is a disorder in which depressive and manic episodes of different polarities recur in various forms and frequencies ranging from mild to severe. Long-term follow-up studies of patients with bipolar disorder have shown that patients experience mood symptoms about half of the observation period. In order to systematically and accurately grasp the course of various bipolar disorders, it is important to continuously evaluate mood symptoms.

환자의 기분 증상을 평가하기 위하여 흔히 사용되는 방법으로는 척도(설문지)를 이용한 평가방법이 있다. 하지만, 이러한 도구들은 환자의 상태 변화를 연속적으로 평가하기에는 적합하지 않다. 특히, 기분 변동이 수일 단위로 빠르게 진행되는 경우에는 이를 적절하게 반영하기 어렵다. 따라서, 기분 증상 평가도구의 한계를 보완하고 다양하게 변화하는 기분 증상을 잘 기록하고 평가하기 위한 목적으로 기분기록지가 도입되었다. 하지만, 이 역시 환자의 주관적 정서를 기록하는 방법으로 조증 상태에 있는 환자들은 동반된 기능장애를 없는 것으로 평가하는 경향이 있고, 일자별 기록에 따른 불편함, 주관적 지표의 결여 등이 제한점으로 제시되고 있다.A commonly used method to evaluate a patient's mood symptoms is an evaluation method using a scale (questionnaire). However, these tools are not suitable for continuously evaluating changes in a patient's condition. In particular, it is difficult to properly reflect mood fluctuations that occur rapidly in units of several days. Therefore, the mood recording paper was introduced to complement the limitations of the mood symptom evaluation tool and to record and evaluate various mood symptoms well. However, this is also a method of recording the patient's subjective emotions, and patients in a manic state tend to evaluate the accompanying functional disorder as not having any accompanying dysfunction, and inconvenience and lack of subjective indicators are suggested as limitations. .

이에, 미세표정 분석을 이용하여 기분장애 증상의 평가, 이를 종합하여 기분장애의 정서상태 및 진단에까지 이를 수 있는 도구가 개발될 필요가 있다. Therefore, there is a need to develop a tool that can evaluate mood disorder symptoms using micro-expression analysis, synthesize them, and lead to emotional state and diagnosis of mood disorder.

한국공개특허 10-2016-0024725, 한국 등록특허 10-1728635Korean Patent Laid-Open Patent No. 10-2016-0024725, Korean Patent Registration 10-1728635

환자의 안면 표정 인식을 이용한 기분장애를 진단하는 방법 및 시스템을 제공할 수 있다. A method and system for diagnosing a mood disorder using a patient's facial expression recognition may be provided.

기분장애 진단을 위한 정보 제공 시스템은, 메모리에 포함된 컴퓨터 판독가능한 명령들을 실행하도록 구성된 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는, 환자 개별의 정서 상태 데이터를 이용하여 기분장애 진단을 위한 머신러닝 기반의 진단 모델을 학습하는 모델 학습부; 환자의 기분장애 진단을 위한 서비스 실행을 위한 푸시를 통해 상기 푸시에 설정된 주기마다 환자로부터 입력되는 안면 데이터를 획득하는 표정 획득부; 상기 학습된 기분장애 진단을 위한 머신러닝 기반의 진단 모델에 상기 획득된 안면 데이터를 입력하여 안면 표정 데이터를 인식하고, 상기 인식된 안면 표정 데이터의 변화를 통해 환자의 현재 정서 상태를 판단하는 정서 상태 판단부; 및 상기 판단된 환자의 현재 감정 상태에 기초하여 기 설정된 기간 동안 확인된 기분삽화에 따라 환자의 기분장애를 진단하고, 상기 진단된 환자의 기분장애와 관련된 진단 결과를 출력하는 기분장애 진단부를 포함하고, 상기 기분장애 진단을 위한 머신러닝 기반의 진단 모델은, 기분장애 진단을 위해 구성된 컨볼루션 신경망의 하나 이상의 레이어에서 컨볼루션 연산자를 통해 안면 데이터로부터 안면 표정을 구성하는 눈, 코, 입, 미간, 눈썹을 포함하는 적어도 하나 이상의 특징점을 추출하고, 상기 하나 이상의 레이어에서 추출된 특징점을 다른 레이어로 전달하고 서브샘플링을 통해 상기 추출된 특징점을 통합하여 공간적 차원을 축소시키는 과정을 수행하는 것이고, 상기 모델 학습부는, 카메라를 이용하여 촬영된 안면 데이터를 이용하여 상기 기분장애 진단을 위한 머신러닝 기반의 진단 모델을 학습시키는 것을 포함하고, 상기 정서 상태 판단부는, 상기 획득된 안면 데이터로부터 행복, 혐오, 슬픔, 놀람, 공포를 포함하는 안면 표정 데이터를 인식하고, 상기 인식된 안면 표정 데이터의 변화를 통해 환자의 현재 정서 상태를 조증, 경조, 기본, 기분저하, 우울을 포함하는 기 설정된 단계의 정서 상태로 분류하는 것을 포함하고, 상기 기분장애 진단부는, 상기 판단된 현재 감정 상태가 3일 이상 경조상태일 경우, 경조 삽화, 7일 이상 조증삽화 상태일 경우, 조증 삽화, 2주 이상 기분저하 상태일 경우, 우울 삽화로 진단하는 것을 포함할 수 있다.
상기 표정 획득부는, 사용자로부터 입력된 환자의 안면 데이터, 설문 정보, 수면 정보, 활동량 정보 또는, 현재의 기분 상태에 대응하는 이모티콘 정보를 포함하는 현재 감정 데이터를 획득할 수 있다.
상기 기분장애 진단부는, 기 설정된 기간 동안의 판단된 현재 감정 상태에 기초하여 기분삽화를 확인하고, 상기 확인된 기분삽화가 기 설정된 기간 이상 지속될 경우, 진단된 환자의 기분장애와 관련된 경고 메시지를 전달하고, 상기 전달된 경고 메시지를 통하여 진료를 권유할 수 있다.
상기 기분장애 진단을 위한 머신러닝 기반의 진단 모델은, 카메라를 이용하여 촬영된 안면 데이터와 환자의 정서 상태에 대한 설문 정보의 응답을 포함하는 환자의 정서 상태 데이터를 컨볼루션 신경망에 입력받고, 상기 컨볼루션 신경망을 통해 상기 입력받은 환자의 안면 데이터와 환자의 정서 상태에 대한 설문 정보의 응답을 포함하는 정서 상태 데이터로부터 기분장애를 진단하도록 학습될 수 있다.An information providing system for diagnosing a mood disorder includes at least one processor configured to execute computer readable instructions included in a memory, wherein the at least one processor performs the diagnosis of a mood disorder using individual emotional state data of a patient a model learning unit for learning a machine learning-based diagnostic model for a facial expression acquisition unit for acquiring facial data inputted from a patient at intervals set in the push through a push for service execution for diagnosing a patient's mood disorder; An emotional state for recognizing facial expression data by inputting the acquired facial data into a machine learning-based diagnostic model for diagnosing the learned mood disorder, and determining the patient's current emotional state through changes in the recognized facial expression data judging unit; and a mood disorder diagnosis unit for diagnosing a patient's mood disorder according to a mood episode identified for a preset period based on the determined current emotional state of the patient, and outputting a diagnostic result related to the diagnosed patient's mood disorder, , The machine learning-based diagnostic model for diagnosing mood disorders includes eyes, nose, mouth, forehead, Extracting at least one feature point including the eyebrow, transferring the feature point extracted from the one or more layers to another layer, and performing a process of reducing the spatial dimension by integrating the extracted feature point through subsampling, the model The learning unit includes learning a machine learning-based diagnostic model for diagnosing the mood disorder using facial data photographed using a camera, and the emotional state determining unit includes happiness, disgust, and sadness from the acquired facial data. Recognizes facial expression data including , surprise, and fear, and through the change of the recognized facial expression data, the patient's current emotional state is converted to an emotional state of a preset stage including mania, hypochondria, basic, depressed mood, and depression. Including classifying, the mood disorder diagnosis unit, when the determined current emotional state is in a hypomanic state for 3 days or more, a high manic episode, a manic episode state for 7 days or more, a manic episode, a depressed mood for 2 weeks or more , a diagnosis of a depressive episode.
The facial expression acquisition unit may acquire current emotional data including facial data, questionnaire information, sleep information, activity amount information, or emoticon information corresponding to a current mood state of the patient input from the user.
The mood disorder diagnosis unit checks a mood episode based on the determined current emotional state for a preset period, and when the confirmed mood episode continues for more than a preset period, delivers a warning message related to the diagnosed patient's mood disorder, , it is possible to recommend treatment through the delivered warning message.
The machine learning-based diagnostic model for diagnosing mood disorders receives facial data photographed using a camera and patient emotional state data including responses to questionnaire information about the patient's emotional state into a convolutional neural network, It can be learned to diagnose a mood disorder from the emotional state data including the facial data of the patient and the response of questionnaire information about the patient's emotional state through the convolutional neural network.

삭제delete

삭제delete

삭제delete

삭제delete

전산화된 정서 기록을 통하여 양극성장애 재발을 방지하고 환자의 삶의 질을 향상시킬 수 있다. Computerized emotional recording can prevent recurrence of bipolar disorder and improve the quality of life of patients.

스마트 기기를 이용한 정서 기록을 통하여 객관화된 정서 상태를 획득, 평가 및 치료 기술 향상에 기여할 수 있다. Through emotional recording using smart devices, it is possible to acquire an objective emotional state, and contribute to the improvement of evaluation and treatment skills.

도 1은 일 실시예에 따른 정보 제공 시스템에서 안면 표정 인식을 이용한 기분 삽화 확인을 위한 개괄적인 동작을 설명하기 위한 도면이다.
도 2는 일 실시예에 따른 정보 제공 시스템의 구성을 설명하기 위한 블록도이다.
도 3은 일 실시예에 따른 정보 제공 시스템에서 안면 표정 인식을 이용한 기분장애 진단을 위한 정보 제공 방법을 설명하기 위한 흐름도이다.
도 4는 일 실시예에 따른 정보 제공 시스템에서 환자의 안면 표정 데이터를 인식하는 것을 설명하기 위한 예이다.
도 5는 일 실시예에 따른 정보 제공 시스템에서 설명 정보를 제공하는 것을 설명하기 위한 예이다.
도 6은 일 실시예에 따른 정보 제공 시스템에서 이모티콘 정보를 선택하는 것을 설명하기 위한 예이다.
도 7은 일 실시예에 따른 정보 제공 시스템에서 기분장애를 진단한 것을 설명하기 위한 예이다. 1 is a view for explaining a general operation for confirming a mood episode using facial expression recognition in the information providing system according to an embodiment.
2 is a block diagram illustrating a configuration of an information providing system according to an embodiment.
3 is a flowchart illustrating an information providing method for diagnosing a mood disorder using facial expression recognition in the information providing system according to an embodiment.
4 is an example for explaining recognition of facial expression data of a patient in the information providing system according to an embodiment.
5 is an example for explaining the provision of explanatory information in the information providing system according to an embodiment.
6 is an example for explaining selection of emoticon information in the information providing system according to an embodiment.
7 is an example for explaining the diagnosis of a mood disorder in the information providing system according to an embodiment.

이하, 실시예를 첨부한 도면을 참조하여 상세히 설명한다.Hereinafter, embodiments will be described in detail with reference to the accompanying drawings.

실시예에서는 환자(예를 들면, 양극성장애 환자, 정신질환 환자) 개별의 기본 정서 상태 정보를 먼저 학습해두고, 학습된 기본 정서 상태 정보에 기초하여 안면 표정 정보를 이용하여 환자 맞춤형 정서 상태(기분장애)를 판단하는 방법 및 시스템을 설명하기로 한다. In the embodiment, the basic emotional state information of each patient (eg, bipolar disorder patient, mental illness patient) is first learned, and the patient's customized emotional state (mood) using facial expression information based on the learned basic emotional state information A method and system for determining failure) will be described.

도 1은 일 실시예에 따른 정보 제공 시스템에서 안면 표정 인식을 이용한 기분 삽화 확인을 위한 개괄적인 동작을 설명하기 위한 도면이다. 1 is a view for explaining a general operation for confirming a mood episode using facial expression recognition in the information providing system according to an embodiment.

정보 제공 시스템(100)은 전자 기기 내에서 기분장애 진단을 위한 플랫폼 형태로 동작되거나, 어플리케이션 형태로 동작될 수 있다. 예를 들면, 전자 기기는 컴퓨터 시스템으로 구현되는 고정형 단말이거나 이동형 단말일 수 있다. 전자 기기의 예를 들면, 스마트폰(smart phone), 휴대폰, 내비게이션, 컴퓨터, 노트북, 디지털방송용 단말, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 태블릿 PC, 게임 콘솔(game console), 웨어러블 디바이스(wearable device), IoT(internet of things) 디바이스, VR(virtual reality) 디바이스, AR(augmented reality) 디바이스 등이 있다.The information providing system 100 may be operated in the form of a platform for diagnosing a mood disorder in an electronic device or may be operated in the form of an application. For example, the electronic device may be a fixed terminal implemented as a computer system or a mobile terminal. For example, an electronic device, a smart phone, a mobile phone, a navigation system, a computer, a laptop computer, a digital broadcasting terminal, a PDA (Personal Digital Assistants), a PMP (Portable Multimedia Player), a tablet PC, a game console, There are wearable devices, internet of things (IoT) devices, virtual reality (VR) devices, augmented reality (AR) devices, and the like.

정보 제공 시스템은 환자의 정서 상태 데이터를 이용하여 기분장애 진단을 위한 진단 모델을 학습시킬 수 있다. 예를 들면, 동일한 상황 또는 평소에 대하여 환자마다 각각 느끼는 감정 상태가 다를 수 있으며, 각 생활, 문화, 지형, 인종, 성별 등에 따라 동일한 감정일지라도 움직이는 각각의 안면 표정 데이터가 다를 수 있다. 정보 제공 시스템은 사전에 환자 개별의 기본 정서 상태 정보를 먼저 학습해놓을 수 있다. 예를 들면, 기 설정된 기간 동안(예를 들면, 1달)의 환자의 기본 정서 상태를 학습해놓을 수 있다. 기본 정서 상태 정보란, 환자의 평상시/보통의 정서 상태를 의미할 수 있다. 이에, 정보 제공 시스템은 정보 제공 시스템은 카메라를 이용하여 촬영된 안면 데이터로부터 환자의 안면 표정 데이터를 인식하고, 인식된 환자의 안면 표정 데이터와 환자의 정서 상태에 대한 설문 정보를 포함하는 환자의 정서 상태 데이터를 이용하여 진단 모델을 학습시킬 수 있다. 일례로, 정보 제공 시스템은 카메라를 이용하여 촬영된 안면 데이터로부터 안면 표정을 구성하는 적어도 하나 이상의 특징점을 추출할 수 있다. 예를 들면, 정보 제공 시스템을 안면 데이터로부터 안면 표정을 구성하는 눈, 코, 입, 미간, 눈썹을 포함하는 적어도 하나 이상의 특징점을 추출할 수 있고, 추출된 특징점들을 통해 진단 모델을 학습시킬 수 있다. 정보 제공 시스템은 안면 데이터로부터 환자의 기본 안면 표정을 인식할 수 있다. 또한, 정보 제공 시스템은 환자의 기본 상태 정보를 판단하기 위하여 정서 상태에 대한 설문 정보(기분기록지 포함)를 제공할 수 있다. 환자는 설문 정보에 응답함으로써 환자 정서의 주관적인 정보가 입력될 수 있다. 정보 제공 시스템은 설문 정보에 대한 응답을 진단 모델을 학습시킬 수 있다. 이때, 예를 들면, 진단 모델은 기 설정된 크기를 갖는 이미지(예를 들면, 안면 표정 데이터)를 입력으로 하고, 진단 결과를 출력으로 하는 컨볼루션 신경망 기반의 레이어로 구성될 수 있다. 이때, 진단 모델은 이미지 이외의 다른 복수의 데이터를 입력으로 받을 수 있다. 진단 모델은 하나 이상의 레이어에서 컨볼루션 연산자를 통해 특징을 추출하여 특징맵을 생성할 수 있다. 하나 이상의 레이어의 노드들은 네트워크로 연결될 수 있다. 진단 모델은 추출한 특징을 다른 레이어에 전달하고, 서브샘플링을 통해 추출한 특징을 통합하여 공간적 차원을 축소시키는 과정을 수행할 수 있다. 레이어는 파라미터를 포함할 수 있고, 레이어의 파라미터는 학습가능한 필터 집합을 포함할 수 있다. 파라미터는 노드 간의 가중치 및/또는 바이어스를 포함할 수 있다. 진단 모델은 복수의 파라미터를 학습하며, 일부 파라미터는 공유될 수 있고, 소프트맥스(Softmax) 함수 및 손실 함수를 포함할 수 있다. 이외에도, 진단 모델은 다양한 형태로 구성될 수 있다. The information providing system may learn a diagnostic model for diagnosing a mood disorder by using the patient's emotional state data. For example, each patient may have different emotional states for the same situation or usual, and facial expression data may be different for each moving face even if they have the same emotion according to each life, culture, topography, race, gender, and the like. The information providing system may learn the basic emotional state information of each patient in advance. For example, the patient's basic emotional state for a preset period (eg, one month) may be learned. The basic emotional state information may mean a normal/normal emotional state of the patient. Accordingly, the information providing system recognizes the patient's facial expression data from the facial data photographed using the camera, and the information providing system recognizes the patient's emotion including the recognized facial expression data and questionnaire information about the patient's emotional state. A diagnostic model can be trained using the state data. As an example, the information providing system may extract at least one feature point constituting a facial expression from facial data photographed using a camera. For example, the information providing system may extract at least one or more feature points including eyes, nose, mouth, forehead, and eyebrows constituting a facial expression from the facial data, and train a diagnostic model through the extracted feature points. . The information providing system may recognize the basic facial expression of the patient from the facial data. In addition, the information providing system may provide questionnaire information (including a mood record sheet) about the emotional state in order to determine the basic state information of the patient. The patient may receive subjective information of the patient's emotion by responding to the questionnaire information. The information providing system may train a diagnostic model to respond to the questionnaire information. In this case, for example, the diagnostic model may be configured as a convolutional neural network-based layer that receives an image (eg, facial expression data) having a preset size as an input and outputs a diagnosis result. In this case, the diagnostic model may receive a plurality of data other than the image as input. The diagnostic model may generate a feature map by extracting features from one or more layers through a convolution operator. Nodes of one or more layers may be connected by a network. The diagnostic model may perform a process of reducing the spatial dimension by transferring the extracted features to another layer and integrating the extracted features through subsampling. A layer may include a parameter, and the parameter of the layer may include a set of learnable filters. The parameters may include weights and/or biases between nodes. The diagnostic model learns a plurality of parameters, some parameters may be shared, and may include a Softmax function and a loss function. In addition, the diagnostic model may be configured in various forms.

정보 제공 시스템(100)은 환자의 기분장애 진단을 위한 서비스 실행을 위한 푸시를 통해 환자로부터 입력되는 안면 표정 데이터를 획득할 수 있다. 정보 제공 시스템은 전자 기기에게 기분장애 진단을 위한 푸시를 발생시킬 수 있다. 이때, 정보 제공 시스템은 하루 동안에 기 설정 횟수만큼 기분장애 진단을 위한 사용자 정보를 획득하기 위하여 주기적으로 푸시를 발생시킬 수 있다. 예를 들면, 하루에 3번 주기적으로 기 설정된 시각에 푸시를 발생시킬 수 있다. 또한, 사용자가 푸시를 확인하여 기분장애 진단을 위한 서비스를 실행할 때까지 기 설정된 시간 동안 알림을 통보할 수도 있다. 환자는 전자 기기에 발생된 푸시를 통하여 기분장애 진단을 위한 서비스를 선택함에 따라 기분장애 진단 서비스가 실행시킬 수 있다. 또는, 정보 제공 시스템은 환자의 기분장애 진단을 위한 푸시를 발생시킴에 따라 자동으로 기분장애 진단을 위한 서비스를 실행시킬 수 있다. 이에, 환자는 기분장애 진단을 실시할 수 있다. The information providing system 100 may acquire facial expression data input from a patient through a push for executing a service for diagnosing a patient's mood disorder. The information providing system may generate a push for diagnosing a mood disorder to the electronic device. In this case, the information providing system may periodically generate a push in order to acquire user information for diagnosing a mood disorder for a preset number of times per day. For example, a push may be generated periodically at a preset time 3 times a day. In addition, the notification may be notified for a preset period of time until the user confirms the push and executes the service for diagnosing mood disorders. When the patient selects a service for diagnosing a mood disorder through a push generated in the electronic device, the mood disorder diagnosis service may be executed. Alternatively, the information providing system may automatically execute a service for diagnosing a mood disorder by generating a push for diagnosing a patient's mood disorder. Accordingly, the patient may be diagnosed with a mood disorder.

정보 제공 시스템(100)은 전자 기기를 통하여 촬영된 안면 데이터로부터 환자의 안면 표정 데이터를 획득할 수 있다. 구체적으로, 정보 제공 시스템(100)은 푸시에 설정된 주기마다 사용자로부터 입력된 환자의 안면 표정 데이터, 설문 정보, 수면 정보, 활동량 정보 또는, 현재의 기분 상태에 대응하는 이모티콘 정보를 포함하는 현재 감정 데이터를 획득할 수 있다. 도 4를 참고하면, 정보 제공 시스템(100)은 전자 기기의 카메라를 이용하여 촬영되는 환자의 안면 데이터를 획득할 수 있다. 정보 제공 시스템(100)은 안면 표정 정보를 취득하기 위하여 촬영된 환자의 안면 데이터로부터 얼굴 영역을 검출할 수 있고, 검출된 얼굴 영역의 안면 표정 데이터를 인식할 수 있다. 이때, 안면 데이터는 다양한 각도로 촬영된 것일 수 있으며, 안면 데이터의 일부 또는 전체가 포함될 수 있다. 또는, 정보 제공 시스템(100)은 카메라를 이용하여 얼굴 영역이 인식됨에 따라 환자의 안면 데이터의 촬영이 수행될 수 있고, 촬영이 수행된 안면 데이터로부터 안면 표정 데이터를 인식할 수 있다. 예를 들면, 정보 제공 시스템은 환자에게 '지금 당신의 기분을 잘 나타낼 수 있는 얼굴 표정을 지어주세요'와 같은 메시지를 제공할 수 있다. 이때, 카메라는 전면 카메라(셀프 카메라) 또는 후면 카메라를 포함하는 카메라 모드에 관계없이 촬영이 수행될 수 있다. The information providing system 100 may acquire facial expression data of a patient from facial data photographed through an electronic device. Specifically, the information providing system 100 provides the current emotional data including facial expression data, questionnaire information, sleep information, activity amount information, or emoticon information corresponding to the current mood state of the patient inputted from the user at every cycle set in the push. can be obtained. Referring to FIG. 4 , the information providing system 100 may acquire facial data of a patient photographed using a camera of an electronic device. The information providing system 100 may detect a facial region from the photographed facial data of the patient in order to acquire facial expression information, and may recognize the facial expression data of the detected facial region. In this case, the facial data may be photographed at various angles, and some or all of the facial data may be included. Alternatively, the information providing system 100 may photograph the patient's facial data as the facial region is recognized using the camera, and may recognize facial expression data from the photographed facial data. For example, the information providing system may provide a message to the patient, such as 'make a facial expression that best represents how you feel right now'. In this case, the camera may be photographed regardless of a camera mode including a front camera (self-camera) or a rear camera.

도 5를 참고하면, 정보 제공 시스템(100)은 환자의 현재 기분 상태를 질의하는 설문 정보를 제공할 수 있다. 사용자는 전자 기기에 제공된 설문 정보에 대한 응답 정보(답변)을 입력할 수 있다. 정보 제공 시스템은 환자 정서의 주관적 평가 정보를 입력받을 수 있다. 예를 들면, 설문 정보는 환자가 각 질문에 대하여 기 설정된 범위(예를 들면, 0부터 10 사이)의 점수를 입력할 수 있도록 구성될 수 있다. Referring to FIG. 5 , the information providing system 100 may provide questionnaire information for querying the patient's current mood state. The user may input response information (answer) to the questionnaire information provided to the electronic device. The information providing system may receive subjective evaluation information of a patient's emotion. For example, the questionnaire information may be configured so that the patient can input a score within a preset range (eg, between 0 and 10) for each question.

도 6을 참고하면, 정보 제공 시스템(100)은 환자의 현재 기분 상태를 나타내는 이모티콘을 선택하도록 적어도 하나 이상의 기분을 나타내는 이모티콘 정보를 제공할 수 있다. 환자는 환자의 현재 기분 상태를 나타내는 이모티콘을 선택할 수 있다. 예를 들면, 이모티콘 정보를 각 감정에 대하여 9개의 이모티콘을 포함할 수 있다. 또한, 정보 제공 시스템은 전자 기기의 움직임 및 앱 사용 빈도 등을 통하여 환자의 활동량 데이터를 획득할 수 있다. 또한, 정보 제공 시스템은 수면의 질을 자가 보고식으로 평가하도록 할 수 있다. 예를 들면, 환자는 환자의 수면의 질을 1점(잘 못잠) 내지 10점(잘 잠) 사이의 점수를 매길 수 있다. Referring to FIG. 6 , the information providing system 100 may provide emoticon information representing at least one mood to select an emoticon representing the patient's current mood state. The patient may select an emoticon representing the patient's current mood state. For example, emoticon information may include nine emoticons for each emotion. In addition, the information providing system may acquire the activity amount data of the patient through the movement of the electronic device, the frequency of using the app, and the like. In addition, the information providing system may allow the quality of sleep to be assessed in a self-reported manner. For example, the patient may rate the patient's quality of sleep on a scale of 1 (sleep poorly) to 10 (sleep well).

정보 제공 시스템(100)은 학습된 진단 모델에 획득된 현재 감정 데이터에 입력하여 환자의 현재 정서 상태 정보를 분석할 수 있다. 정보 제공 시스템(100)은 학습된 진단 모델에 획득된 현재 감정 데이터에 입력하여 환자의 현재 정서 상태 정보를 기 설정된 단계의 정서 상태로 구분할 수 있다. 정보 제공 시스템(100)은 학습된 진단 모델에 안면 표정 데이터, 설문 정보, 수면 정보, 활동량 정보 또는, 현재의 기분 상태에 대응하는 이모티콘 정보를 입력할 수 있고, 학습된 진단 모델의 학습 결과로서 환자의 현재 정서 상태를 출력할 수 있다. 예를 들면, 정보제공 시스템은 환자의 현재 정서 상태 정보를 조증, 경조, 기본, 기분저하, 우울 등의 5단계의 정서 상태로 분류할 수 있다. 정보 제공 시스템(100)은 환자 개별의 기본 정서 상태를 기준으로 환자의 현재 정서 상태 정보를 판단할 수 있다. 또는, 정보 제공 시스템은 기존의 여러 환자들을 통해 표준화된 얼굴 표정 정보를 추가적으로 이용할 수도 있다. 예를 들면, 전자 기기를 통하여 환자의 안면 데이터를 촬영함에 따라 환자의 안면 표정 데이터가 인식될 수 있다. 마찬가지로, 안면 데이터로부터 특징점을 추출하여 학습된 진단 모델에 입력함으로써 환자의 안면 표정 데이터가 인식될 수 있다. 정보 제공 시스템(100)은 특징점의 변화에 따라 표정 정보를 인식할 수 있다. 예를 들면, 정보 제공 시스템(100)은 행복, 혐오, 분노, 슬픔, 놀람, 공포를 포함하는 6가지 표정 정보를 인식할 수 있다. 정보 제공 시스템(100)은 진단 모델을 통하여 획득된 학습 결과에 기초하여 환자의 현재 정서 상태를 판단할 수 있다. 정보 제공 시스템(100)은 감정 데이터의 변화를 통해 현재 정서 상태를 판단할 수 있다.The information providing system 100 may analyze the patient's current emotional state information by inputting the current emotional data acquired in the learned diagnostic model. The information providing system 100 may classify the patient's current emotional state information into the emotional state of a preset stage by inputting the current emotional data acquired in the learned diagnostic model. The information providing system 100 may input facial expression data, questionnaire information, sleep information, activity amount information, or emoticon information corresponding to a current mood state to the learned diagnostic model, and as a learning result of the learned diagnostic model, the patient You can output the current emotional state of For example, the information providing system may classify the patient's current emotional state information into five emotional states, such as mania, high mania, basic, depressed mood, and the like. The information providing system 100 may determine the patient's current emotional state information based on the basic emotional state of each patient. Alternatively, the information providing system may additionally use facial expression information standardized through several existing patients. For example, as the patient's facial data is photographed through the electronic device, the patient's facial expression data may be recognized. Similarly, facial expression data of a patient may be recognized by extracting feature points from facial data and inputting them into a learned diagnostic model. The information providing system 100 may recognize facial expression information according to a change in a feature point. For example, the information providing system 100 may recognize six kinds of facial expression information including happiness, disgust, anger, sadness, surprise, and fear. The information providing system 100 may determine the patient's current emotional state based on the learning result obtained through the diagnostic model. The information providing system 100 may determine a current emotional state through a change in emotional data.

정보 제공 시스템(100)은 판단된 환자의 현재 감정 상태에 기초하여 환자의 기분장애를 진단할 수 있다. 이때, 기분 장애란 지나치게 저조하거나 고양된 기분 상태가 지속되어 현실생활의 적응에 심각한 어려움을 겪는 정신장애를 의미한다. 뇌의 기분을 조절하는 부위에 이상이 생겨 발생하는 증상이다. 우울증, 경조증, 조증, 혼재성 조증, 주요우울장애, 기분부전장애, 미분류형 우울장애, 제1형 양극성 장애, 제2형 양극성 장애, 순환성 장애 등이 이에 속하며, 기분상태에 따라 크게 우울증, 조증, 혼재성 조증 등으로 나눌 수 있다. 정보 제공 시스템(100)은 분석된 현재 감정 상태를 종합하여 기분삽화 여부를 확인할 수 있다. 도 7을 참고하면, 기분장애를 진단한 예이다. 정보 제공 시스템(100)은 기 설정된 기간 동안의 판단된 현재 감정 상태에 기초하여 기분삽화 여부를 확인하고, 진단된 기분삽화가 기 설정된 기간 이상 지속될 경우, 경고 메시지를 전달하고, 전달된 경고 메시지를 통하여 진료를 권유할 수 있다. 정보 제공 시스템(100)은 하루 종일 일치된 정서 상태를 기준으로 기분산화 여부를 확인할 수 있다. 정보 제공 시스템(100)은 판단된 현재 감정 상태가 3일 이상 경조상태일 경우, 경조 삽화, 7일 이상 조증삽화 상태일 경우, 조증 삽화, 2주 이상 기분저하 상태일 경우, 우울 삽화로 진단할 수 있다. 정보 제공 시스템은 외래 통원기간 중 병원을 내원하지 않은 기간 동안 기분장애 진단을 위한 평가를 수행할 수 있다. 정보 제공 시스템은 환자의 현재 감정 상태 상 기분삽화에 해당되고 수면의 변화(증가 또는 감소)가 보고될 경우, 병원 진료를 권고할 수 있다. 예를 들면, 정보 제공 시스템은 경고 메시지에 환자의 담당 의사 또는 의료 기관에 연락할 수 있는 기능을 제공할 수 있다. 환자는 경고 메시지에 표시된 담당 의사 또는 의료 기관을 선택할 수 있고, 선택된 담당 의사 또는 의료 기관에 연락이 연결될 수 있다. 또한, 연락이 연결됨에 따라 담당 의사 또는 의료 기관으로 축적된 환자 데이터가 전달될 수 있다. 정보 제공 시스템(100)은 안면 표정 인식의 기록을 통해 정서 상태를 측정하고 일자별 종합하여 기분 상태의 확인, 기분삽화의 발생 또는 악화 여부를 진단 정보로 제공할 수 있다. The information providing system 100 may diagnose the patient's mood disorder based on the determined current emotional state of the patient. At this time, the mood disorder refers to a mental disorder in which an excessively low or elevated mood state persists, causing serious difficulties in adjusting to real life. It is a symptom caused by an abnormality in the part of the brain that controls mood. Depression, hypomania, mania, mixed mania, major depressive disorder, dysthymic disorder, unclassified depressive disorder, type 1 bipolar disorder, type 2 bipolar disorder, and cyclothymic disorder. It can be divided into mania and mixed mania. The information providing system 100 may check whether the mood is illustrated by synthesizing the analyzed current emotional state. Referring to FIG. 7 , it is an example of diagnosing a mood disorder. The information providing system 100 checks whether a mood episode is based on the determined current emotional state for a preset period, and when the diagnosed mood episode continues for more than a preset period, delivers a warning message, and through the delivered alert message treatment may be recommended. The information providing system 100 may check whether mood is oxidized based on the emotional state matched throughout the day. The information providing system 100 can diagnose a depressive episode when the determined current emotional state is a high mania state for 3 days or more, a high manic episode, a manic episode state for 7 days or more, a manic episode, or a depressed mood for 2 weeks or more. can The information providing system may perform an evaluation for diagnosing a mood disorder during a period of not visiting a hospital during an outpatient visit. The information providing system can recommend hospital treatment when the patient's current emotional state corresponds to a mood episode and a change (increase or decrease) in sleep is reported. For example, the information providing system may provide an alert message with the ability to contact the patient's attending physician or medical institution. The patient may select the attending physician or medical institution indicated in the warning message, and a contact may be made to the selected attending physician or medical institution. In addition, as the contact is connected, the accumulated patient data may be transferred to the attending physician or medical institution. The information providing system 100 may measure the emotional state through the recording of the facial expression recognition and synthesize it by date to provide diagnostic information to confirm the mood state and whether a mood episode occurs or worsens.

도 2는 일 실시예에 따른 정보 제공 시스템의 구성을 설명하기 위한 블록도이고, 도 3은 일 실시예에 따른 정보 제공 시스템에서 안면 표정 인식을 이용한 기분장애 진단을 위한 정보 제공 방법을 설명하기 위한 흐름도이다.2 is a block diagram for explaining the configuration of an information providing system according to an embodiment, and FIG. 3 is for explaining an information providing method for diagnosing a mood disorder using facial expression recognition in the information providing system according to an embodiment It is a flow chart.

정보 제공 시스템(100)의 프로세서는 모델 학습부(210), 표정 획득부(220), 정서 상태 판단부(230) 및 기분장애 진단부(240)를 포함할 수 있다. 이러한 프로세서의 구성요소들은 전자 기기에 저장된 프로그램 코드가 제공하는 제어 명령에 따라 프로세서에 의해 수행되는 서로 다른 기능들(different functions)의 표현들일 수 있다. 프로세서 및 프로세서의 구성요소들은 도 3의 안면 표정 인식을 이용한 기분장애 진단을 위한 정보 제공 방법이 포함하는 단계들(310 내지 340)을 수행하도록 정보 제공 시스템을 제어할 수 있다. 이때, 프로세서 및 프로세서의 구성요소들은 메모리가 포함하는 운영체제의 코드와 적어도 하나의 프로그램의 코드에 따른 명령(instruction)을 실행하도록 구현될 수 있다.The processor of the information providing system 100 may include a model learning unit 210 , an expression acquiring unit 220 , an emotional state determining unit 230 , and a mood disorder diagnosis unit 240 . The components of the processor may be representations of different functions performed by the processor according to a control instruction provided by a program code stored in the electronic device. The processor and components of the processor may control the information providing system to perform steps 310 to 340 included in the information providing method for diagnosing a mood disorder using facial expression recognition of FIG. 3 . In this case, the processor and the components of the processor may be implemented to execute instructions according to the code of the operating system included in the memory and the code of at least one program.

프로세서는 안면 표정 인식을 이용한 기분장애 진단을 위한 정보 제공 방법을 위한 프로그램의 파일에 저장된 프로그램 코드를 메모리에 로딩할 수 있다. 예를 들면, 정보 제공 시스템에서 프로그램이 실행되면, 프로세서는 운영체제의 제어에 따라 프로그램의 파일로부터 프로그램 코드를 메모리에 로딩하도록 정보 제공 시스템을 제어할 수 있다. 이때, 프로세서 및 프로세서가 포함하는 모델 학습부(210), 표정 획득부(220), 정서 상태 판단부(230) 및 기분장애 진단부(240) 각각은 메모리에 로딩된 프로그램 코드 중 대응하는 부분의 명령을 실행하여 이후 단계들(310 내지 340)을 실행하기 위한 프로세서의 서로 다른 기능적 표현들일 수 있다. The processor may load a program code stored in a file of a program for a method of providing information for diagnosing a mood disorder using facial expression recognition into a memory. For example, when the program is executed in the information providing system, the processor may control the information providing system to load the program code from the program file into the memory according to the control of the operating system. At this time, each of the processor and the model learning unit 210 , the facial expression obtaining unit 220 , the emotional state determining unit 230 , and the mood disorder diagnosis unit 240 included in the processor includes a corresponding part of the program code loaded in the memory. They may be different functional representations of a processor for executing instructions to carry out subsequent steps 310 to 340 .

단계(310)에서 모델 학습부(210)는 환자의 정서 상태 데이터를 이용하여 기분장애 진단을 위한 진단 모델을 학습시킬 수 있다. 모델 학습부(210)는 카메라를 이용하여 촬영된 안면 데이터로부터 환자의 안면 표정 데이터를 인식하고, 인식된 환자의 안면 표정 데이터와 환자의 정서 상태에 대한 설문 정보를 포함하는 환자의 정서 상태 데이터를 이용하여 진단 모델을 학습시킬 수 있다. In step 310 , the model learning unit 210 may learn a diagnostic model for diagnosing a mood disorder by using the patient's emotional state data. The model learning unit 210 recognizes the patient's facial expression data from the facial data photographed using the camera, and receives the patient's emotional state data including the recognized facial expression data and questionnaire information about the patient's emotional state. can be used to train a diagnostic model.

단계(320)에서 표정 획득부(220)는 환자의 기분장애 진단을 위한 서비스 실행을 위한 푸시를 통해 환자로부터 입력되는 안면 표정 데이터를 획득할 수 있다. 표정 획득부(220)는 푸시에 설정된 주기마다 사용자로부터 입력된 환자의 안면 표정 데이터, 설문 정보, 수면 정보, 활동량 정보 또는, 현재의 기분 상태에 대응하는 이모티콘 정보를 포함하는 현재 감정 데이터를 획득할 수 있다. In step 320, the facial expression acquisition unit 220 may acquire facial expression data input from the patient through a push for executing a service for diagnosing a patient's mood disorder. The facial expression acquisition unit 220 acquires current emotional data including facial expression data, questionnaire information, sleep information, activity amount information, or emoticon information corresponding to the current mood state of the patient input from the user at every cycle set in the push. can

단계(330)에서 정서 상태 판단부(230)는 학습된 진단 모델에 획득된 안면 표정 데이터를 입력하여 환자의 현재 정서 상태를 판단할 수 있다. 정서 상태 판단부(230)는 학습된 진단 모델에 상기 획득된 현재 감정 데이터를 입력하여 환자의 현재 정서 상태 정보를 기 설정된 단계의 정서 상태로 구분할 수 있다. In step 330 , the emotional state determining unit 230 may determine the patient's current emotional state by inputting the facial expression data obtained to the learned diagnostic model. The emotional state determiner 230 may input the acquired current emotional data to the learned diagnostic model and classify the patient's current emotional state information into the emotional state of a preset stage.

단계(340)에서 기분장애 진단부(240)는 판단된 환자의 현재 감정 상태에 기초하여 환자의 기분장애를 진단할 수 있다. 기분장애 진단부(240)는 기 설정된 기간 동안의 판단된 현재 감정 상태에 기초하여 기분삽화 여부를 확인하고, 진단된 기분삽화가 기 설정된 기간 이상 지속될 경우, 경고 메시지를 전달하고, 전달된 경고 메시지를 통하여 진료를 권유할 수 있다. 기분장애 진단부(240)는 판단된 현재 감정 상태가 3일 이상 경조상태일 경우, 경조 삽화, 7일 이상 조증삽화 상태일 경우, 조증 삽화, 2주 이상 기분저하 상태일 경우, 우울 삽화로 진단할 수 있다. In step 340 , the mood disorder diagnosis unit 240 may diagnose the patient's mood disorder based on the determined current emotional state of the patient. The mood disorder diagnosis unit 240 checks whether the mood episode is based on the determined current emotional state for a preset period, and when the diagnosed mood episode continues for more than a preset period, delivers a warning message, and transmits the delivered warning message. treatment may be recommended. The mood disorder diagnosis unit 240 diagnoses as a depressive episode when the determined current emotional state is a high mania state for 3 days or more, a high manic episode, a manic episode state for 7 days or more, a manic episode, or a depressed mood for 2 weeks or more can do.

일 실시예에 따른 정보 제공 시스템은 카메라를 이용하여 획득된 얼굴 표정의 분석을 통한 정서상태를 확인함으로써 객관적으로 환자의 상태를 판단할 수 있다. The information providing system according to an embodiment may objectively determine the patient's condition by checking the emotional state through the analysis of the facial expression obtained using the camera.

일 실시예에 따른 정보 제공 시스템은 머신러닝을 이용하여 개별 환자의 정서 상태를 먼저 학습해두고, 학습 데이터와 안면 표정 데이터를 이용하여 환자 맞춤형 정서상태 및 진단을 실시간으로 수행할 수 있다. The information providing system according to an embodiment may first learn the emotional state of an individual patient by using machine learning, and may perform a patient-customized emotional state and diagnosis in real time using the learning data and the facial expression data.

일 실시예에 따른 정보 제공 시스템은 환자의 기본 정서 상태를 학습한 정보와 셀프카메라를 이용하여 획득된 안면 표정 데이터를 이용하여 정서 상태를 판단하여 정서 판단 기준의 객관성을 확보할 수 있다. The information providing system according to an embodiment may determine the emotional state using information learned about the patient's basic emotional state and facial expression data obtained using a selfie camera to secure objectivity of the emotion determination criterion.

일 실시예에 따른 정보 제공 시스템은 영상 정보 외에 질문에 대한 답변 정보를 고려하여 기분장애의 정서상태 및 진단의 정확도를 향상시킬 수 있다. The information providing system according to an embodiment may improve the emotional state of mood disorders and the accuracy of diagnosis by considering answer information to a question in addition to image information.

이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.The device described above may be implemented as a hardware component, a software component, and/or a combination of the hardware component and the software component. For example, devices and components described in the embodiments may include, for example, a processor, a controller, an arithmetic logic unit (ALU), a digital signal processor, a microcomputer, a field programmable gate array (FPGA). , a programmable logic unit (PLU), microprocessor, or any other device capable of executing and responding to instructions, may be implemented using one or more general purpose or special purpose computers. The processing device may execute an operating system (OS) and one or more software applications running on the operating system. The processing device may also access, store, manipulate, process, and generate data in response to execution of the software. For convenience of understanding, although one processing device is sometimes described as being used, one of ordinary skill in the art will recognize that the processing device includes a plurality of processing elements and/or a plurality of types of processing elements. It can be seen that may include For example, the processing device may include a plurality of processors or one processor and one controller. Other processing configurations are also possible, such as parallel processors.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치에 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.The software may comprise a computer program, code, instructions, or a combination of one or more thereof, which configures a processing device to operate as desired or is independently or collectively processed You can command the device. The software and/or data may be any kind of machine, component, physical device, virtual equipment, computer storage medium or device, to be interpreted by or to provide instructions or data to the processing device. may be embodied in The software may be distributed over networked computer systems and stored or executed in a distributed manner. Software and data may be stored in one or more computer-readable recording media.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. The method according to the embodiment may be implemented in the form of program instructions that can be executed through various computer means and recorded in a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, etc. alone or in combination. The program instructions recorded on the medium may be specially designed and configured for the embodiment, or may be known and available to those skilled in the art of computer software. Examples of the computer-readable recording medium include magnetic media such as hard disks, floppy disks and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic such as floppy disks. - includes magneto-optical media, and hardware devices specially configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like. Examples of program instructions include not only machine language codes such as those generated by a compiler, but also high-level language codes that can be executed by a computer using an interpreter or the like.

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.As described above, although the embodiments have been described with reference to the limited embodiments and drawings, various modifications and variations are possible by those skilled in the art from the above description. For example, the described techniques are performed in a different order than the described method, and/or the described components of the system, structure, apparatus, circuit, etc. are combined or combined in a different form than the described method, or other components Or substituted or substituted by equivalents may achieve an appropriate result.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.Therefore, other implementations, other embodiments, and equivalents to the claims are also within the scope of the following claims.

Claims (5)

기분장애 진단을 위한 정보 제공 시스템에 있어서,
메모리에 포함된 컴퓨터 판독가능한 명령들을 실행하도록 구성된 적어도 하나의 프로세서
를 포함하고,
상기 적어도 하나의 프로세서는,
환자 개별의 정서 상태 데이터를 이용하여 기분장애 진단을 위한 머신러닝 기반의 진단 모델을 학습하는 모델 학습부;
환자의 기분장애 진단을 위한 서비스 실행을 위한 푸시를 통해 상기 푸시에 설정된 주기마다 환자로부터 입력되는 안면 데이터를 획득하는 표정 획득부;
상기 학습된 기분장애 진단을 위한 머신러닝 기반의 진단 모델에 상기 획득된 안면 데이터를 입력하여 안면 표정 데이터를 인식하고, 상기 인식된 안면 표정 데이터의 변화를 통해 환자의 현재 정서 상태를 판단하는 정서 상태 판단부; 및
상기 판단된 환자의 현재 감정 상태에 기초하여 기 설정된 기간 동안 확인된 기분삽화에 따라 환자의 기분장애를 진단하고, 상기 진단된 환자의 기분장애와 관련된 진단 결과를 출력하는 기분장애 진단부를 포함하고,
상기 기분장애 진단을 위한 머신러닝 기반의 진단 모델은,
기분장애 진단을 위해 구성된 컨볼루션 신경망의 하나 이상의 레이어에서 컨볼루션 연산자를 통해 안면 데이터로부터 안면 표정을 구성하는 눈, 코, 입, 미간, 눈썹을 포함하는 적어도 하나 이상의 특징점을 추출하고, 상기 하나 이상의 레이어에서 추출된 특징점을 다른 레이어로 전달하고 서브샘플링을 통해 상기 추출된 특징점을 통합하여 공간적 차원을 축소시키는 과정을 수행하는 것이고,
상기 모델 학습부는,
카메라를 이용하여 촬영된 안면 데이터를 이용하여 상기 기분장애 진단을 위한 머신러닝 기반의 진단 모델을 학습시키는 것을 포함하고,
상기 정서 상태 판단부는,
상기 획득된 안면 데이터로부터 행복, 혐오, 슬픔, 놀람, 공포를 포함하는 안면 표정 데이터를 인식하고, 상기 인식된 안면 표정 데이터의 변화를 통해 환자의 현재 정서 상태를 조증, 경조, 기본, 기분저하, 우울을 포함하는 기 설정된 단계의 정서 상태로 분류하는 것을 포함하고,
상기 기분장애 진단부는,
상기 판단된 현재 감정 상태가 3일 이상 경조상태일 경우, 경조 삽화, 7일 이상 조증삽화 상태일 경우, 조증 삽화, 2주 이상 기분저하 상태일 경우, 우울 삽화로 진단하는 것
을 포함하는 정보 제공 시스템. In the information providing system for the diagnosis of mood disorders,
at least one processor configured to execute computer readable instructions contained in memory
including,
The at least one processor,
a model learning unit for learning a machine learning-based diagnostic model for diagnosing mood disorders using individual emotional state data;
a facial expression acquisition unit for acquiring facial data inputted from a patient at intervals set in the push through a push for service execution for diagnosing a patient's mood disorder;
An emotional state for recognizing facial expression data by inputting the acquired facial data into a machine learning-based diagnostic model for diagnosing the learned mood disorder, and determining the patient's current emotional state through changes in the recognized facial expression data judging unit; and
A mood disorder diagnosis unit for diagnosing a patient's mood disorder according to a mood episode identified for a preset period based on the determined current emotional state of the patient, and outputting a diagnosis result related to the diagnosed patient's mood disorder;
The machine learning-based diagnostic model for diagnosing mood disorders is
At least one or more feature points including eyes, nose, mouth, forehead, and eyebrows constituting a facial expression are extracted from facial data through a convolution operator in one or more layers of a convolutional neural network configured for mood disorder diagnosis, and the one or more The process of reducing the spatial dimension by transferring the feature points extracted from one layer to another layer and integrating the extracted feature points through subsampling,
The model learning unit,
It includes learning a machine learning-based diagnostic model for diagnosing the mood disorder using facial data captured using a camera,
The emotional state determination unit,
Recognize facial expression data including happiness, disgust, sadness, surprise, and fear from the acquired facial data, and change the recognized facial expression data to change the patient's current emotional state: Including classifying the emotional state of a preset stage including depression,
The mood disorder diagnosis unit,
Diagnosis of a depressive episode when the determined current emotional state is a hypomanic episode for 3 days or more, a manic episode for 7 days or more, a manic episode, or a depressed mood for 2 weeks or more
Information provision system comprising. 제1항에 있어서,
상기 표정 획득부는,
사용자로부터 입력된 환자의 안면 데이터, 설문 정보, 수면 정보, 활동량 정보 또는, 현재의 기분 상태에 대응하는 이모티콘 정보를 포함하는 현재 감정 데이터를 획득하는
정보 제공 시스템.According to claim 1,
The expression acquisition unit,
Acquiring current emotional data including facial data, questionnaire information, sleep information, activity amount information, or emoticon information corresponding to the current mood state of the patient input from the user
Information provision system. 제1항에 있어서,
상기 기분장애 진단부는,
기 설정된 기간 동안의 판단된 현재 감정 상태에 기초하여 기분삽화를 확인하고, 상기 확인된 기분삽화가 기 설정된 기간 이상 지속될 경우, 진단된 환자의 기분장애와 관련된 경고 메시지를 전달하고, 상기 전달된 경고 메시지를 통하여 진료를 권유하는
정보 제공 시스템. According to claim 1,
The mood disorder diagnosis unit,
A mood episode is checked based on the determined current emotional state for a preset period, and when the confirmed mood episode continues for more than a preset period, a warning message related to the diagnosed patient's mood disorder is delivered, and the delivered warning message recommending treatment through
Information provision system. 삭제delete 제1항에 있어서,
상기 기분장애 진단을 위한 머신러닝 기반의 진단 모델은,
카메라를 이용하여 촬영된 안면 데이터와 환자의 정서 상태에 대한 설문 정보의 응답을 포함하는 환자의 정서 상태 데이터를 컨볼루션 신경망에 입력받고, 상기 컨볼루션 신경망을 통해 상기 입력받은 환자의 안면 데이터와 환자의 정서 상태에 대한 설문 정보의 응답을 포함하는 정서 상태 데이터로부터 기분장애를 진단하도록 학습된 것을 포함하는 정보 제공 시스템.According to claim 1,
The machine learning-based diagnostic model for diagnosing mood disorders is
The patient's emotional state data including facial data photographed using a camera and a response to questionnaire information about the patient's emotional state are input to the convolutional neural network, and the patient's facial data and the patient received through the convolutional neural network An information providing system comprising what has been learned to diagnose a mood disorder from emotional state data including responses to questionnaire information about the emotional state.
KR1020200059695A 2020-05-19 2020-05-19 Information provision method for diagnosing mood disorders using facial expression recognition KR102429447B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200059695A KR102429447B1 (en) 2020-05-19 2020-05-19 Information provision method for diagnosing mood disorders using facial expression recognition

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200059695A KR102429447B1 (en) 2020-05-19 2020-05-19 Information provision method for diagnosing mood disorders using facial expression recognition

Publications (2)

Publication Number Publication Date
KR20210142921A KR20210142921A (en) 2021-11-26
KR102429447B1 true KR102429447B1 (en) 2022-08-04

Family

ID=78700280

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200059695A KR102429447B1 (en) 2020-05-19 2020-05-19 Information provision method for diagnosing mood disorders using facial expression recognition

Country Status (1)

Country Link
KR (1) KR102429447B1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102485600B1 (en) * 2022-06-24 2023-01-10 주식회사 엘젠 a depression management system using an AI(artificial intelligence) robot

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2932689C (en) * 2013-12-05 2018-07-31 Pst Corporation, Inc. Estimation device, program, estimation method, and estimation system
KR20170006312A (en) * 2015-07-07 2017-01-18 재단법인대구경북과학기술원 Apparatus and method for inferencing health condition
KR101985893B1 (en) * 2017-04-12 2019-06-05 중앙대학교 산학협력단 Device and method for severe mental illness diagnosis with game analysis factor
KR102166010B1 (en) * 2018-07-09 2020-10-15 주식회사 두브레인 System and method for determining cognitive impairment using face recognization

Also Published As

Publication number Publication date
KR20210142921A (en) 2021-11-26

Similar Documents

Publication Publication Date Title
US11139083B2 (en) Machine learning-based diagnostic classifier
Le Nguyen et al. Artificial intelligence in healthcare: A new technology benefit for both patients and doctors
KR20200005986A (en) System and method for diagnosing cognitive impairment using face recognization
CA2988416A1 (en) Method and system for assessing mental state
KR102533467B1 (en) Information provision method for diagnosing mood episode(depressive, manic) using analysis of voice activity
WO2019180742A1 (en) System and method for retinal fundus image semantic segmentation
Phutela et al. Stress classification using brain signals based on LSTM network
CN115607156B (en) Multi-mode-based psychological cognitive screening evaluation method, system and storage medium
CN114096194A (en) Systems and methods for cognitive training and monitoring
KR102429447B1 (en) Information provision method for diagnosing mood disorders using facial expression recognition
Prajod et al. Using explainable AI to identify differences between clinical and experimental pain detection models based on facial expressions
McFadyen et al. Differential replay of reward and punishment paths predicts approach and avoidance
Jo et al. Mocas: A multimodal dataset for objective cognitive workload assessment on simultaneous tasks
Obayya et al. A novel automated Parkinson’s disease identification approach using deep learning and EEG
Gamage et al. Academic depression detection using behavioral aspects for Sri Lankan university students
Kwon et al. Visually exploring contrastive explanation for diagnostic risk prediction on electronic health records
Dia et al. Video-based continuous affect recognition of children with Autism Spectrum Disorder using deep learning
Kumar et al. Automatic Grading System of Parkinson's Disease using Smart App for Remote Monitoring System
Fei et al. A survey of the state-of-the-art techniques for cognitive impairment detection in the elderly
US20240136064A1 (en) Medical diagnosis support device, medical diagnosis support method, and storage medium
US20230363703A1 (en) System and method including affect in pain level recognition
Ahuja et al. Machine learning algorithms for detection of visuomotor neural control differences in individuals with PASC and ME
Faiem et al. Assessment of Parkinson’s Disease Severity Using Gait Data: A Deep Learning-Based Multimodal Approach
BABU et al. AN EFFCIET FORCASTING MENTAL HEALTH CONDITION USING MACHINE LEARNING
KR20240050588A (en) Method and appratus for evaluating mental health disorder using behavioral data and medical imaging data

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant