KR20220118974A - System and Method for Diagnosing and Caring Mental health using EEG information and face emotion recognition technology - Google Patents

System and Method for Diagnosing and Caring Mental health using EEG information and face emotion recognition technology Download PDF

Info

Publication number
KR20220118974A
KR20220118974A KR1020220100882A KR20220100882A KR20220118974A KR 20220118974 A KR20220118974 A KR 20220118974A KR 1020220100882 A KR1020220100882 A KR 1020220100882A KR 20220100882 A KR20220100882 A KR 20220100882A KR 20220118974 A KR20220118974 A KR 20220118974A
Authority
KR
South Korea
Prior art keywords
user
information
diagnosis
analysis
specialist
Prior art date
Application number
KR1020220100882A
Other languages
Korean (ko)
Inventor
윤명철
Original Assignee
윤명철
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 윤명철 filed Critical 윤명철
Priority to KR1020220100882A priority Critical patent/KR20220118974A/en
Publication of KR20220118974A publication Critical patent/KR20220118974A/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A61B5/0004—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by the type of physiological signal transmitted
    • A61B5/0006—ECG or EEG signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A61B5/0004—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by the type of physiological signal transmitted
    • A61B5/0013—Medical image data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/372—Analysis of electroencephalograms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/40—Detecting, measuring or recording for evaluating the nervous system
    • A61B5/4029—Detecting, measuring or recording for evaluating the nervous system for evaluating the peripheral nervous systems
    • A61B5/4035—Evaluating the autonomic nervous system
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802—Sensor mounted on worn items
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7225—Details of analog processing, e.g. isolation amplifier, gain or sensitivity adjustment, filtering, baseline or drift compensation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/7465—Arrangements for interactive communication between patient and care services, e.g. by using a telephone network
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/60—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Psychiatry (AREA)
  • Physiology (AREA)
  • Signal Processing (AREA)
  • Neurology (AREA)
  • Psychology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Child & Adolescent Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Nursing (AREA)
  • Social Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • Power Engineering (AREA)
  • Educational Technology (AREA)
  • Neurosurgery (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Cardiology (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Dentistry (AREA)

Abstract

The present invention relates to a system and a method for diagnosing and caring mental health using EEG information and facial expression recognition technology to enable efficient mental health management using EEG information and facial expression recognition through camera images, comprising: a diagnostic device for simultaneously collecting EEG information of a user and image information through a camera; a control part for storing and managing a transaction book using a smart contract based on block chain technology for the personal information of the user, and analyzing collected data provided from the diagnostic device to generate a primary analysis report and to provide the same to a medical specialist; a remote diagnosis part for providing the primary analysis report, the EEG information and facial expression recognition data provided by the control part to a remote medical specialist to check the same, and supporting the use of a remote video diagnosis function with the user according to necessity; an application part for mediating consultancy between the user and the medical specialist; and a contribution rewarding part for issuing a voucher to a mobile phone of the user so as to reward a user having used the diagnostic device for the achievement of contributing to the activation of a metal health diagnosis and care service.

Description

뇌파 정보와 표정 인식 기술을 이용하는 정신건강 진단 및 케어를 위한 시스템 및 방법{System and Method for Diagnosing and Caring Mental health using ＥＥＧ information and face emotion recognition technology}System and Method for Diagnosing and Caring Mental health using EEG information and face emotion recognition technology

본 발명은 정신건강 진단 및 케어에 관한 것으로, 구체적으로 뇌파 정보와 카메라 화상을 통한 얼굴 표정 인식을 이용하여 효율적인 정신건강 관리가 가능하도록 한 뇌파 정보와 표정 인식 기술을 이용하는 정신건강 진단 및 케어를 위한 시스템 및 방법에 관한 것이다.The present invention relates to mental health diagnosis and care, and specifically, for mental health diagnosis and care using brain wave information and facial expression recognition technology that enables efficient mental health management using brain wave information and facial expression recognition through camera images It relates to systems and methods.

현대사회를 살아가는 사람들은 여러가지 상황에 노출되고, 이로 인한 정신적인 스트레스가 많이 있는데, 이러한 스트레스는 우울증 등의 정신질환을 유발하고, 이로 인한 사회문제는 심각한 지경에 이르고 있다.People living in modern society are exposed to various situations, and there is a lot of mental stress caused by this. Such stress causes mental diseases such as depression, and the resulting social problems are reaching a serious point.

예를 들어, 정신질환은 아동기 트라우마(Childhood trauma)에 따라 성인기에서 유발될 수 있다. 아동기 트라우마는 아동기뿐만 아니라 성인기의 다양한 정동 장애(affective disorders)의 발병 위험 인자로 간주된다.For example, mental illness can be triggered in adulthood following Childhood trauma. Childhood trauma is considered a risk factor for the development of various affective disorders in childhood as well as in adulthood.

트라우마를 경험한 어린이는 우울증과 불안 장애의 발달 위험이 높으며 경험하지 못한 아이들보다 정서적으로 더 불안할 수 있다. 이와 같은 경우에는 지속적인 추적 관리가 필요하다.Children who have experienced trauma are at higher risk of developing depression and anxiety disorders and may be more emotionally anxious than children who have not experienced it. In such a case, continuous tracking management is required.

2001년 대비 2011년 인구 10만명 당 청소년 자살률은 3.19명에서 5.58명으로 57.2% 급증하였으며, 이것은 OECD 국가 중 자살률 1위에 해당되는 것이다.Compared to 2001, the youth suicide rate per 100,000 people jumped 57.2% from 3.19 to 5.58 in 2011, which is the highest among OECD countries.

또한, 정신 건강에 문제가 있는 청소년이 자살을 선택할 확률은 일반 청소년보다 13배 높은데, 청소년 12명 중 1명에게 정신질환이 있는 상태이다.In addition, adolescents with mental health problems are 13 times more likely to choose suicide than general adolescents, with 1 in 12 adolescents having a mental illness.

최근 5년간 청소년 정신건강 상담 건은 58만 건 증가하여 약 1500만 건에 육박한다. 2013년 기준, 전국 상담센터는 5,519개이지만, 학생의 수는 6,481,492명으로, 상담센터 1곳당 9,059명의 학생을 담당해야 하여 체계적이고 유기적인 상담체계가 열악한 상태이다.In the past five years, the number of adolescent mental health counseling cases has increased by 580,000, reaching about 15 million. As of 2013, there are 5,519 counseling centers nationwide, but the number of students is 6,481,492, and each counseling center has 9,059 students, so the systematic and organic counseling system is poor.

한편, 최근 고령화 증대에 의해 청소년뿐만 아니라, 노인들의 우울증도 크게 증가되고 있다.On the other hand, with the recent increase in the aging population, depression of not only adolescents but also the elderly is greatly increasing.

또한, 2016년 대구 경산 조사 결과, 20대의 청년층들도 스트레스 인지율이 41.5%나 되는 것으로 나타났다.In addition, as a result of a 2016 Daegu-Gyeongsan survey, it was found that 41.5% of young people in their 20s were also aware of stress.

이와 같이, 모든 세대에서 정신보건 위험도가 높아지고 있으며, 이러한 정신보건 위험도의 증가는 지자체 및 시민 재정에 부담으로 작용하고 있는 상태이다.As such, mental health risks are increasing in all generations, and this increase in mental health risks is putting a burden on local governments and citizens' finances.

하지만, 대다수의 지자체들은 예산 부족이나 인력 부족에 의해 적시에 보건 서비스를 제공하지 못하고 있다. 또한, 시민 개인도 상담이나 진단을 받을 수 있는 시간이나 경제적 여유가 없고, 정신과 치료에 부정적인 선입견을 가지고 있는 경우가 많아 제대로 된 정신건강 케어가 이루어지지 못하고 있다.However, most local governments are unable to provide health services in a timely manner due to lack of budget or manpower. In addition, individual citizens do not have the time or financial space to receive counseling or diagnosis, and there are many cases where they have negative preconceived notions about psychiatric treatment, so proper mental health care is not being provided.

이런 정신건강에 관한 사회 문제에 대응하기 위해 일상적이고 보편적인 환경에서 지속적인 뇌 활동의 측정과 전문 의료진의 검토가 필요한데, 종래 기술에서는 이를 위한 정확한 정신건강 진단 및 케어를 위한 기술 분야에서 한계가 있다.In order to respond to these social problems related to mental health, continuous measurement of brain activity and review by professional medical staff are required in everyday and universal environments, and there is a limit in the technical field for accurate mental health diagnosis and care in the prior art.

따라서, 정밀도를 높일 수 있는 복합적이고, 효율적인 정신건강 진단 및 케어를 통하여 효율적인 정신건강 관리가 가능하도록 하는 새로운 기술의 개발이 요구되고 있다.Therefore, there is a demand for the development of a new technology that enables efficient mental health management through complex and efficient mental health diagnosis and care that can increase precision.

대한민국 등록특허 제10-2074794호Republic of Korea Patent No. 10-2074794 대한민국 공개특허 제10-2019-0089678호Republic of Korea Patent Publication No. 10-2019-0089678 대한민국 공개특허 제10-2016-0031124호Republic of Korea Patent Publication No. 10-2016-0031124

본 발명은 종래 기술의 정신건강 진단 및 케어 기술의 문제점을 해결하기 위한 것으로, 뇌파 정보와 카메라 화상을 통한 얼굴 표정 인식을 이용하여 효율적인 정신건강 관리가 가능하도록 한 뇌파 정보와 표정 인식 기술을 이용하는 정신건강 진단 및 케어를 위한 시스템 및 방법을 제공하는데 그 목적이 있다.The present invention is to solve the problems of the mental health diagnosis and care technology of the prior art, and the mental health using EEG information and facial expression recognition technology that enables efficient mental health management using facial expression recognition through EEG information and camera images An object of the present invention is to provide a system and method for health diagnosis and care.

본 발명은 사용자가 개인의 집 또는 다중 이용자시설에 배치된 진단기기를 이용하여 표정 인식 및 분석을 위한 얼굴 화상 녹화와 함께 뇌파를 측정할 수 있고, 원격지에서 전문의가 상기 데이터를 분석하여 진단의견을 사용자에게 제시할 수 있도록 한 뇌파 정보와 표정 인식 기술을 이용하는 정신건강 진단 및 케어를 위한 시스템 및 방법을 제공하는데 그 목적이 있다.According to the present invention, a user can measure EEG along with facial image recording for expression recognition and analysis by using a diagnostic device placed in an individual's home or multi-user facility, and a specialist at a remote location analyzes the data to provide a diagnosis opinion. An object of the present invention is to provide a system and method for mental health diagnosis and care using brain wave information and expression recognition technology that can be presented to users.

본 발명은 사용자가 시스템의 UI 지시와 안내에 의해 자가 장착하여 뇌파 측정에 이용할 수 있는 웨어러블 장치와, 이 장치에 의해 측정된 신호를 1차 입력받아 이를 뇌파의 양적 분석을 위해 서버로 전송할 수 있는 사용자 측 진단기기, 진단기기로부터의 통신 결과를 양적 분석하고 그 결과를 원격의 전문의에게 제공하기 위한 서비스 관제부 플랫폼을 조직적으로 연결 구축하여 효율적인 정신건강 관리가 가능하도록 한 뇌파 정보와 표정 인식 기술을 이용하는 정신건강 진단 및 케어를 위한 시스템 및 방법을 제공하는데 그 목적이 있다.The present invention provides a wearable device that can be self-installed by a user according to the UI instruction and guidance of the system and used for EEG measurement, and a signal measured by the device that can receive the first input and transmit it to a server for quantitative analysis of EEG EEG information and expression recognition technology that enables efficient mental health management by systematically connecting and establishing a service control unit platform to quantitatively analyze user-side diagnostic devices and communication results from diagnostic devices and provide the results to remote specialists. An object of the present invention is to provide a system and method for mental health diagnosis and care.

본 발명은 사용자의 뇌파 및 행위와 표정 분석의 1차 양적 분석 결과 자료를 입수한 전문의가 그 정보를 진단에 반영할 수 있도록 체계적인 시스템 UI 보고로 제시하고, 전문의의 판단에 의해 해당 사용자와의 화상 상담 및 문진 진행, 이후 추가 진료 권고 등 즉시성 있는 대응을 할 수 있는 원격진단부를 제공하는 데에 목적이 있다.The present invention is presented as a systematic system UI report so that a specialist who has obtained the primary quantitative analysis result data of the user's brain wave and behavior and facial expression analysis can reflect the information in the diagnosis, and the image with the user is determined by the expert. The purpose of this is to provide a remote diagnosis department that can respond promptly, such as consulting and interviewing, and recommending additional treatment thereafter.

본 발명은 정신건강 진단을 수행할 전문의가 원격지에 있는 상태에서, 본 발명의 진단기기를 이용해 자가 뇌파 측정을 진행한 사용자가 측정 지침을 따라 정확한 행동을 수행하였는지, 측정, 전달된 뇌파 수집 데이터가 진단을 위한 신뢰성 있는 데이터인지 판별할 수 있는, 화상을 통한 사용자 행동과 표정 분석 결과를 병행 제공하는 데에 목적이 있다.The present invention relates to whether the user who performed self-eEG measurement using the diagnostic device of the present invention performed an accurate action according to the measurement guideline while the specialist who will perform the mental health diagnosis is at a remote location, measured and transmitted EEG data The purpose of this is to provide both user behavior and facial expression analysis results through images, which can determine whether the data is reliable for diagnosis.

또한, 본 발명은 이 시스템에 참여하여 자가 측정과 데이터 추출을 수행하는 사용자와 원격지의 전문의에 대해 시스템 접속의 계정과 개인 측정 데이터의 투명한 관리를 위한 블록체인 기반 분산 장부로 데이터 트랜잭션 관리 기술과 그에 따르는 참여에 의한 성과 보상 체계를 제공하는 데에 목적이 있다.In addition, the present invention is a blockchain-based distributed ledger for transparent management of system access accounts and personal measurement data for users and remote specialists who participate in this system and perform self-measurement and data extraction. It aims to provide a performance reward system based on participation.

본 발명의 다른 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.Other objects of the present invention are not limited to the above-mentioned objects, and other objects not mentioned will be clearly understood by those skilled in the art from the following description.

상기와 같은 목적을 달성하기 위한 본 발명에 따른 뇌파 정보와 표정 인식 기술을 이용하는 정신건강 진단 및 케어를 위한 시스템은 사용자의 뇌파와 카메라를 통한 화상 정보를 동시에 수집하는 진단기기;사용자의 개인 정보를 블록체인 기술 기반의 스마트 컨트랙트를 이용하는 거래 장부를 저장 및 관리하고, 상기 진단 기기로부터 제공되는 수집 데이터를 분석하여 1차 분석 리포트 생성하여 전문의에게 제공하는 관제부;관제부에서 제공되는 1차 분석 리포트 및 뇌파 정보와 표정 인식 데이터를 원격의 전문의가 확인할 수 있도록 제공하고, 필요에 따라 사용자와의 원격 화상 진단 기능을 이용할 수 있도록 지원하는 원격 진단부;상기 사용자와 상기 전문의가 서로 상담할 수 있게 중개하는 애플리케이션부;상기 진단기기를 이용한 사용자에게 정신건강 진단 및 케어 서비스 활성화에 기여한 성과를 보상하기 위해, 상기 사용자의 휴대전화로 바우처를 지급하는 기여보상부;를 포함하는 것을 특징으로 한다.A system for mental health diagnosis and care using brain wave information and facial expression recognition technology according to the present invention for achieving the above object is a diagnostic device that simultaneously collects image information through a user's brain waves and a camera; A control unit that stores and manages a transaction book using a smart contract based on block chain technology, generates a primary analysis report by analyzing the collected data provided from the diagnostic device, and provides it to a specialist; Primary analysis report provided by the control unit and a remote diagnosis unit that provides EEG information and facial expression recognition data so that a remote specialist can check it, and supports to use a remote image diagnosis function with a user if necessary; Mediation so that the user and the specialist can consult with each other and an application unit; a contribution compensation unit that pays a voucher to the user's mobile phone in order to reward the user using the diagnosis device for performance contributing to the activation of mental health diagnosis and care services.

여기서, 상기 진단기기는 사용자의 집 또는 다중 이용자시설에 배치되며, 사용자의 자율신경 나이,스트레스,누적피로도,심장건강도를 분석하기 위한 맥파 측정 및 두뇌건강점수,집중도,두뇌 스트레스,두뇌 활동정보를 분석하기 위한 뇌파를 측정하는 것을 특징으로 한다.Here, the diagnostic device is disposed at the user's home or multi-user facility, and pulse wave measurement and brain health score, concentration, brain stress, and brain activity information for analyzing the user's autonomic nerve age, stress, cumulative fatigue, and heart health It is characterized by measuring the EEG for analysis.

*24그리고 상기 진단기기는 사용자가 착용할 수 있는 웨어러블 장치인 것을 특징으로 한다.*24And the diagnostic device is a wearable device that a user can wear.

그리고 상기 진단기기는, 사용자의 뇌파를 수집하는 전극과 아날로그-디지털 변환을 수행하는 웨어러블 측정 장치로 구성되는 뇌파 측정 수단과,뇌파 정보 측정 시의 사용자의 행동과 얼굴을 촬영할 수 있는 카메라 장치를 구비하는 화상정보 획득부와,뇌파 측정 수단 및 화상정보 획득부를 통하여 수집된 사용자의 뇌파 정보와 표정 인식 데이터를 관제부로 전송하는 놔파정보 및 화상정보 전송부를 포함하는 것을 특징으로 한다.In addition, the diagnostic device includes an EEG measuring device comprising an electrode for collecting the user's EEG and a wearable measuring device for performing analog-to-digital conversion, and a camera device capable of photographing the user's behavior and face when measuring EEG information. It is characterized in that it comprises an image information acquisition unit, and brain wave information and image information transmission unit for transmitting the brain wave information and facial expression recognition data of the user collected through the EEG measurement means and the image information acquisition unit to the control unit.

그리고 상기 관제부는, 뇌파 정보와 표정 인식 기술을 이용하는 정신건강 진단 및 케어를 위하여 등록되는 개인 정보를 저장하는 개인 정보 저장부와,사용자의 뇌파 및 행위와 표정 분석의 1차 양적 분석을 하는 감정 분석부와,블록체인 네트워크 기술 기반의 스마트 계약(Smart Contract)으로 이루어진 각 사용자와 전문의 계정의 관리를 하는 계정 관리부와,진단기기로부터 제공받은 원본 데이터 및 감정 분석부에서의 1차 분석 결과, 전문의에 의한 진단 결과를 저장하는 데이터 및 분석 결과 저장부와,감정 분석부에서 분석된 1차 분석 리포트를 원격 진단부를 통하여 전문의가 확인할 수 있도록 제공하는 1차 분석 리포트 제공부와,전문의 진단 결과에 따라 사용자와의 원격 화상 진단 기능을 이용할 수 있도록 지원하는 화상 통신 지원부를 포함하는 것을 특징으로 한다.And the control unit, a personal information storage unit that stores personal information registered for mental health diagnosis and care using brain wave information and facial expression recognition technology, and emotion analysis that performs a primary quantitative analysis of the user's brain waves and behavior and facial expression analysis The first analysis result from the account management unit that manages the accounts of each user and expert, which consists of a smart contract based on the wealth and block chain network technology, and the original data and emotion analysis unit provided from the diagnostic device, A data and analysis result storage unit that stores the diagnosis result by Accordingly, it characterized in that it includes a video communication support unit that supports to use a remote image diagnosis function with the user.

그리고 상기 애플리케이션부는, 사용자와 전문의가 서로 화상 상담을 할 수 있게 중개하는 화상 상담 중개부와,데이터 및 분석 결과 저장부에 저장된 진단 결과에 따라 고위험군으로 판단되는 경우에 관제부에 의한 고위험군 추적관리 프로세스에 의한 추가 진료를 포함하는 의료 정보를 사용자에게 제공하는 고위험군 추적관리부와,기여보상부를 통한 정신건강 진단 및 케어 서비스 활성화에 기여한 성과 보상 결과를 확인 및 관리할 수 있도록 지원하는 기여보상 관리부를 포함하는 것을 특징으로 한다.And the application unit, a video consultation intermediary unit that mediates so that a user and a specialist can have video consultation with each other, and a high-risk group tracking management process by the control unit when it is determined as a high-risk group according to the diagnosis result stored in the data and analysis result storage unit A high-risk group tracking management unit that provides users with medical information including additional treatment by characterized in that

그리고 화상을 통한 사용자 행동과 표정 분석 결과를 병행 제공하여, 상기 원격 진단부를 통하여 정신건강 진단을 수행할 전문의가 원격지에 있는 상태에서, 진단기기를 이용해 자가 뇌파 측정을 진행한 사용자가 측정 지침을 따라 정확한 행동을 수행하였는지, 측정 및 전달된 뇌파 수집 데이터가 진단을 위한 신뢰성 있는 데이터인지 판별할 수 있도록 하는 것을 특징으로 한다.In addition, by providing the results of user behavior and facial expression analysis through images in parallel, the user who performed self EEG measurement using a diagnostic device in a state where a specialist who will perform mental health diagnosis through the remote diagnosis unit is at a remote location follows the measurement guidelines It is characterized in that it is possible to determine whether the correct action was performed and whether the measured and transmitted EEG data is reliable data for diagnosis.

그리고 상기 기여보상부는, 상기 전문의에게도 바우처를 지급하는 것을 특징으로 한다.And the contribution compensation unit, characterized in that the voucher is also paid to the specialist.

다른 목적을 달성하기 위한 본 발명에 따른 뇌파 정보와 표정 인식 기술을 이용하는 정신건강 진단 및 케어를 위한 방법은 블록체인 네트워크 기술 기반의 스마트 계약(Smart Contract)으로 이루어진 각 사용자와 전문의 계정의 관리를 통하여 사용자 등록 및 정신건강 진단 및 케어 서비스 요청이 있는 경우에, 사용자의 뇌파 정보와 사용자 화상을 수집하는 단계;원격 진단부가 1차 분석 리포트 및 뇌파 정보와 표정 인식 데이터를 원격의 전문의가 확인할 수 있도록 제공하여 전문의 진단을 받는 단계;전문의 진단 결과에 따라 사용자와의 원격 화상 진단이 필요한 경우에 애플리케이션부를 통하여 사용자와 전문의가 서로 화상 상담을 할 수 있게 중개하는 단계;진단 결과를 사용자에게 제공하고, 진단기기를 이용한 사용자 및 전문의에게 정신건강 진단 및 케어 서비스 활성화에 기여한 성과를 보상하기 위해 바우처 지급을 하는 단계;를 포함하는 것을 특징으로 한다.The method for mental health diagnosis and care using brain wave information and facial expression recognition technology according to the present invention for achieving another object is to manage each user and specialist account made of a smart contract based on block chain network technology. Collecting user's EEG information and user image when there is a user registration and a request for mental health diagnosis and care service through the user; providing a diagnosis by a specialist; mediating a video consultation between the user and the specialist through the application unit when remote image diagnosis with the user is required according to the diagnosis result of the specialist; providing the diagnosis result to the user; , providing a voucher to reward users and specialists using the diagnostic device for achievements contributed to the activation of mental health diagnosis and care services;

이상에서 설명한 바와 같은 본 발명에 따른 뇌파 정보와 표정 인식 기술을 이용하는 정신건강 진단 및 케어를 위한 시스템 및 방법은 다음과 같은 효과가 있다.The system and method for mental health diagnosis and care using brain wave information and facial expression recognition technology according to the present invention as described above have the following effects.

첫째, 뇌파 정보와 카메라 화상을 통한 얼굴 표정 인식을 이용하여 효율적인 정신건강 관리가 가능하도록 한다.First, it enables efficient mental health management by using EEG information and facial expression recognition through camera images.

둘째, 사용자가 개인의 집 또는 다중 이용자시설에 배치된 진단기기를 이용하여 표정 인식 및 분석을 위한 얼굴 화상 녹화와 함께 뇌파를 측정할 수 있고, 원격지에서 전문의가 상기 데이터를 분석하여 진단의견을 사용자에게 제시할 수 있도록 하여 사용자의 편리성을 높이는 효과가 있다.Second, the user can measure EEG along with facial image recording for expression recognition and analysis by using a diagnostic device placed in an individual's home or multi-user facility, and a specialist at a remote location analyzes the data to provide a diagnostic opinion to the user. It has the effect of increasing the user's convenience by making it possible to present it to the user.

셋째, 사용자가 개인의 집이나 다중 이용자시설에 배치된 원격진단부와 그에 겸비된 진단기기를 이용하여 뇌파를 측정할 수 있으며, 시스템은 이와 같은 자가 측정 시의 사용자 행동 및 얼굴 표정 정보를 같이 분석하여 1차 분석을 수행하고 플랫폼 관제부에 의해 전문의에 전달하므로, 보다 자유롭게 자신의 정신을 진단받을 수 있도록 한다.Third, the user can measure EEG using a remote diagnostic unit placed in an individual's home or multi-user facility and a diagnostic device equipped with it, and the system analyzes user behavior and facial expression information during such self-measurement. Thus, the primary analysis is performed and transmitted to the specialist by the platform control unit, so that one's mind can be diagnosed more freely.

넷째, 사용자의 뇌파 정보는 전문의에게 전달된 후 분석 결과가 사용자 개인에게만 전달되므로, 정신 치료에 선입견이 있는 사용자라 하더라도 필요할 때에 진단을 받을 수 있도록 한다.Fourth, since the user's EEG information is transmitted to a specialist and the analysis result is transmitted only to the user, even a user with a preconceived notion in mental treatment can receive a diagnosis when necessary.

다섯째, 사용자 및 전문의에게 블록체인 기술을 이용한 성과 보상 바우처를 제공함에 따라, 정신진단 시스템의 활용성을 높일 수 있도록 한다.Fifth, by providing performance reward vouchers using blockchain technology to users and specialists, it is possible to increase the utility of the mental diagnosis system.

도 1은 본 발명에 따른 뇌파 정보와 표정 인식 기술을 이용하는 정신건강 진단 및 케어를 위한 시스템의 전체 구성도
도 2는 본 발명에 따른 진단기기의 상세 구성도
도 3은 본 발명에 따른 관제부의 상세 구성도
도 4는 애플리케이션부의 상세 구성도
도 5는 본 발명에 따른 뇌파 정보와 표정 인식 기술을 이용하는 정신건강 진단 및 케어를 위한 방법을 나타낸 플로우 차트1 is an overall configuration diagram of a system for mental health diagnosis and care using EEG information and facial expression recognition technology according to the present invention;
2 is a detailed configuration diagram of a diagnostic device according to the present invention;
3 is a detailed configuration diagram of a control unit according to the present invention;
4 is a detailed configuration diagram of the application unit;
5 is a flowchart illustrating a method for mental health diagnosis and care using EEG information and facial expression recognition technology according to the present invention;

이하, 본 발명에 따른 뇌파 정보와 표정 인식 기술을 이용하는 정신건강 진단 및 케어를 위한 시스템 및 방법의 바람직한 실시 예에 관하여 상세히 설명하면 다음과 같다.Hereinafter, preferred embodiments of a system and method for mental health diagnosis and care using EEG information and facial expression recognition technology according to the present invention will be described in detail as follows.

본 발명에 따른 뇌파 정보와 표정 인식 기술을 이용하는 정신건강 진단 및 케어를 위한 시스템 및 방법의 특징 및 이점들은 이하에서의 각 실시 예에 대한 상세한 설명을 통해 명백해질 것이다.Features and advantages of the system and method for mental health diagnosis and care using EEG information and facial recognition technology according to the present invention will become apparent through detailed description of each embodiment below.

도 1은 본 발명에 따른 뇌파 정보와 표정 인식 기술을 이용하는 정신건강 진단 및 케어를 위한 시스템의 전체 구성도이다.1 is an overall configuration diagram of a system for mental health diagnosis and care using brain wave information and facial expression recognition technology according to the present invention.

본 발명에 따른 뇌파 정보와 표정 인식 기술을 이용하는 정신건강 진단 및 케어를 위한 시스템 및 방법은 뇌파 정보와 카메라 화상을 통한 얼굴 표정 인식을 이용하여 효율적인 정신건강 관리가 가능하도록 한 것이다.The system and method for mental health diagnosis and care using EEG information and facial expression recognition technology according to the present invention enables efficient mental health management using EEG information and facial expression recognition through camera images.

이를 위하여 본 발명은 사용자가 개인의 집 또는 다중 이용자시설에 배치된 진단기기를 이용하여 표정 인식 및 분석을 위한 얼굴 화상 녹화와 함께 뇌파를 측정할 수 있고, 원격지에서 전문의가 상기 데이터를 분석하여 진단의견을 사용자에게 제시할 수 있도록 하는 구성을 포함할 수 있다.To this end, the present invention allows a user to measure EEG along with a facial image recording for expression recognition and analysis using a diagnostic device placed in a personal home or multi-user facility, and a specialist at a remote location analyzes the data for diagnosis It may include a configuration that allows comments to be presented to the user.

본 발명은 사용자가 시스템의 UI 지시와 안내에 의해 자가 장착하여 뇌파 측정에 이용할 수 있는 웨어러블 장치와, 이 장치에 의해 측정된 신호를 1차 입력받아 이를 뇌파의 양적 분석을 위해 서버로 전송할 수 있는 사용자 측 진단기기, 진단기기로부터의 통신 결과를 양적 분석하고 그 결과를 원격의 전문의에게 제공하기 위한 서비스 관제부 플랫폼을 조직적으로 연결 구축하는 구성을 포함할 수 있다.The present invention provides a wearable device that can be self-installed by a user according to the UI instruction and guidance of the system and used for EEG measurement, and a signal measured by the device that can receive the first input and transmit it to a server for quantitative analysis of EEG It may include a configuration for systematically connecting and establishing a service control unit platform for quantitatively analyzing a user-side diagnostic device and a communication result from the diagnostic device and providing the result to a remote specialist.

본 발명은 사용자의 뇌파 및 행위와 표정 분석의 1차 양적 분석 결과 자료를 입수한 전문의가 그 정보를 진단에 반영할 수 있도록 체계적인 시스템 UI 보고로 제시하고, 전문의의 판단에 의해 해당 사용자와의 화상 상담 및 문진 진행, 이후 추가 진료 권고 등 즉시성 있는 대응을 할 수 있는 원격진단부를 포함할 수 있다.The present invention is presented as a systematic system UI report so that a specialist who has obtained the primary quantitative analysis result data of the user's brain wave and behavior and facial expression analysis can reflect the information in the diagnosis, and the image with the user is determined by the expert. It may include a remote diagnosis unit that can respond promptly, such as counseling and interviewing, and recommending additional treatment thereafter.

본 발명은 정신건강 진단을 수행할 전문의가 원격지에 있는 상태에서, 진단기기를 이용해 자가 뇌파 측정을 진행한 사용자가 측정 지침을 따라 정확한 행동을 수행하였는지, 측정, 전달된 뇌파 수집 데이터가 진단을 위한 신뢰성 있는 데이터인지 판별할 수 있는, 화상을 통한 사용자 행동과 표정 분석 결과를 병행 제공하는 구성을 포함할 수 있다.The present invention relates to whether the user who performed self EEG measurement using a diagnostic device performed an accurate action according to the measurement guideline while the specialist who will perform the mental health diagnosis is at a remote location, and whether the measured and transmitted EEG data is used for diagnosis. It may include a configuration that simultaneously provides a result of analyzing user behavior and facial expression through an image, which can determine whether the data is reliable or not.

또한, 본 발명에 따른 시스템에 참여하여 자가 측정과 데이터 추출을 수행하는 사용자와 원격지의 전문의에 대해 시스템 접속의 계정과 개인 측정 데이터의 투명한 관리를 위한 블록체인 기반 분산 장부로 데이터 트랜잭션 관리 기술과 그에 따르는 참여에 의한 성과 보상 체계를 제공하는 구성을 포함할 수 있다.In addition, it is a blockchain-based distributed ledger for transparent management of system access accounts and personal measurement data for users and remote specialists who participate in the system according to the present invention and perform self-measurement and data extraction. It may include a configuration that provides a performance-based reward system for participation.

본 발명에 이용되는 뇌파 측정이란, 뇌 활동의 경향을 파악하기 위해 뇌 활동의 결과로 발생하는 전기 신호를 비침습적인 방법을 통해 검출하는 것으로, 두피에 전극을 부착하여 측정한 전기 신호를 분석하여 뇌 활동과 정신의 건강 상태에 대한 다양한 지표를 얻는 것을 통칭한다.EEG measurement used in the present invention is to detect electrical signals generated as a result of brain activity through a non-invasive method in order to grasp the trend of brain activity, and to analyze the electrical signals measured by attaching electrodes to the scalp. Collectively, it refers to obtaining various indicators of brain activity and mental health.

이때, 인간의 통상적인 뇌파는 진동하는 주파수의 범위에 따라 관행적으로 델타(δ)파(0.2 ~ 3.99 Hz), 쎄타(θ)파(4 ~ 7.99 Hz), 알파(α)파(8 ~ 12.99 Hz), 베타(β)파(13 ~ 29.99 Hz), 감마(g)파(30~50 Hz)로 구분하여 부르며, 이 주파수 대역 신호들에 대한 다양한 양적 수치 해석을 통한 분석을 통칭 qEEG 기술이라 칭하고 있다.At this time, according to the range of oscillating frequencies, the typical human brain waves are conventionally delta (δ) waves (0.2 to 3.99 Hz), theta (θ) waves (4 to 7.99 Hz), alpha (α) waves (8 to 12.99 Hz), beta (β) wave (13 ~ 29.99 Hz), and gamma (g) wave (30 ~ 50 Hz) are called qEEG technology, and analysis through various quantitative numerical analysis of these frequency band signals is collectively called qEEG technology. is called

그리고 표정 인식 기술은, 통상적인 기능의 카메라를 이용하여 촬영된 디지털 화상 또는 디지털 동화상으로부터 디지털 이미지 처리 기술을 통해 사용자의 머리와 안면 부위를 인식하고 특징점을 추출하여 사용자의 행동을 감지하고, 시각적으로 드러나는 정신적 상태와 감정적인 상태를 인식하는 기술을 말한다.And the expression recognition technology recognizes the user's head and face area through digital image processing technology from a digital image or digital moving image taken using a camera with a normal function, extracts feature points, detects the user's behavior, and visually It refers to the art of recognizing manifest mental and emotional states.

본 발명에 따른 뇌파 정보와 표정 인식 기술을 이용하는 정신건강 진단 및 케어를 위한 시스템은 도 1에서와 같이, 사용자의 뇌파 정보와 표정 인식 데이터를 관제부(110)로 제공하는 진단기기(120)와, 상기 사용자의 개인 정보를 블록체인 기술 기반의 스마트 컨트랙트를 이용하는 거래 장부를 저장 및 관리하고, 상기 진단 기기(120)로부터 제공되는 수집 데이터를 분석하여 1차 분석 리포트 생성하여 원격진단부(130)를 통해 전문의에게 제공하는 관제부(110)와, 관제부(110)에서 제공되는 1차 분석 리포트 및 뇌파 정보와 표정 인식 데이터를 원격의 전문의가 확인할 수 있도록 제공하고, 필요에 따라 사용자와의 원격 화상 진단 기능을 이용할 수 있도록 지원하는 원격 진단부(130)와, 상기 사용자와 상기 전문의가 서로 상담할 수 있게 중개하는 애플리케이션부(140)와, 상기 진단기기(120)를 이용한 사용자에게 정신건강 진단 및 케어 서비스 활성화에 기여한 성과를 보상하기 위해, 상기 사용자의 휴대전화로 바우처를 지급하는 기여보상부(150)를 포함한다.The system for mental health diagnosis and care using EEG information and expression recognition technology according to the present invention includes a diagnostic device 120 that provides EEG information and expression recognition data of a user to the control unit 110 as shown in FIG. 1 and , the remote diagnosis unit 130 by storing and managing the user's personal information using a smart contract based on block chain technology, and analyzing the collected data provided from the diagnosis device 120 to generate a primary analysis report. The control unit 110 provided to the specialist through A remote diagnosis unit 130 that supports the use of an image diagnosis function, an application unit 140 that mediates so that the user and the specialist can consult with each other, and a mental health diagnosis for a user using the diagnosis device 120 and a contribution compensation unit 150 for providing a voucher to the user's mobile phone in order to compensate for the performance contributed to the activation of the care service.

여기서, 상기 진단기기(120)는 사용자의 집 또는 학교, 지하철, 관공서 건물을 포함하는 다중 이용자 시설에 배치되며, 사용자의 뇌파를 측정하고 이 때 사용자의 행동 및 표정을 통한 상태 분석을 위한 화상 자료를 기록한다.Here, the diagnostic device 120 is disposed in the user's home or multi-user facility including a school, subway, and public office building, measures the user's brain waves, and at this time, image data for state analysis through the user's actions and facial expressions record

상기 진단기기(120)는 사용자의 자율신경 나이,스트레스,누적피로도,심장건강도를 분석하기 위한 맥파 측정 및 두뇌건강점수,집중도,두뇌 스트레스,두뇌 활동정보를 분석하기 위한 뇌파를 측정할 수 있고, 이로 제한되지 않는다.The diagnostic device 120 may measure a pulse wave measurement for analyzing the user's autonomic nerve age, stress, cumulative fatigue, and heart health and an EEG for analyzing brain health score, concentration, brain stress, and brain activity information. , but not limited thereto.

진단기기(120)의 상세 구성은 다음과 같다.The detailed configuration of the diagnostic device 120 is as follows.

도 2는 본 발명에 따른 진단기기의 상세 구성도이다.2 is a detailed configuration diagram of a diagnostic device according to the present invention.

진단기기(120)는 사용자의 뇌파를 수집하는 전극과 아날로그-디지털 변환을 수행하는 웨어러블 측정 장치로 구성되는 뇌파 측정 수단(21)과, 뇌파 정보 측정 시의 사용자의 행동과 얼굴을 촬영할 수 있는 카메라 장치를 구비하는 화상정보 획득부(22)와, 뇌파 측정 수단(21) 및 화상정보 획득부(22)를 통하여 수집된 사용자의 뇌파 정보와 표정 인식 데이터를 관제부(110)로 전송하는 놔파정보 및 화상정보 전송부(23)를 포함한다.The diagnostic device 120 includes an EEG measuring device 21 comprising electrodes for collecting EEG of the user and a wearable measuring device that performs analog-to-digital conversion, and a camera capable of photographing the user's behavior and face when measuring EEG information. Brain wave information for transmitting the user's brain wave information and facial expression recognition data collected through the image information acquisition unit 22 having the device, the brain wave measurement means 21 and the image information acquisition unit 22 to the control unit 110 . and an image information transmission unit 23 .

그리고 상기 기여보상부(150)는 관제부(110)에서 제공되는 1차 분석 리포트 및 뇌파 정보와 표정 인식 데이터를 원격에서 확인하고, 화상 상담을 수행하고 진단하는 상기 전문의에게도 바우처를 지급한다.And the contribution compensation unit 150 remotely checks the primary analysis report and EEG information and expression recognition data provided by the control unit 110, and provides a voucher to the specialist who performs video consultation and diagnoses.

그리고 관제부(110)는 사용자의 기본 측정 데이터를 qEEG 분석, 화상 정보를 통한 행동, 집중도, 표정을 통한 감정 분석을 위한 알고리즘을 탑재하고, 블록체인 네트워크 기술 기반의 스마트 계약(Smart Contract)으로 이루어진 각 사용자와 전문의 계정의 관리, 시스템 접속과 데이터 유통 내용, 데이터 원본 및 분석 결과에 대한 저장 내용 등을 관리하는 것이다.And the control unit 110 is equipped with an algorithm for qEEG analysis of the user's basic measurement data, emotion analysis through behavior, concentration, and facial expression through image information, and consists of a smart contract based on block chain network technology. It is to manage each user and expert account management, system access and data distribution contents, data source and storage contents of analysis results, etc.

또한, 관제부(110)는 상기 사용자와 상기 전문의가 화상을 통해 서로 상담할 수 있게 중개하는 화상 통신 서버 기능을 포함한다.In addition, the control unit 110 includes a video communication server function that mediates so that the user and the specialist can consult each other through video.

관제부(110)의 상세 구성은 다음과 같다.The detailed configuration of the control unit 110 is as follows.

도 3은 본 발명에 따른 관제부의 상세 구성도이다.3 is a detailed configuration diagram of a control unit according to the present invention.

관제부(110)는 도 3에서와 같이, 뇌파 정보와 표정 인식 기술을 이용하는 정신건강 진단 및 케어를 위하여 등록되는 개인 정보를 저장하는 개인 정보 저장부(31)와, 사용자의 뇌파 및 행위와 표정 분석의 1차 양적 분석을 하는 감정 분석부(32)와, 블록체인 네트워크 기술 기반의 스마트 계약(Smart Contract)으로 이루어진 각 사용자와 전문의 계정의 관리를 하는 계정 관리부(33)와, 진단기기(120)로부터 제공받은 원본 데이터 및 감정 분석부(32)에서의 1차 분석 결과, 전문의에 의한 진단 결과를 저장하는 데이터 및 분석 결과 저장부(34)와, 감정 분석부(32)에서 분석된 1차 분석 리포트를 원격 진단부(130)를 통하여 전문의가 확인할 수 있도록 제공하는 1차 분석 리포트 제공부(35)와, 전문의 진단 결과에 따라 사용자와의 원격 화상 진단 기능을 이용할 수 있도록 지원하는 화상 통신 지원부(36)를 포함한다.The control unit 110 includes a personal information storage unit 31 that stores personal information registered for mental health diagnosis and care using brain wave information and facial expression recognition technology, and a user's brain waves and actions and facial expressions, as shown in FIG. 3 . An emotion analysis unit 32 that performs the primary quantitative analysis of analysis, an account management unit 33 that manages accounts of each user and a specialist consisting of a smart contract based on block chain network technology, and a diagnostic device ( 120) and the first analysis result in the emotion analysis unit 32, the data and analysis result storage unit 34 for storing the diagnosis result by the specialist, and the 1 analyzed by the emotion analysis unit 32 The primary analysis report providing unit 35 that provides the difference analysis report so that the specialist can check it through the remote diagnosis unit 130, and the image that supports the use of the remote image diagnosis function with the user according to the diagnosis result of the specialist and a communication support unit 36 .

그리고 애플리케이션부(140)의 상세 구성은 다음과 같다.And the detailed configuration of the application unit 140 is as follows.

도 4는 애플리케이션부의 상세 구성도이다.4 is a detailed configuration diagram of the application unit.

애플리케이션부(140)는 도 4에서와 같이, 사용자와 전문의가 서로 화상 상담을 할 수 있게 중개하는 화상 상담 중개부(41)와, 데이터 및 분석 결과 저장부(34)에 저장된 진단 결과에 따라 고위험군으로 판단되는 경우에 관제부(110)에 의한 고위험군 추적관리 프로세스에 의한 추가 진료를 포함하는 의료 정보를 사용자에게 제공하는 고위험군 추적관리부(42)와, 기여보상부(150)를 통한 정신건강 진단 및 케어 서비스 활성화에 기여한 성과 보상 결과를 확인 및 관리할 수 있도록 지원하는 기여보상 관리부(43)를 포함한다.As shown in FIG. 4 , the application unit 140 is a high-risk group according to the diagnosis result stored in the video consultation intermediary unit 41 and the data and analysis result storage unit 34 , which mediate so that the user and the specialist can have video consultation with each other. High-risk group tracking management unit 42, which provides the user with medical information including additional treatment by the high-risk group tracking management process by the control unit 110, and mental health diagnosis and It includes a contribution compensation management unit 43 that supports to check and manage the performance compensation results that contributed to the activation of the care service.

본 발명에 따른 뇌파 정보와 표정 인식 기술을 이용하는 정신건강 진단 및 케어를 위한 방법을 구체적으로 설명하면 다음과 같다.A method for mental health diagnosis and care using EEG information and facial expression recognition technology according to the present invention will be described in detail as follows.

도 5는 본 발명에 따른 뇌파 정보와 표정 인식 기술을 이용하는 정신건강 진단 및 케어를 위한 방법을 나타낸 플로우 차트이다.5 is a flowchart illustrating a method for mental health diagnosis and care using brain wave information and facial expression recognition technology according to the present invention.

블록체인 네트워크 기술 기반의 스마트 계약(Smart Contract)으로 이루어진 각 사용자와 전문의 계정의 관리를 통하여 사용자 등록 및 정신건강 진단 및 케어 서비스 요청이 있는 경우에, 먼저, 사용자의 뇌파를 수집하는 전극과 아날로그-디지털 변환을 수행하는 웨어러블 측정 장치로 구성되는 뇌파 측정 수단(21)과 뇌파 정보 측정 시의 사용자의 행동과 얼굴을 촬영할 수 있는 카메라 장치를 구비하는 화상정보 획득 수단을 갖는 진단기기(120)가 사용자의 뇌파 정보와 사용자 화상을 수집하는 단계(S501)를 수행한다.In case of user registration and mental health diagnosis and care service request through management of each user and specialist account made of a smart contract based on blockchain network technology, first, electrodes and analogs that collect the user's brain waves - A diagnostic device 120 having an EEG measuring means 21 composed of a wearable measuring device that performs digital conversion and an image information obtaining means having a camera device capable of photographing a user's behavior and face when measuring EEG information A step (S501) of collecting the user's brain wave information and the user's image is performed.

이어, 원격 진단부(130)가 1차 분석 리포트 및 뇌파 정보와 표정 인식 데이터를 원격의 전문의가 확인할 수 있도록 제공하여 전문의 진단을 받는 단계(S502)를 수행한다.Then, the remote diagnosis unit 130 provides the primary analysis report, EEG information, and facial expression recognition data so that the remote specialist can confirm the diagnosis by the specialist ( S502 ).

그리고 전문의 진단 결과에 따라 사용자와의 원격 화상 진단이 필요한 경우에 애플리케이션부(140)를 통하여 사용자와 전문의가 서로 화상 상담을 할 수 있게 중개하는 단계(S503)를 수행한다.In addition, if remote image diagnosis with the user is required according to the diagnosis result of the specialist, a step (S503) of mediating between the user and the specialist through the application unit 140 is performed so that the user and the specialist can have video consultation with each other.

이어, 진단 결과를 사용자에게 제공하고, 진단기기(120)를 이용한 사용자 및 전문의에게 정신건강 진단 및 케어 서비스 활성화에 기여한 성과를 보상하기 위해 바우처 지급을 하는 단계(S504)를 수행한다.Next, a step (S504) of providing the diagnosis result to the user and providing a voucher to the user and the specialist using the diagnosis device 120 is performed to compensate the performance contributing to the activation of mental health diagnosis and care service (S504).

이상에서 설명한 본 발명에 따른 뇌파 정보와 표정 인식 기술을 이용하는 정신건강 진단 및 케어를 위한 시스템 및 방법은 사용자가 개인의 집 또는 다중 이용자시설에 배치된 진단기기를 이용하여 표정 인식 및 분석을 위한 얼굴 화상 녹화와 함께 뇌파를 측정할 수 있고, 원격지에서 전문의가 상기 데이터를 분석하여 진단의견을 사용자에게 제시할 수 있도록 한 것이다.The system and method for mental health diagnosis and care using EEG information and facial expression recognition technology according to the present invention described above is a system and method for a user to recognize and analyze a face by using a diagnostic device disposed in an individual's home or multi-user facility. It is possible to measure EEG along with image recording, and a specialist at a remote location analyzes the data to present a diagnostic opinion to the user.

이상에서의 설명에서와 같이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 본 발명이 구현되어 있음을 이해할 수 있을 것이다.As described above, it will be understood that the present invention is implemented in a modified form without departing from the essential characteristics of the present invention.

그러므로 명시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 하고, 본 발명의 범위는 전술한 설명이 아니라 특허청구 범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.Therefore, the specified embodiments are to be considered in an illustrative rather than a restrictive view, the scope of the present invention is indicated in the claims rather than the foregoing description, and all differences within the scope equivalent thereto are included in the present invention. will have to be interpreted.

110. 관제부
120. 진단기기
130. 원격진단부
140. 애플리케이션부
150. 기여보상부110. Control Department
120. Diagnostics
130. Remote Diagnosis Department
140. Applications Department
150. Contribution Compensation Department

Claims (6)

뇌파 정보와 표정 인식 기술을 이용하는 정신건강 진단 및 케어를 위한 시스템에 있어서,
상기 시스템은,
사용자의 뇌파 정보와 표정 인식 정보를 포함하는 수집 데이터를 획득하는 진단기기;
상기 진단 기기로부터 제공되는 상기 수집 데이터를 양적 수치 해석을 통해 분석하여 1차 분석 리포트를 생성하는 관제부;
상기 1차 분석 리포트 및 상기 수집 데이터를 획득하여 원격의 전문의가 확인할 수 있도록 제공하는 원격 진단부;
상기 1차 분석 리포트 및 상기 수집 데이터에 대응하고 상기 전문의에 의해 생성된 진단 결과를 획득하고, 상기 진단 결과에 따라 상기 사용자와 상기 전문의가 원격 화상 진단 기능을 이용하도록 지원하는 화상 통신 지원부;
상기 사용자 및 상기 전문의가 상기 원격 진단 기능을 이용하는 경우, 상기 사용자와 상기 전문의가 서로 상담할 수 있게 중개하는 애플리케이션부;
상기 진단기기를 이용한 사용자에게 정신건강 진단 및 케어 서비스 활성화에 기여한 성과를 보상하기 위해, 상기 사용자 및 상기 전문의의 휴대전화로 바우처를 지급하는 기여 보상부;를 포함하며,
상기 관제부는,
상기 사용자와 상기 전문의의 상기 시스템 접속을 위한 계정 및 상기 수집 데이터를 블록체인 기술 기반의 스마트 계약을 이용하는 거래 장부를 저장 및 관리하고,
상기 1차 분석 리포트에서 상기 뇌파 정보와 관련된 분석은,
특정 주파수 대역 신호들에 대한 다양한 양적 수치 해석에 기반하여 수행되고,
상기 1차 분석 리포트에서 상기 표정 인식 정보와 관련된 분석은,
카메라를 이용하여 촬영된 디지털 화상 또는 디지털 동화상으로부터 디지털 이미지 처리 기술을 통해 상기 사용자의 머리와 안면 부위를 인식하고 특징점을 추출하여 상기 사용자의 행동을 감지하고, 시각적으로 드러나는 정신적 상태와 감정적인 상태를 인식하는 동작에 기반하여 수행되고,
상기 뇌파 정보 및 상기 표정 인식 정보는, 상기 사용자가 착용하는 웨어러블 기기로부터 획득되고,
상기 시스템은,
상기 사용자가 상기 웨어러블 기기로 상기 뇌파 정보 및 상기 표정 인식 정보를 제공하도록, 상기 사용자에게 일정한 행동에 대한 측정 지침을 제공하도록 구성되며,
상기 1차 분석 리포트는,
상기 진단기기를 이용해 상기 수집 데이터의 측정을 진행한 상기 사용자가 상기 측정 지침을 따라 정확한 행동을 수행하였는지, 상기 수집 데이터가 진단을 위한 신뢰성 있는 데이터인지에 대한 분석 정보를 포함하고,
상기 웨어러블 기기가 상기 사용자로부터 제공받는 상기 표정 인식 정보는, 상기 뇌파 정보가 제공되는 동안 제공되는 것을 특징으로 하는 뇌파 정보와 표정 인식 기술을 이용하는 정신건강 진단 및 케어를 위한 시스템.
In a system for mental health diagnosis and care using brain wave information and expression recognition technology,
The system is
a diagnostic device for acquiring collected data including the user's brain wave information and facial expression recognition information;
a control unit that analyzes the collected data provided from the diagnostic device through quantitative numerical analysis to generate a first analysis report;
a remote diagnosis unit which obtains the first analysis report and the collected data and provides it for a remote specialist to check;
a video communication support unit corresponding to the primary analysis report and the collected data, obtaining a diagnosis result generated by the specialist, and supporting the user and the specialist to use a remote image diagnosis function according to the diagnosis result;
an application unit that mediates when the user and the specialist use the remote diagnosis function so that the user and the specialist can consult with each other;
Contribution compensation unit that pays vouchers to the mobile phone of the user and the specialist in order to reward the user using the diagnosis device for the achievement of contributing to the activation of mental health diagnosis and care service;
The control unit,
Storing and managing the account and the collected data for accessing the system of the user and the specialist using a smart contract based on blockchain technology,
The analysis related to the EEG information in the first analysis report is,
It is performed based on various quantitative numerical analysis for specific frequency band signals,
The analysis related to the expression recognition information in the first analysis report is,
Through digital image processing technology from a digital image or digital moving image taken using a camera, the user's head and facial parts are recognized and feature points are extracted to detect the user's behavior, and visually reveal mental and emotional states. It is performed based on the recognized action,
The brain wave information and the expression recognition information are obtained from a wearable device worn by the user,
The system is
It is configured to provide measurement instructions for a certain action to the user so that the user provides the brain wave information and the expression recognition information to the wearable device,
The first analysis report is,
and analysis information on whether the user, who has measured the collected data using the diagnostic device, performed an accurate action according to the measurement guideline, and whether the collected data is reliable data for diagnosis,
The system for mental health diagnosis and care using EEG information and expression recognition technology, wherein the expression recognition information provided by the wearable device from the user is provided while the EEG information is provided.
 제1 항에 있어서, 상기 진단기기는 사용자의 집 또는 다중 이용자시설에 배치되며,
사용자의 자율신경 나이, 스트레스, 누적피로도, 심장건강도를 분석하기 위한 맥파 측정 및 두뇌건강점수, 집중도, 두뇌 스트레스, 두뇌 활동정보를 분석하기 위한 뇌파를 측정하는 것을 특징으로 하는 뇌파 정보와 표정 인식 기술을 이용하는 정신건강 진단 및 케어를 위한 시스템.The method of claim 1, wherein the diagnostic device is disposed in a user's home or a multi-user facility,
EEG information and expression recognition, characterized by measuring the pulse wave for analyzing the user's autonomic nerve age, stress, cumulative fatigue, and heart health and measuring the brain wave for analyzing brain health score, concentration, brain stress, and brain activity information A system for mental health diagnosis and care using technology. 제1 항에 있어서, 상기 진단기기는,
사용자의 뇌파를 수집하는 전극과 아날로그-디지털 변환을 수행하는 웨어러블 측정 장치로 구성되는 뇌파 측정 수단과,
뇌파 정보 측정 시의 사용자의 행동과 얼굴을 촬영할 수 있는 카메라 장치를 구비하는 화상정보 획득부와,
뇌파 측정 수단 및 화상정보 획득부를 통하여 수집된 사용자의 뇌파 정보와 표정 인식 데이터를 관제부로 전송하는 놔파정보 및 화상정보 전송부를 포함하는 것을 특징으로 하는 뇌파 정보와 표정 인식 기술을 이용하는 정신건강 진단 및 케어를 위한 시스템.According to claim 1, wherein the diagnostic device,
An EEG measuring means comprising an electrode that collects the user's EEG and a wearable measuring device that performs analog-to-digital conversion;
An image information acquisition unit having a camera device capable of photographing a user's behavior and face when measuring EEG information;
Mental health diagnosis and care using brain wave information and facial expression recognition technology, characterized in that it includes a brain wave information and image information transmission unit for transmitting the brain wave information and facial expression recognition data of the user collected through the brain wave measuring means and the image information acquisition unit to the control unit system for. 제1 항에 있어서, 상기 관제부는,
뇌파 정보와 표정 인식 기술을 이용하는 정신건강 진단 및 케어를 위하여 등록되는 개인 정보를 저장하는 개인 정보 저장부와,
사용자의 뇌파 및 행위와 표정 분석의 1차 양적 분석을 하는 감정 분석부와,
블록체인 네트워크 기술 기반의 스마트 계약(Smart Contract)으로 이루어진 각 사용자와 전문의 계정의 관리를 하는 계정 관리부와,
진단기기로부터 제공받은 원본 데이터 및 감정 분석부에서의 1차 분석 결과, 전문의에 의한 진단 결과를 저장하는 데이터 및 분석 결과 저장부와,
감정 분석부에서 분석된 1차 분석 리포트를 원격 진단부를 통하여 전문의가 확인할 수 있도록 제공하는 1차 분석 리포트 제공부와,
전문의 진단 결과에 따라 사용자와의 원격 화상 진단 기능을 이용할 수 있도록 지원하는 화상 통신 지원부를 포함하는 것을 특징으로 하는 뇌파 정보와 표정 인식 기술을 이용하는 정신건강 진단 및 케어를 위한 시스템.According to claim 1, wherein the control unit,
A personal information storage unit for storing personal information registered for mental health diagnosis and care using brain wave information and facial expression recognition technology;
An emotion analysis unit that performs a primary quantitative analysis of the user's brain waves and behavior and facial expression analysis;
An account management unit that manages each user's and expert's account made of a smart contract based on blockchain network technology;
A data and analysis result storage unit for storing the original data provided from the diagnostic device, the primary analysis result in the emotion analysis unit, and the diagnosis result by a specialist;
A primary analysis report providing unit that provides the primary analysis report analyzed by the emotion analysis unit so that a specialist can check it through the remote diagnosis unit;
A system for mental health diagnosis and care using brain wave information and facial expression recognition technology, characterized in that it includes a video communication support unit that supports to use a remote image diagnosis function with a user according to a diagnosis result of a specialist. 제1 항에 있어서, 상기 애플리케이션부는,
사용자와 전문의가 서로 화상 상담을 할 수 있게 중개하는 화상 상담 중개부와,
데이터 및 분석 결과 저장부에 저장된 진단 결과에 따라 고위험군으로 판단되는 경우에 관제부에 의한 고위험군 추적관리 프로세스에 의한 추가 진료를 포함하는 의료 정보를 사용자에게 제공하는 고위험군 추적관리부와,
기여보상부를 통한 정신건강 진단 및 케어 서비스 활성화에 기여한 성과 보상 결과를 확인 및 관리할 수 있도록 지원하는 기여보상 관리부를 포함하는 것을 특징으로 하는 뇌파 정보와 표정 인식 기술을 이용하는 정신건강 진단 및 케어를 위한 시스템.According to claim 1, wherein the application unit,
A video consultation intermediary unit that mediates so that users and specialists can have video consultations with each other;
A high-risk group tracking management unit that provides the user with medical information including additional treatment by the high-risk group follow-up management process by the control unit when it is determined as a high-risk group according to the diagnosis result stored in the data and analysis result storage unit;
For mental health diagnosis and care using EEG information and facial expression recognition technology, characterized in that it includes a contribution compensation management unit that supports to check and manage the performance compensation results that contributed to the activation of mental health diagnosis and care services through the contribution compensation unit system. 뇌파 정보와 표정 인식 기술을 이용하는 정신건강 진단 및 케어를 위한 시스템의 동작 방법에 있어서,
상기 방법은,
사용자의 뇌파 정보와 표정 인식 정보를 포함하는 수집 데이터를 획득하는 단계;
상기 수집 데이터를 양적 수치 해석을 통해 분석하여 1차 분석 리포트를 생성하는 단계;
상기 1차 분석 리포트 및 상기 수집 데이터를 획득하여 원격의 전문의가 확인할 수 있도록 제공하는 단계;
상기 1차 분석 리포트 및 상기 수집 데이터에 대응하고 상기 전문의에 의해 생성된 진단 결과를 획득하고, 상기 진단 결과에 따라 상기 사용자와 상기 전문의가 원격 화상 진단 기능을 이용하도록 지원하는 단계;
상기 사용자 및 상기 전문의가 상기 원격 진단 기능을 이용하는 경우, 상기 사용자와 상기 전문의가 서로 상담할 수 있게 중개하는 단계;
상기 사용자에게 정신건강 진단 및 케어 서비스 활성화에 기여한 성과를 보상하기 위해, 상기 사용자 및 상기 전문의의 휴대전화로 바우처를 지급하는 단계; 및
상기 사용자와 상기 전문의의 상기 시스템 접속을 위한 계정 및 상기 수집 데이터를 블록체인 기술 기반의 스마트 계약을 이용하는 거래 장부를 저장 및 관리하는 단계;를 포함하며,
상기 1차 분석 리포트는,
상기 수집 데이터의 측정을 진행한 상기 사용자가 측정 지침을 따라 정확한 행동을 수행하였는지, 상기 수집 데이터가 진단을 위한 신뢰성 있는 데이터인지에 대한 분석 정보를 포함하며,
상기 1차 분석 리포트에서 상기 뇌파 정보와 관련된 분석은,
특정 주파수 대역 신호들에 대한 다양한 양적 수치 해석에 기반하여 수행되고,
상기 1차 분석 리포트에서 상기 표정 인식 정보와 관련된 분석은,
카메라를 이용하여 촬영된 디지털 화상 또는 디지털 동화상으로부터 디지털 이미지 처리 기술을 통해 상기 사용자의 머리와 안면 부위를 인식하고 특징점을 추출하여 상기 사용자의 행동을 감지하고, 시각적으로 드러나는 정신적 상태와 감정적인 상태를 인식하는 동작에 기반하여 수행되고,
상기 뇌파 정보 및 상기 표정 인식 정보는, 상기 사용자가 착용하는 웨어러블 기기로부터 획득되고,
상기 방법은,
상기 사용자가 상기 웨어러블 기기로 상기 뇌파 정보 및 상기 표정 인식 정보를 제공하도록, 상기 사용자에게 일정한 행동에 대한 측정 지침을 제공하는 단계를 더 포함하며,
상기 1차 분석 리포트는,
상기 진단기기를 이용해 상기 수집 데이터의 측정을 진행한 상기 사용자가 상기 측정 지침을 따라 정확한 행동을 수행하였는지, 상기 수집 데이터가 진단을 위한 신뢰성 있는 데이터인지에 대한 분석 정보를 포함하고,
상기 웨어러블 기기가 상기 사용자로부터 제공받는 상기 표정 인식 정보는, 상기 뇌파 정보가 제공되는 동안 제공되는 것을 특징으로 하는 방법.

In the operating method of a system for mental health diagnosis and care using brain wave information and facial expression recognition technology,
The method is
acquiring collected data including the user's brain wave information and facial expression recognition information;
generating a first analysis report by analyzing the collected data through quantitative numerical analysis;
obtaining the first analysis report and the collected data and providing them to a remote specialist for confirmation;
corresponding to the primary analysis report and the collected data, obtaining a diagnosis result generated by the specialist, and supporting the user and the specialist to use a remote image diagnosis function according to the diagnosis result;
mediating, when the user and the specialist use the remote diagnosis function, so that the user and the specialist can consult with each other;
providing a voucher to the user and the mobile phone of the specialist in order to reward the user for achievements contributed to the activation of mental health diagnosis and care services; and
Storing and managing an account for accessing the system between the user and the specialist and the collected data using a smart contract based on block chain technology;
The first analysis report is,
It includes analysis information on whether the user, who has measured the collected data, performed an accurate action according to the measurement guidelines, and whether the collected data is reliable data for diagnosis,
The analysis related to the EEG information in the first analysis report is,
It is performed based on various quantitative numerical analysis for specific frequency band signals,
The analysis related to the expression recognition information in the first analysis report is,
Through digital image processing technology from a digital image or digital moving image taken using a camera, the user's head and facial parts are recognized and feature points are extracted to detect the user's behavior, and visually reveal mental and emotional states. It is performed based on the recognized action,
The brain wave information and the expression recognition information are obtained from a wearable device worn by the user,
The method is
The method further comprising the step of providing a measurement guide for a certain action to the user so that the user provides the brain wave information and the expression recognition information to the wearable device,
The first analysis report is,
and analysis information on whether the user, who has measured the collected data using the diagnostic device, performed an accurate action according to the measurement guideline, and whether the collected data is reliable data for diagnosis,
The expression recognition information provided by the wearable device from the user is provided while the EEG information is provided.
KR1020220100882A 2020-02-14 2022-08-11 System and Method for Diagnosing and Caring Mental health using EEG information and face emotion recognition technology KR20220118974A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220100882A KR20220118974A (en) 2020-02-14 2022-08-11 System and Method for Diagnosing and Caring Mental health using EEG information and face emotion recognition technology

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020200018454A KR20210103816A (en) 2020-02-14 2020-02-14 System and Method for Diagnosing and Caring Mental health using EEG information and face emotion recognition technology
KR1020220100882A KR20220118974A (en) 2020-02-14 2022-08-11 System and Method for Diagnosing and Caring Mental health using EEG information and face emotion recognition technology

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020200018454A Division KR20210103816A (en) 2020-02-14 2020-02-14 System and Method for Diagnosing and Caring Mental health using EEG information and face emotion recognition technology

Publications (1)

Publication Number Publication Date
KR20220118974A true KR20220118974A (en) 2022-08-26

Family

ID=77507041

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020200018454A KR20210103816A (en) 2020-02-14 2020-02-14 System and Method for Diagnosing and Caring Mental health using EEG information and face emotion recognition technology
KR1020220100882A KR20220118974A (en) 2020-02-14 2022-08-11 System and Method for Diagnosing and Caring Mental health using EEG information and face emotion recognition technology

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020200018454A KR20210103816A (en) 2020-02-14 2020-02-14 System and Method for Diagnosing and Caring Mental health using EEG information and face emotion recognition technology

Country Status (1)

Country Link
KR (2) KR20210103816A (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102530616B1 (en) 2022-09-22 2023-05-10 주식회사 메디푸드플랫폼 Devices, methods and programs for analyzing mental states based on medical science and ingredient science
KR102574724B1 (en) * 2022-10-06 2023-09-06 고난경 A method of judging status and recommend products through video analysis
WO2024090717A1 (en) * 2022-10-24 2024-05-02 비웨이브 주식회사 Device and method for providing user interface for providing mental health information
KR20240078340A (en) 2022-11-25 2024-06-03 차희찬 Treatment system using brain wave measurement

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113689936A (en) * 2021-09-02 2021-11-23 广东厚阅科技有限公司 Intelligent mental health state detection method and related device

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160031124A (en) 2014-09-11 2016-03-22 한양대학교 산학협력단 Method and Apparatus for Estimation of Symptom Severity Scores for Patients with Schizophrenia using Electroencephalogram Analysis
KR20190089678A (en) 2018-01-23 2019-07-31 인제대학교 산학협력단 Method and electronic device for diagnosing and predicting a mental illness using a heart rate variability and a quantitative electroencephalography
KR102074794B1 (en) 2019-11-29 2020-02-07 주식회사 휴먼라인 Psychotherapeutic device for Sensing Brain Wave and Psychotherapeutic System for Displaying and Storing it By Using the Same

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160031124A (en) 2014-09-11 2016-03-22 한양대학교 산학협력단 Method and Apparatus for Estimation of Symptom Severity Scores for Patients with Schizophrenia using Electroencephalogram Analysis
KR20190089678A (en) 2018-01-23 2019-07-31 인제대학교 산학협력단 Method and electronic device for diagnosing and predicting a mental illness using a heart rate variability and a quantitative electroencephalography
KR102074794B1 (en) 2019-11-29 2020-02-07 주식회사 휴먼라인 Psychotherapeutic device for Sensing Brain Wave and Psychotherapeutic System for Displaying and Storing it By Using the Same

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102530616B1 (en) 2022-09-22 2023-05-10 주식회사 메디푸드플랫폼 Devices, methods and programs for analyzing mental states based on medical science and ingredient science
KR20240041803A (en) 2022-09-22 2024-04-01 주식회사 메디푸드플랫폼 Devices, methods and programs for analyzing mental states based on medical science and ingredient science
KR102574724B1 (en) * 2022-10-06 2023-09-06 고난경 A method of judging status and recommend products through video analysis
WO2024090717A1 (en) * 2022-10-24 2024-05-02 비웨이브 주식회사 Device and method for providing user interface for providing mental health information
KR20240078340A (en) 2022-11-25 2024-06-03 차희찬 Treatment system using brain wave measurement

Also Published As

Publication number Publication date
KR20210103816A (en) 2021-08-24

Similar Documents

Publication Publication Date Title
KR20220118974A (en) System and Method for Diagnosing and Caring Mental health using EEG information and face emotion recognition technology
Quentin et al. Measuring healthcare quality
Taylor et al. Outcome measures based on digital health technology sensor data: data-and patient-centric approaches
US20190239791A1 (en) System and method to evaluate and predict mental condition
Johannessen et al. Psychophysiologic measures of cognitive load in physician team leaders during trauma resuscitation
de Bienassis et al. Measuring patient voice matters: setting the scene for patient-reported indicators
Merilahti et al. Compliance and technical feasibility of long-term health monitoring with wearable and ambient technologies
Orwat et al. Adopting pervasive computing for routine use in healthcare
Reading et al. Factors influencing sustained engagement with ECG self-monitoring: perspectives from patients and health care providers
Palmius et al. A multi-sensor monitoring system for objective mental health management in resource constrained environments
Keepnews et al. Measuring patient‐level clinical outcomes of home health care
Edwards et al. Use of the patientMpower app with home-based spirometry to monitor the symptoms and impact of fibrotic lung conditions: longitudinal observational study
Abel et al. Quality versus quantity: Determining real-world social functioning deficits in schizophrenia
Pati et al. Accuracy of limited-montage electroencephalography in monitoring postanoxic comatose patients
Krey Wearable technology in health care–acceptance and technical requirements for medical information systems
US20240008785A1 (en) Information processing system, information processing device, information processing method, and information processing program
Sabariego et al. Supporting evidence-informed policy making in rehabilitation: A logic framework for continuous improvement of rehabilitation programs
Yannam et al. Research study and system design for evaluating student stress in Indian Academic Setting
Behnke et al. Ethical considerations and checklist for affective research with wearables
US20130281794A1 (en) Evidence-based, neuro-congnitive testing methodology, protocols and systems
Newton Measuring the perceptual, physiological and environmental factors that impact stress in the construction industry
Marfeo et al. Do claimants over-report behavioral health dysfunction when filing for work disability benefits?
Quinn et al. Physical activity in the workplace: does just working meet activity recommendations?
Gillig et al. Clinicians' self-reported reactions to psychiatric emergency patients: Effect on treatment decisions
Price Defining and measuring quality of life

Legal Events

Date Code Title Description
A107 Divisional application of patent
E701 Decision to grant or registration of patent right