KR102200816B1 - 얼굴 이미지를 이용한 정신건강 자가관리 제공 방법 및 정신건강 자가관리 제공 시스템 - Google Patents

얼굴 이미지를 이용한 정신건강 자가관리 제공 방법 및 정신건강 자가관리 제공 시스템 Download PDF

Info

Publication number
KR102200816B1
KR102200816B1 KR1020200079321A KR20200079321A KR102200816B1 KR 102200816 B1 KR102200816 B1 KR 102200816B1 KR 1020200079321 A KR1020200079321 A KR 1020200079321A KR 20200079321 A KR20200079321 A KR 20200079321A KR 102200816 B1 KR102200816 B1 KR 102200816B1
Authority
KR
South Korea
Prior art keywords
mental health
user
face image
management
self
Prior art date
Application number
KR1020200079321A
Other languages
English (en)
Inventor
김효형
박은혜
Original Assignee
주식회사 퓨처플랫폼
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 퓨처플랫폼 filed Critical 주식회사 퓨처플랫폼
Priority to KR1020200079321A priority Critical patent/KR102200816B1/ko
Application granted granted Critical
Publication of KR102200816B1 publication Critical patent/KR102200816B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/01—Social networking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/20—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for electronic clinical trials or questionnaires
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/70—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mental therapies, e.g. psychological therapy or autogenous training
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Biomedical Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Business, Economics & Management (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Human Resources & Organizations (AREA)
  • Developmental Disabilities (AREA)
  • Child & Adolescent Psychology (AREA)
  • Multimedia (AREA)
  • Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Economics (AREA)
  • Social Psychology (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Psychiatry (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

본 발명에 따른 얼굴 이미지를 이용한 정신건강 자가관리 제공 방법 및 정신건강 자가관리 제공 시스템은, 적어도 하나의 소스로부터 얼굴 이미지를 수집하는 단계, 상기 얼굴 이미지를 이용하여, 특정 주제에 대한 정신건강 스코어를 산출하는 단계 및 상기 정신건강 스코어를 상기 얼굴 이미지와 함께 사용자 단말에 제공하는 단계를 포함하고, 상기 정신건강 스코어를 산출하는 단계에서는, 상기 얼굴 이미지에서 특징 정보를 추출하고, 상기 특징 정보를 기반으로 상기 특정 주제에 따른 정신건강 스코어를 산출하는 것을 특징으로 하는 얼굴 이미지를 이용한 정신건강 자가관리 제공 방법이다.

Description

얼굴 이미지를 이용한 정신건강 자가관리 제공 방법 및 정신건강 자가관리 제공 시스템{METHOD AND SYSTEM FOR PROVDING MENTAL HEALTH SELF-MANAGEMENT USING FACE IMAGE}
본 발명은 정신건강을 자가 관리 하기위한 방법 및 시스템에 관한 것이다.
정신건강(mental health)은, 인간의 심리적 기능이 어느 정도 정상적인가를 나타내는 개념을 의미한다. 일반적으로 정신질환이 없고, 잘 적응하고 있고, 불만이 적고 행복감을 느끼는 사람 등의 조건을 갖춘 경우 정상 범주 이내로 분류될 수 있다.
이러한 정신건강에 이상이 있는 경우에는 신체건강에 이상이 발생한 경우와 마찬가지로, 병원 또는 상담 센터를 방문하여 이상이 있는 부분에 대한 적극적인 치료를 받아야 한다. 그러나 최근까지도 사람들은, 주변 사람들의 인식 또는 비용 등의 문제로 인해 정신건강을 소홀하게 생각하는 경향이 있다.
과거에는 정신건강의 문제는 개인의 심리적 문제로만 생각하려는 경향이 있었으나 정신적 질환 내지 이상심리가 다른 사람, 사회나 경제 등에 미치는 영향에 대해서 점차 관심이 미치게 되었고 최근에는 개인의 정신건강 문제를 가족체제, 사회심리적 환경, 또는 사회문화적 체제와 밀접하게 관련된 것으로 간주하고 가정·학교·직장·지역사회 등의 전 사회적 망을 통해서 정신건강을 증진하고 각종 이상심리를 예방하고 치료하려는 경향이 점차로 강화되고 있다.
특히 최근에는 ICT(Information and Communications Technologies) 기술이 발전함에 따라, 스마트 헬스케어(Smart Healthcare) 시대가 가속화되고 있다.
스마트 헬스케어란, 개인의 건강과 의료에 관한 정보, 기기, 시스템, 플랫폼을 다루는 산업분야로서 건강관련서비스와 의료 IT가 융합된 종합의료 서비스를 의미한다.
이러한 스마트 헬스케어는, 개인이 소유한 휴대형, 착용형 기기나 클라우드 병원정보시스템 등에서 확보된 생활습관, 신체검진, 의료이용정보, 인공지능, 가상현실, 유전체정보 등의 분석을 바탕으로 제공되는 개인중심의 건강관리생태계로써, 개인맞춤형 건강관리서비스를 제공할 수 있다.
이러한 추세에 따라, 사용자가 소유한 전자기기(예를 들어, 스마트폰)를 이용하여 신체 건강뿐만 아니라, 정신 건강을 스스로 관리할 수 있는 시스템의 필요성이 점차 증대되고 있다.
따라서 본 발명은, 얼굴 이미지를 이용하여 사용자 스스로 자신의 정신건강을 자가관리 할 수 있는 방법 및 시스템을 제안한다.
선행기술문헌 정보: 특허문헌 1(KR10-2020-0028519 A)
본 발명의 일 목적은, 얼굴 이미지를 이용하여 사용자의 정신건강 상태를 진단하고, 관리할 수 있는 얼굴 이미지를 이용한 정신건강 자가관리 제공 방법 및 정신건강 자가관리 제공 시스템을 제공하는 것이다.
본 발명의 일 목적은, 촬영된 사용자의 얼굴 이미지를 이용하여 사용자 스스로 자신의 정신건강 상태를 진단할 수 있는 얼굴 이미지를 이용한 정신건강 자가관리 제공 방법 및 정신건강 자가관리 제공 시스템을 제공하는 것이다.
본 발명의 다른 일 목적은, 진단된 사용자의 정신건강 상태에 따라 연계된 서비스를 제공할 수 있는 얼굴 이미지를 이용한 정신건강 자가관리 제공 방법 및 정신건강 자가관리 제공 시스템을 제공하는 것이다. 나아가 본 발명은, 얼굴 이미지를 이용하여 진단된 사용자의 정신건강 상태를 반영하여 사용자에게 적합한 설문을 추천함으로써, 사용자의 정신건강 상태를 보다 정확하게 진단하는 것을 목적으로 한다.
본 발명은 이미지에 기반하여 정신건강 상태를 진단하기 위한 정신건강 자가관리 제공 방법에 관한 것으로서, 적어도 하나의 소스로부터 얼굴 이미지를 수집하는 단계, 상기 얼굴 이미지를 이용하여, 특정 주제에 대한 정신건강 스코어를 산출하는 단계 및 상기 정신건강 스코어를 상기 얼굴 이미지와 함께 사용자 단말에 제공하는 단계를 포함하고, 상기 정신건강 스코어를 산출하는 단계에서는, 상기 얼굴 이미지에서 특징 정보를 추출하고, 상기 특징 정보를 기반으로 상기 특정 주제에 따른 정신건강 스코어를 산출하는 것을 특징으로 하는 얼굴 이미지를 이용한 정신건강 자가관리 제공 방법이다.
일 실시 예로서, 상기 특정 주제는, 상기 얼굴 이미지에서 추출된 특징 정보에 근거하여 결정되는 것을 특징으로 한다.
일 실시 예로서, 상기 특정 주제는, 상기 특정 주제와 관련된 복수의 카테고리를 포함하고, 상기 정신건강 스코어를 산출하는 단계에서는, 상기 특징 정보를 이용하여, 상기 복수의 카테고리 각각에 대한 스코어를 산출하는 것을 특징으로 한다.
일 실시 예로서, 상기 정신건강 스코어를 기반으로 상기 특정 주제와 관련된 설문을 추천하는 단계를 더 포함하고, 상기 설문을 추천하는 단계에서는, 상기 정신건강 스코어가 기 설정된 조건을 만족하는 경우, 상기 특정 주제와 관련된 설문을 특정하고, 상기 사용자 단말 상에 상기 특정된 설문의 진행과 관련된 기능 아이콘을 제공하는 것을 특징으로 한다.
일 실시 예로서, 상기 적어도 하나의 소스는, 상기 사용자 단말에 구비된 카메라를 포함하고, 상기 얼굴 이미지를 수집하는 단계에서는, 기 설정된 주기마다 상기 카메라를 통해 얼굴 이미지가 수집되도록, 상기 카메라의 활성화와 관련된 안내 정보를 상기 사용자 단말에 제공하는 것을 특징으로 한다.
일 실시 예로서, 상기 특징 정보는, 상기 얼굴 이미지에 포함된 주름 정보 및 홍조 정보 중 적어도 하나로부터 추출되는 것을 특징으로 한다.
일 실시 예로서, 상기 정신건강 스코어는, 숫자, 문자, 이모티콘 및 그래프 이미지 중 적어도 하나가 조합된 형태로 상기 사용자 단말 상에 제공되는 것을 특징으로 한다.
일 실시 예로서, 상기 적어도 하나의 소스는, 기 등록된 사용자 계정과 관련된 소셜 네트워크 서비스(Social Network Service: SNS)를 포함하고, 상기 얼굴 이미지를 수집하는 단계에서는, 상기 기 등록된 사용자 계정과 관련된 소셜 네트워크 서비스에 업로드된 게시물로부터 상기 얼굴 이미지를 수집하는 것을 특징으로 한다.
한편, 본 발명은 이미지에 기반하여 정신건강 상태를 진단하기 위한 정신건강 자가관리 제공 시스템에 관한 것으로서, 얼굴 이미지를 수신하는 통신부 및 상기 얼굴 이미지를 이용하여, 특정 주제에 대한 정신건강 스코어를 산출하는 제어부를 포함하고, 상기 제어부는, 상기 얼굴 이미지에서 특징 정보를 추출하고, 상기 특징 정보를 기반으로 상기 특정 주제에 따른 정신건강 스코어를 산출하고, 상기 정신건강 스코어를 상기 통신부를 통해 사용자 단말에 제공하도록 제어하는 것을 특징으로 하는 얼굴 이미지를 이용한 정신건강 자가관리 제공 시스템이다.
한편, 본 발명은, 전자기기에서 하나 이상의 프로세스에 의하여 실행되며, 컴퓨터로 판독될 수 있는 매체에 저장 가능한 프로그램으로서, 상기 프로그램은, 적어도 하나의 소스로부터 수집된 얼굴 이미지를 이용하여, 특정 주제에 대한 정신건강 스코어를 산출하는 단계 및 상기 정신건강 스코어를 상기 얼굴 이미지와 함께 사용자 단말에 제공하는 단계를 수행하도록 하는 명령어들을 포함하고, 상기 정신건강 스코어를 산출하는 단계에서는, 상기 얼굴 이미지에서 특징 정보를 추출하고, 상기 특징 정보를 기반으로 상기 특정 주제에 따른 정신건강 스코어를 산출하는 것을 특징으로 하는 컴퓨터로 판독될 수 있는 매체에 저장 가능한 프로그램이다.
위에서 살펴본 것과 같이, 본 발명에 따른 얼굴 이미지를 이용한 정신건강 자가관리 제공 방법 및 정신건강 자가관리 제공 시스템은, 얼굴 이미지를 이용하여 사용자의 정신건강 상태를 진단하고, 진단 결과에 따른 정신건강 스코어를 제공함으로써, 사용자 스스로 정신건강 상태를 관리할 수 있다.
한편 본 발명에 따른 정신건강 자가관리 제공 방법 및 정신건강 자가관리 제공 시스템은, 사용자의 얼굴 이미지에서 특징 정보를 추출하고, 추출된 특징 정보를 기반으로 정신건강 스코어를 산출함으로써, 보다 정확하게 사용자의 정신건강 상태를 진단할 수 있다.
한편 본 발명에 따른 정신건강 자가관리 제공 방법 및 정신건강 자가관리 제공 시스템은, 사용자의 정신건강 상태의 진단 결과에 따른, 사용자 맞춤형 추천 서비스를 제공함으로써, 사용자의 정신건강 상태를 개선할 수 있다. 나아가 본 발명은, 얼굴 이미지를 이용하여 진단된 사용자의 정신건강 상태를 반영하여 사용자에게 적합한 설문을 추천함으로써, 사용자의 정신건강 상태를 보다 세밀하고 정확하게 진단하고 이를 관리할 수 있다.
도 1은 본 발명에 따른 얼굴 이미지를 이용한 정신건강 자가관리 제공 방법 및 정신건강 자가관리 제공 시스템을 설명하기 위한 개념도이다.
도 2는 본 발명에 따른 얼굴 이미지를 이용한 정신건강 자가관리 제공 방법을 설명하기 위한 흐름도이다.
도 3은 본 발명에 따른 얼굴 이미지를 이용한 정신건강 자가관리 제공 시스템에서, 얼굴 이미지를 이용하여 정신건강 상태를 자가관리하기 위한 방법을 설명하기 위한 참고 도면이다.
도 4는 본 발명에 따른 얼굴 이미지를 이용한 정신건강 자가관리 제공 시스템에서, 음성 데이터를 이용하여 사용자의 정신건강 상태를 진단하는 방법을 설명하기 위한 개념도이다.
도 5는 본 발명에 따른 얼굴 이미지를 이용한 정신건강 자가관리 제공 시스템이 제공하는 메인 화면(또는 특정 화면)을 도시한 도면이다.
도 6은 본 발명에 따른 얼굴 이미지를 이용한 정신건강 자가관리 제공 시스템이 사용자 단말의 홈화면을 통해 정신건강 상태 진단 결과를 제공하는 방법을 설명하기 위한 개념도이다.
도 7은 본 발명에 따른 얼굴 이미지를 이용한 정신건강 자가관리 제공 시스템이 제공하는 사용자 맞춤형 추천 서비스 중 설문 제공 서비스를 도시한 참고 도면이다.
도 8은 본 발명에 따른 얼굴 이미지를 이용한 정신건강 자가관리 제공 시스템이 제공하는 사용자 맞춤형 추천 서비스 중 나를 위한 편지 서비스를 도시한 참고 도면이다.
도 9은 본 발명에 따른 얼굴 이미지를 이용한 정신건강 자가관리 제공 시스템이 제공하는 사용자 맞춤형 추천 서비스 중 상담사 연결 서비스를 도시한 참고 도면이다.
도 10은 본 발명에 따른 얼굴 이미지를 이용한 정신건강 자가관리 제공 시스템이 제공하는 사용자 맞춤형 추천 서비스 중 주변 병원 찾기 서비스를 도시한 참고 도면이다.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소에는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 발명은 얼굴 이미지를 이용한 정신건강 자가관리 제공 방법 및 정신건강 자가관리 제공 시스템에 관한 것으로서, 이하에서 도면을 참조하여 본 발명을 보다 구체적으로 설명하도록 한다.
먼저 본 발명에 따른 얼굴 이미지를 이용한 정신건강 자가관리 제공 방법 및 정신건강 자가관리 제공 시스템의 개념을 도 1을 참조하여 설명하도록 한다. 도 1은 본 발명에 따른 얼굴 이미지를 이용한 정신건강 자가관리 제공 방법 및 정신건강 자가관리 제공 시스템을 설명하기 위한 개념도이다.
도 1에 도시된 것과 같이, 본 발명에 따른 얼굴 이미지를 이용한 정신건강 자가관리 제공 시스템(이하, '정신건강 자가관리 제공 시스템'이라 명명함, 100)은, 통신부(110), 카메라부(120), 저장부(130) 및 제어부(140) 중 적어도 하나를 포함하도록 구성될 수 있다. 이때 본 발명에 따른 정신건강 자가관리 제공 시스템(100)은, 상술한 구성 요소로 제한되는 것은 아니며, 본 명세서에 설명에 따른 장치와 동일한 역할을 하는 구성요소를 더 포함할 수 있다.
한편, 본 발명에 따른 정신건강 자가관리 제공 시스템(100)은 사용자 단말(10)과 연동되어 동작할 수 있다.
여기서 사용자 단말(10)은, 스마트폰(smart phone), 휴대폰, 태블릿 PC, 컴퓨터, 노트북, 디지털방송용 단말, PDA(Personal Digital Assistants), 및 PMP(Portable Multimedia Player) 중 적어도 하나를 포함할 수 있다. 이하에서는, 경우에 따라, 사용자 단말(10)과 전자기기의 용어를 혼용하여 사용하며, 전자기기에도 도면부호 “10”이 부여될 수 있다.
한편 본 발명에 따른 정신건강 자가관리 제공 시스템(100)은, 애플리케이션 또는 소프트웨어로 구현될 수 있다.
본 발명에 따른 정신건강 자가관리 제공 시스템(100)의 소프트웨어적인 구현에 의하면, 본 명세서에서 설명되는 절차 및 기능과 같은 실시 예들은 별도의 소프트웨어 모듈들로 구현될 수 있다. 소프트웨어 모듈들 각각은 본 명세서에서 설명되는 하나 이상의 기능 및 작동을 수행할 수 있다.
이와 같이 소프트웨어로 구현되는 정신건강 자가관리 제공 시스템(100)은, 사용자 단말(10)상에 애플리케이션을 다운받을 수 있는 프로그램(예를 들어, 플레이스토어)을 통해 다운로드되거나, 사용자 단말(10) 상에 초기 설치 프로그램을 통해 구현될 수 있다. 이 경우, 본 발명에 따른 통신부(110), 카메라부(120), 저장부(130) 및 제어부(140)는 사용자 단말(10)의 구성 요소로 활용될 수 있다.
한편 정신건강 자가관리 제공 시스템(100)은, 사용자 단말(10)과 별도로 특정 목적(예를 들어, 정신건강과 관련된 기능)을 수행하기 위하여 구축된 서버(이하, 서버라고 명명함)의 내부에 존재할 수 있고, 상기 서버와는 별도의 시스템으로서 존재할 수도 있다. 정신건강 자가관리 제공 시스템(100)이 서버의 내부에 존재하는 경우에는, 서버의 내부에 위치하는 통신부(110), 카메라부(120), 저장부(130) 및 제어부(140) 중 적어도 하나의 구성요소, 또는 상기 각각의 구성 요소들과 유사한 기능을 수행하는 모듈을 통해 정신건강 관리 서비스를 제공할 수 있다.
한편, 본 발명에 따른 정신건강 자가관리 제공 시스템(100)은 사용자 단말(10)을 이용하여 사용자 단말(10)의 '사용자'(20)의 정신건강 상태를 자가 진단하고, 관리할 수 있다.
이때 '사용자'(20)는, 사용자 단말 또는 전자기기의 사용자로서, '운용자', '이용자', '유저' 등의 용어로 대체될 수 있다. 또한, '사용자'는, 심리적인 문제나 어려움을 혼자 해결하는 데 어려움을 느껴 상담자의 도움을 받아 해결하고자 하는 '내담자'를 포함할 수 있다.
한편, 사용자(20)는, 본 발명에 따른 정신건강 자가관리 제공 시스템(100)에서 제공하는 애플리케이션 또는 웹페이지를 통해, 사용자 자신의 정신건강 상태를 자가 진단하고, 전자기기를 통해 상담자와의 상담 서비스를 제공받는 등 정신건강 상태를 관리할 수 있다. 이때, 사용자(20)는 본 발명에 따른 정신건강 자가관리 제공 시스템(100)에 등록된 사용자 계정을 보유할 수 있다.
본 명세서에서는 설명의 편의를 위하여, 고객인 사용자의 계정을 “사용자 계정”이라고 명명한다.
위에서 설명한, “계정(account)”은, 위의 정신건강 자가관리 제공 시스템(100)과 연계된 페이지를 통해 생성되는 것이 가능하다. 이와 다르게, “계정”은, 본 발명에 따른 정신건강 자가관리 제공 시스템(100)과 연계된 다른 적어도 하나의 시스템에서 생성되는 것 또한 가능하다.
이에, 본 명세서에서는, 계정이 발급된 시스템을 구분하지 않고, 본 발명에 따른 정신건강 자가관리 제공 시스템(100)에 기반한, 계정을 모두 “본 발명에 따른 정신건강 자가관리 제공 시스템(100)에 기 등록된 계정” 이라고 명명하도록 한다.
이하에서는, 본 발명에 따른 정신건강 자가관리 제공 시스템(100)이 사용자 단말(10)상의 애플리케이션으로 구현되는 실시 예에 따라 설명하도록 한다.
본 발명에 따른 정신건강 자가관리 제공 시스템(100)의 통신부(110)는, 정신건강 자가관리 제공 시스템(100)과 사용자 단말(10) 사이, 또는 정신건강 자가관리 제공 시스템 (100)과 외부 서버 사이의 무선 또는 유선 통신을 가능하도록 하나 이상의 모듈을 포함할 수 있다. 또한, 상기 통신부(110)는, 정신건강 자가관리 제공 시스템(100)을 하나 이상의 네트워크에 연결하는 하나 이상의 모듈을 포함할 수 있다.
구체적으로, 통신부(110)는, 적어도 하나의 소스로부터 정신건강 상태를 진단하기 위한 얼굴 이미지를 수집할 수 있다. 또한, 통신부(110)는, 정신건강 상태 진단 결과에 따른 정신건강 스코어를 사용자 단말(10)을 통해 제공할 수 있다.
한편 카메라부(120)는, 정신건강 상태를 진단하기 위한 사용자의 얼굴 이미지를 촬영하는데 이용될 수 있다. 본 발명에 따른 카메라부(120)는, 사용자 단말(10)에 포함된 카메라(또는 카메라 모듈)을 통해 구현될 수 있다. 이하에서는, 경우에 따라, 카메라부(120)와 카메라의 용어를 혼용하여 사용하도록 한다.
한편, 저장부(130)는, 데이터베이스(Database, DB)라고도 명명될 수 있으며, 수집된 얼굴 이미지 데이터, 진단 결과에 따른 정신건강 스코어 데이터 등 사용자의 정신건강과 관련된 다양한 정보(또는 데이터)를 저장하도록 이루어진다.
나아가, 본 발명에 따른 정신건강 자가관리 제공 시스템(100)은 저장부(130)와 별도로 외부 저장소에 저장된 데이터를 활용할 수 있으며, 이러한 외부 저장소 역시 “데이터베이스”라고 표현될 수 있다.
한편, 제어부(140)는, 본 발명에 따른 정신건강 자가관리 제공 시스템(100)의 전반적인 동작을 제어할 수 있다.
이상에서는 본 발명에 따른 정신건강 자가관리 제공 시스템(100)의 구성요소를 살펴보았다.
이하에서는 본 발명에 따른 정신건강 자가관리 제공 시스템(100)을 통해 얼굴 이미지를 이용하여 정신건강을 자가 관리하는 방법에 대해 도면을 참고하여 구체적으로 살펴보도록 한다. 도 2는 본 발명에 따른 얼굴 이미지를 이용한 정신건강 자가관리 제공 방법을 설명하기 위한 흐름도이다. 도 3은 본 발명에 따른 얼굴 이미지를 이용한 정신건강 자가관리 제공 시스템에서, 얼굴 이미지를 이용하여 정신건강 상태를 자가관리하기 위한 방법을 설명하기 위한 개념도이다.
본 발명에 따른 정신건강 자가관리 제공 시스템(100)은, 사용자 단말(10) 상에 출력되는 페이지(300)를 통하여 서비스를 제공할 수 있다.
제어부(140)는, 도 1에 도시된 것과 같이, 페이지(300)를 사용자 단말(10)에 구비된 디스플레이부(또는 터치스크린)을 통해 출력하도록 제어할 수 있다. 이러한 페이지(300)는, 사용자 단말(10)에 설치되는 애플리케이션(Application) 또는 웹페이지를 통해 사용자 단말(10)상에 출력될 수 있다.
여기서 애플리케이션은, 사용자의 선택에 근거하여 단말기 상에 설치되거나, 단말기 출고 당시부터 단말기 상에 설치되어 존재할 수 있다. 한편, 사용자의 선택에 근거하여 애플리케이션이 설치되는 경우, 이러한 애플리케이션은, 애플리케이션 다운로드 서버를 통해 다운로드 받을 수 있다. 일 예로서, 애플리케이션은, 정신건강 자가관리를 위한 전용 애플리케이션일 수 있다.
한편, 상기 페이지(300)는, 본 발명에 따른 정신건강 자가관리 제공 시스템(100)과 연계된 페이지로서, 본 발명에 따른 정신건강 자가관리 제공 시스템(100)에 의하여 제어되도록 이루어진다.
나아가, 상기 페이지(300)가 애플리케이션의 형태로 제공되는 경우, 상기 페이지(300)는 애플리케이션에 구비된 제어 모듈에 의하여 제어될 수 있다. 이 경우, 애플리케이션이 구비된 제어 모듈은, 본 발명에 따른 정신건강 자가관리 제공 시스템(100)에 의해 제공되는 정보에 기반하여, 사용자 계정에 기반하여 사용자에게 정신건강 자가관리와 관련된 서비스를 제공할 수 있다.
먼저, 본 발명에 따른 정신건강 자가관리 제공 시스템(100)은, 적어도 하나의 소스로부터 얼굴 이미지를 수집할 수 있다(S210).
여기서 '얼굴 이미지'는, 카메라를 통해 사용자의 얼굴이 포함되도록 촬영된 이미지이다. 이러한 얼굴 이미지는, 적어도 하나의 소스로부터 다양한 방법으로 수집될 수 있다. 여기서 적어도 하나의 소스란, 얼굴 이미지를 수집하기 위한 적어도 하나의 출처를 의미할 수 있다. 이러한 얼굴 이미지를 수집하기 위한 적어도 하나의 소스는, 예를 들어, 얼굴 이미지를 촬영하기 위한 카메라, 얼굴 이미지가 저장된 저장부(130, 또는 사용자 단말(10)의 저장 모듈), 또는 얼굴 이미지가 게시된 게시물을 포함하는 소셜 네트워크 서비스 등 얼굴 이미지를 수집할 수 있는 다양한 출처를 포함할 수 있다. 이하에서는 각각의 소스로부터 얼굴 이미지를 수집하는 방법을 설명하도록 한다.
얼굴 이미지를 수집하기 위한 방법의 일 예로서, 제어부(140)는, 사용자 단말(10)에 포함된 카메라를 통해 사용자의 얼굴 이미지를 촬영하도록 제어하고, 촬영된 얼굴 이미지를 수집할 수 있다. 이때 수집된 얼굴 이미지는 저장부(130)에 저장될 수 있다.
도 3의 (a)에 도시된 것과 같이, 페이지(300)상의 일 영역에 출력된 카메라 기능키(310)가 사용자에 의해 선택(또는 입력)되는 경우, 제어부(140)는, 사용자 단말(10)상에 설치된 카메라 애플리케이션(이하, '카메라 앱'이라 명명함)을 활성화 시킬 수 있다. 이때 선택된 추천 설문은, 특정 주제와 관련된 적어도 하나의 설문 항목을 포함할 수 있다. 여기서 사용자의 '입력이 있다' 또는 '입력을 수신한다' 또는 '선택이 있다' 또는 '선택을 수신한다'는 것은, 제어부(140)가, 사용자의 입력(예를 들어, 터치 입력)에 의해 발생한 입력 신호를 수신하도록 제어하는 것을 의미할 수 있다.
카메라 앱이 활성화되는 경우, 사용자 단말(10)에 구비된 카메라가 활성화될 수 있다. 따라서 제어부(140)는, 사용자 단말에 구비된 카메라를 통해 사용자의 얼굴 이미지가 촬영되도록 제어할 수 있다. 사용자에 의해 얼굴 이미지에 대한 촬영이 완료되는 경우, 제어부(140)는, 활성화되었던 카메라를 비활성화로 전환하고, 활성화되었던 카메라 앱의 실행을 종료할 수 있다. 이 경우, 제어부(140)는, 사용자 단말(10)의 페이지(300)상에 카메라가 활성화되기 이전에 출력되었던 페이지(300)가 다시 출력되도록 제어할 수 있다.
한편, 제어부(140)는, 기 설정된 주기마다 상기 카메라를 통해 얼굴 이미지가 수집되도록, 카메라의 활성화와 관련된 안내 정보를 사용자 단말에 제공할 수 있다. 이때 기 설정된 주기는, 사용자 또는 운영자의 설정에 따라 다르게 설정, 또는 변경될 수 있다.
이와 같이 본 발명에 따른 정신건강 자가관리 제공 시스템(100)은, 사용자 단말(10)에 구비된 카메라를 통해 사용자의 얼굴 이미지를 수집하여, 정신건강 상태를 자가진단 할 수 있다.
다른 예로서, 제어부(140)는, 사용자 단말(10)의 저장 모듈(또는 저장부(130))에 기 저장된 이미지를 활용하여, 얼굴 이미지를 수집할 수 있다. 예를 들어, 제어부(140)는, 사용자 단말(10)상에 설치된 사진 앨범 애플리케이션(사진 앨범 앱, 또는 갤러리 앱)에 기 저장된 이미지를 정신건강 상태를 진단하기 위한 얼굴 이미지로 활용할 수 있다. 여기서 사진 앨범 앱에 저장된 이미지는, 저장부에 저장된 이미지를 의미할 수 있다. 제어부(140)는, 저장부(130)에 기 저장된 복수의 이미지들 중 사용자에 의해 선택된 적어도 하나의 이미지를 정신건강 상태를 진단하기 위한 얼굴 이미지로 활용할 수 있다. 따라서 제어부(140)는, 저장부(130)에 저장된 과거 사용자의 얼굴 이미지를 통해, 이미지가 촬영된 당시 사용자의 정신건강 상태를 진단하는데 활용할 수 있다. 이를 통해, 제어부(140)는, 사용자의 과거 시점의 정신건강 상태와, 현재 시점의 정신건강 상태를 비교하고, 비교 결과를 사용자에게 제공할 수 있다.
한편, 제어부(140)는, 기 설정된 주기마다 저장부(130)에 저장된 이미지로부터 얼굴 이미지를 수집할 수 있다. 이 경우 제어부(140)는, 기 설정된 주기 사이에 저장된 새로운 이미지가 있는지 여부를 판단할 수 있다. 제어부(140)는, 기 설정된 주기 사이에 저장된 새로운 이미지가 없는 경우, 얼굴 이미지를 수집하지 않을 수 있다.
한편, 제어부(140)는, 기 설정된 주기 사이에 저장부(130)에 복수의 새로운 이미지가 저장된 경우, 복수의 새로운 이미지 중 적어도 하나의 새로운 이미지에서 얼굴 이미지를 추출할 수 있다. 일 예로서, 제어부(140)는, 기 설정된 주기 사이에 저장된 복수의 새로운 이미지 중 가장 마지막에 저장된 이미지, 즉 가장 최근에 저장된 새로운 이미지로부터 얼굴 이미지를 수집할 수 있다. 다른 예로서, 제어부(140)는, 복수의 새로운 이미지 중 사용자에 의해 선택된 적어도 하나의 새로운 이미지로부터 얼굴 이미지를 수집할 수 있다. 또 다른 예로서, 제어부(140)는, 기 설정된 주기 사이에 저장된 복수의 새로운 이미지 전부에 대해 얼굴 이미지를 수집하고, 상기 복수의 새로운 이미지가 저장된 시간의 순서에 따라 각각 정신건강 스코어를 산출할 수 있다. 따라서 제어부(140)는, 시간의 흐름에 따른 사용자의 정신건강 상태의 변화를 사용자에게 보다 손쉽게 제공할 수 있다.
또 다른 예로서, 본 발명에 따른 정신건강 자가관리 제공 시스템(100)은, 타 애플리케이션과 연동하여 얼굴 이미지를 수집할 수 있다. 이때 타 애플리케이션은, 소셜 네트워크 서비스(Social Network Service, 이하, 'SNS'로 명명함)를 포함할 수 있다.
SNS는, 특정한 관심이나 활동을 공유하는 사람들 사이의 관계망을 구축해 주는 온라인 서비스이다. 그 대표적인 예는, 페이스북(Facebook), 트위터(Twitter), 인스타그램(Instagram) 등이 있다.
SNS는, 기 등록된 사용자 계정을 통해 텍스트 및 이미지 중 적어도 하나로 구성된 게시물을 업로드 함으로써, 제3자와 게시물을 공유할 수 있는 서비스이다.
따라서 제어부(140)는, 사용자 계정의 SNS 연동하여, SNS에 게시된 사용자의 얼굴 이미지 수집하고, 수집된 얼굴 이미지를 정신건강 상태를 진단하는데 활용할 수 있다.
구체적으로, 사용자 계정을 통해 SNS에 로그인되는 경우, 제어부(140)는, 디폴트 이미지로 사용자의 얼굴 이미지를 설정할 수 있다. 이때 디폴트 이미지는, 특정 사용자의 얼굴 이미지로, 복수의 얼굴 이미지 중 특정 사용자의 얼굴 이미지를 보다 정확하게 구분하기 위해 활용될 수 있다. 이러한 디폴트 이미지는 다양한 방법으로 설정될 수 있다. 일 예로서, 사용자에 의해 등록될 수 있다. 다른 예로서, 제어부(140)는 SNS에 게시된 적어도 하나의 게시물의 이미지에서 얼굴 이미지를 추출하고, 추출된 얼굴 이미지 중 사용자의 얼굴 이미지를 디폴트 이미지로 설정하기 위한 안내 정보를 사용자 단말상에 제공함으로써, 디폴트 이미지를 설정할 수 있다. 전술한 바와 같이, 디폴트 이미지를 이용하여 복수의 얼굴 이미지 중 사용자의 얼굴 이미지를 추출하는 방법은, SNS에 게시된 이미지에만 적용되는 것은 아니며, 카메라를 통해 수집된 얼굴 이미지, 또는 저장부에 저장된 얼굴 이미지 등 다양한 방법으로 수집된 얼굴 이미지에서 사용자의 얼굴 이미지를 추출하기 위해 활용될 수 있다. 다만 반드시 디폴트 이미지가 설정되어야 하는 것은 아니며, 제어부(140)는, 디폴트 이미지를 설정하지 않고, 수집된 얼굴 이미지로부터 정신건강 상태를 진단하도록 제어할 수 있다.
전술한 바와 같이, SNS의 사용자 계정에 대한 디폴트 이미지가 설정된 경우, 제어부(140)는, 수집된 얼굴 이미지와 상기 디폴트 이미지를 비교함으로써, 상기 디폴트 이미지와 일치하는 사용자의 얼굴 이미지를 수집할 수 있다.
제어부(140)는, SNS를 통해 다양한 방법으로 얼굴 이미지를 수집할 수 있다.
일 예로서, 제어부(140)는, 사용자 계정을 통해 로그인된 SNS에 새로운 이미지를 포함한 게시물이 업로드될 때 마다, 업로드된 이미지로부터 얼굴 이미지를 수집할 수 있다. 제어부(140)는, 새로운 이미지에서 얼굴 이미지를 추출하고, 추출된 얼굴 이미지를 디폴트 이미지와 비교할 수 있다. 그리고, 제어부(140)는, 추출된 얼굴 이미지를 디폴트 이미지와 비교한 결과, 추출된 이미지가 디폴트 이미지와 일치하는 경우, 사용자 계정의 사용자 이미지에 해당한다고 판단하고, 해당 게시물의 이미지를 사용자의 얼굴 이미지로 수집할 수 있다. 반면에 제어부(140)는, 업로드된 새로운 이미지에 포함된 얼굴 이미지를 디폴트 이미지와 비교한 결과, 사용자 계정의 사용자 이미지에 해당하지 않는다고 판단하는 경우, 해당 게시물의 이미지를 수집하지 않을 수 있다.
다른 예로서, 제어부(140)는, 기 설정된 주기 마다 사용자 계정을 통해 로그인된 SNS에 게시된 게시물의 이미지에서 얼굴 이미지를 수집할 수 있다. 제어부(140)는, SNS에 게시된 게시물의 이미지에서 얼굴 이미지를 추출하고, 추출된 얼굴 이미지를 디폴트 이미지와 비교할 수 있다. 그리고 제어부(140)는, 비교 결과 추출된 이미지가 디폴트 이미지와 일치하는 경우, 사용자 계정의 사용자 이미지에 해당한다고 판단하고, 해당 게시물의 이미지를 사용자의 얼굴 이미지로 수집할 수 있다. 반면에 제어부(140)는, 업로드된 새로운 이미지에 포함된 얼굴 이미지를 디폴트 이미지와 비교한 결과, 사용자 계정의 사용자 이미지에 해당하지 않는다고 판단하는 경우, 해당 게시물의 이미지를 수집하지 않을 수 있다.
한편, 제어부(140)는, 기 설정된 주기 마다 사용자 계정을 통해 로그인 된 SNS에, 기 설정된 주기동안 새로 게시된 게시물이 업로드 되었는지 여부를 판단할 수 있다. 이때 제어부(140)는, 기 설정된 주기 사이에 SNS에 새로운 게시물이 업로드 되지 않았다고 판단하는 경우(또는, SNS에 이전 주기의 게시물과 비교하여 새로운 게시물이 없다고 판단하는 경우)에는, 얼굴 이미지를 수집하지 않을 수 있다.
한편, 제어부(140)는, 기 설정된 주기 사이에 복수의 새로운 게시물이 게시된 경우, 복수의 새로운 게시물 중 적어도 하나의 새로운 게시물에서 얼굴 이미지를 추출할 수 있다. 일 예로서, 제어부(140)는, 기 설정된 주기 사이에 게시된 복수의 새로운 게시물 중 가장 마지막에 업로드된 게시물, 즉 가장 최근에 게시된 새로운 게시물로부터 얼굴 이미지를 수집할 수 있다. 다른 예로서, 제어부(140)는, 복수의 새로운 게시물 중 사용자에 의해 선택된 적어도 하나의 새로운 게시물로부터 얼굴 이미지를 수집할 수 있다. 또 다른 예로서, 제어부(140)는, 기 설정된 주기 사이에 게시된 복수의 새로운 게시물 전부에 대해 얼굴 이미지를 수집하고, 상기 복수의 새로운 게시물이 게시된 시간의 순서에 따라 각각 정신건강 스코어를 산출할 수 있다. 따라서 제어부(140)는, 시간의 흐름에 따른 사용자의 정신건강 상태의 변화를 사용자에게 보다 손쉽게 제공할 수 있다.
이와 같이 제어부(140)는, SNS의 게시물로부터 수집된 사용자의 얼굴 이미지를 통해, 사용자의 정신건강 상태를 진단하고, 진단한 정신건강 상태 정보를 팝업 창, 또는 푸시 메시지 등을 통해 사용자에게 제공할 수 있다.
한편 제어부(140)는, 도 3의 (b)에 도시된 것과 같이, 정신건강 상태를 진단하기 위해 선택된(또는 촬영된, 또는 수집된) 얼굴 이미지(320)를 페이지(300)상의 일 영역에 출력하도록 제어할 수 있다. 이때 출력된 얼굴 이미지(320)는, 사용자의 선택에 의해 다른 이미지로 대체, 또는 변경될 수 있다.
한편, 본 발명에 따른 정신건강 자가관리 제공 시스템(100)은, 수집된 얼굴 이미지에서 특징 정보를 추출할 수 있다(S220).
특징 정보란, 얼굴 이미지를 이용하여, 정신건강 상태를 진단하기 위해 기준이 되는 정보로써, 예를 들어, 얼굴에 포함된 주름 정보, 홍조 정보, 및 표정 정보(예를 들어, 눈의 기울기 정보, 또는 입꼬리의 올라감/내려감 정보) 중 적어도 하나로부터 추출되는 특징을 의미할 수 있다. 여기서 특징 정보는, 특징점 또는 피쳐포인트(Feature Point)로도 명명될 수 있다.
일 예로서, 얼굴 이미지에서 추출할 수 있는 특징 정보는, 얼굴의 주름 정보를 포함할 수 있다. 얼굴의 주름 정보는, 주름의 위치, 깊이, 너비, 길이 등의 정보를 포함할 수 있다. 예를 들어, 제어부(140)는, 사용자의 주름의 위치, 또는 주름의 깊이 정보를 통해 사용자의 분노 또는 행복과 같은 감정과 관련된 정신건강 상태를 정신건강 스코어로써 산출할 수 있다.
다른 예로서, 얼굴에서 추출할 수 있는 특징 정보는, 얼굴의 홍조 정보를 포함할 수 있다. 얼굴의 홍조 정보는, 홍조의 위치, 크기, 붉은 정도 등의 정보를 포함할 수 있다. 이때 얼굴의 홍조 정보는, 얼굴 이미지에서 추출된 RGB(Red, Green, Blue) 정보를 이용하여 수집할 수 있다. 예를 들어, 제어부(140)는, 사용자의 홍조의 위치, 또는 홍조의 붉은 정도 정보를 통해 사용자의 분노 또는 행복과 같은 감정과 관련된 정신건강 상태를 정신건강 스코어로써 산출할 수 있다.
또 다른 예로서, 얼굴에서 추출할 수 있는 특징 정보는, 눈의 기울기 정보, 또는 입꼬리의 올라감/내려감 정보(또는 입의 기울기 정보)를 포함할 수 있다. 예를 들어, 제어부(140)는, 사용자의 눈 기울기 정보, 또는 입의 기울기 정보를 통해 사용자의 분노 또는 행복과 같은 감정과 관련된 정신건강 상태를 정신건강 스코어로써 산출할 수 있다.
본 발명에 따른 정신건강 자가관리 제공 시스템(100)은, 얼굴 이미지에서 추출한 특징 정보를 이용하여 사용자의 정신건강 상태를 진단하기 위한 정신건강 스코어를 추출(또는 산출, 또는 분석, 또는 계산)할 수 있다(S230).
여기서 정신건강 스코어란, 정신건강 상태를 진단하기 위한 지표로서, 정신건강 상태의 정도에 따라 수치로 표기된 정보를 의미할 수 있다. 이러한 정신 건강 스코어는, 주제에 따라 다양한 방법으로 측정될 수 있으며, 정신건강 스코어가 높다고 반드시 좋은 것도 또는 나쁜 것도 아니다.
한편, 제어부(140)는, 정신건강 스코어를, 특정 주제와 관련하여 산출할 수 있다.
여기서 주제는, 정신건강 상태를 진단하기 위한 복수의 주제로서, 즐거움, 용기, 만족, 기쁨, 행복과 같은 긍정적인 감정 상태의 분류를 포함할 수 있다. 또한 주제는, 우울, 불안, 슬픔, 화남, 짜증 들과 같은 부정적인 감정 상태의 분류를 포함할 수 있다. 따라서 특정 주제는, 상기 긍정적인 감정 상태의 분류 또는 상기 부정적인 감상 상태 분류 중 어느 하나의 주제를 의미할 수 있다.
한편 특정 주제는, 특정 주제와 관련된 복수의 카테고리를 포함할 수 있다.
본 명세서에서 '카테고리'는, 특정 주제에 대해 사용자의 정신건강 상태를 진단하기 위한 세부 범주를 의미할 수 있다. 예를 들어, 특정 주제인 “우울”에 대한 카테고리는, 우울 척도 A, 우울 척도 B, 자기평가 우울 척도 등을 포함할 수 있다.
제어부(140)는, 정신건강 스코어를 산출하기 위한 특정 주제를, 얼굴 이미지에서 추출된 특징 정보에 근거하여 결정할 수 있다.
구체적으로, 제어부(140)는, 얼굴 이미지에서 추출된 특징 정보를 분석한 결과, 얼굴 이미지를 통해 사용자의 감정 상태를 분류할 수 있다. 예를 들어, 제어부(140)는, 얼굴 이미지에서 추출된 특징 정보를 통해, 사용자의 얼굴 이미지에서 긍정적인 감정 상태의 분류에 해당하는 “행복”으로 사용자의 감정 상태를 분류할 수 있다. 이 경우, 제어부(140)는, 정신건강 스코어를 산출하기 위한 특정 주제를 “행복”으로 결정할 수 있다.
한편, 제어부(140)는, 결정된 특정 주제에 대해 복수의 카테고리 각각에 대한 정신건강 스코어를 산출할 수 있다. 예를 들어, 얼굴 이미지에서 추출된 특징 정보를 기반으로 결정된 특정 주제가 “행복”인 경우, 제어부는, 제1 카테고리에 대한 스코어, 제2 카테고리에 대한 스코어, 제3 카테고리에 대한 스코어, 제4 카테고리에 대한 스코어 및 제5 카테고리에 대한 스코어를 각각 산출할 수 있다(도 3의 (c) 도면부호 340 참조). 또한 제어부(140)는, 특정 주제와 관련된 복수의 카테고리 각각에 대한 스코어를 종합한 종합 스코어를 산출할 수도 있다. 이때 종합 스코어를 산출하는 방법은, 복수의 카테고리 각각에 대한 스코어를 평균내는 방법, 또는 합산하는 방법, 또는 카테고리 별로 가중치를 다르게 설정하여 산출하는 방법 등 다양한 방법으로 산출될 수 있다.
한편, 본 발명에 따른 정신건강 자가관리 제공 시스템(100)은, 산출된 정신건강 스코어를 사용자 단말(10)에 제공할 수 있다(S240).
도 3의 (b)에 도시된 것과 같이, 페이지(300)상의 일 영역에 위치한 결과보기 기능키(330)에 대한 사용자의 입력(또는 선택)에 근거하여, 제어부(140)는, 도 3의 (c)에 도시된 것과 같이, 특정 주제에 따른 정신건강 스코어를 페이지(300)상에 일 영역(340)에 출력(또는 노출)할 수 있다. 전술한 바와 같이, 페이지(300)상의 일 영역(340)에 출력되는 정신건강 스코어는, 특정 주제와 관련된 복수의 카테고리 각각의 스코어 및 상기 각각의 스코어에 대한 종합 스코어 중 적어도 하나를 포함할 수 있다.
한편, 제어부(140)는, 사용자의 정신건강 히스토리 정보를 이용하여 사용자의 정신건강 스코어를 포함하는 진단 결과를 사용자 단말을 통해 제공할 수 있다. 이때, 사용자의 정신건강 히스토리 정보란, 특정 기간동안 사용자가 수행한 얼굴 이미지에 대한 정신건강 상태 진단 결과를 누적한 종합 데이터를 포함할 수 있다. 즉, 사용자의 정신건강 히스토리 정보란, 사용자 계정에 매칭되어 저장된, 과거 특정 시점으로부터 현재 시점까지 사용자에 의해 수행된 정신건강 상태 진단 결과를 모두 포함하는 정보를 의미할 수 있다.
따라서 제어부(140)는, 사용자의 계정과 매칭하여 산출된 사용자의 정신건강 스코어를 사용자의 정신건강 히스토리 정보로서 저장부(130)에 저장할 수 있다.
따라서 제어부(140)는, 사용자의 정신건강 히스토리 정보를 반영하여, 사용자에게 특정 기간 동안의 정신건강 진단 결과를 제공할 수 있다.
나아가, 제어부(140)는, 도면에 도시되지는 않았으나, 페이지(300)상에 선택된 얼굴 이미지와 함께, 정신건강 스코어를, 숫자, 문자, 이모티콘 및 그래프 이미지 중 적어도 하나가 조합된 형태로 사용자 단말 상에 제공되도록 제어할 수 있다. 이와 같이 사용자 단말의 페이지 상에 얼굴 이미지와 함께, 정신건강 스코어를, 숫자, 문자, 이모티콘 및 그래프 이미지 중 적어도 하나가 조합된 형태로 제공함으로써, 사용자에게 사용자 자신의 정신건강 상태를 직관적으로 보여줄 수 있다.
이상에서는 본 발명에 따른 정신건강 자가관리 제공 시스템(100)을 통해 얼굴 이미지를 이용하여 사용자의 정신건강 상태를 진단하고, 이를 통해 사용자가 스스로 자신의 정신건강 상태를 관리할 수 있는 방법을 설명하였다.
이하에서는, 얼굴 이미지에 대한 처리과정을 통해 정신건강 스코어를 보다 정확하게 산출하기 위한 방법을 설명하도록 한다.
제어부(140)는, 수집된 얼굴 이미지를 이용하여, 특정 주제에 대한 정신건강 스코어를 산출하기 위하여, 먼저 수집된 얼굴 이미지에 대한 전처리 과정을 수행할 수 있다.
얼굴 이미지에 대해 수행되는 전처리 과정은 다음에 대한 일 예는 같다.
먼저 제어부(140)는, 수집된 이미지에 대해 콘트라스트 스트레칭(contrast stretching)을 통해 얼굴의 밝기를 보다 명확하게 하여 이미지의 콘트라스트를 개선할 수 있다.
그리고 제어부(140)는, 모폴로지 오프닝(morphological opening) 연산을 통해 빛이 반사되는 현상인 명점(bright spot)을 줄일 수 있다.
그리고 제어부(140)는, 전처리된 영상을 이진화한 후, 씨닝(thinning) 연산을 통해 얼굴 이미지속 얼굴 표정의 스켈레톤(skeleton)을 얻을 수 있다.
이와 같은 전처리 과정은, 수집된 얼굴 이미지에서 얼굴 영역과 표정 영역을 명확하게 구분함으로써, 이후 정신건강 스코어의 정확도를 높일 수 있다. 다만 이러한 전처리 과정은, 필수적인 것은 아니므로 선택적으로 진행될 수 있다. 또한 앞서 살펴본 얼굴 이미지에 대한 전처리 과정은, 일 예로서 수집된 얼굴 이미지에서 얼굴 영역과 표정 영역을 명확하게 구분하기 위한 다른 예로 대체될 수 있다.
한편, 제어부(140)는, 전처리 과정이 수행된 얼굴 이미지에서 얼굴을 인식할 수 있다.
한편 제어부(140)는, 전처리 과정을 통해 획득한 얼굴 표정의 스켈레톤 각 좌표의 좌표값과 그 좌표값이 가지는 각도(angle)를 분석하여, 이진화된 얼굴 이미지에 캐니 에지 디텍션(Canny Edge Detection)을 적용하여 얼굴의 윤곽을 획득할 수 있다.
한편 제어부(140)는, 획득한 얼굴의 윤곽과 스켈레톤을 통해 구한 법선들의 교점이 2개씩 나오도록 하여, 두 교점 사이의 거리의 평균을 산출해 픽셀(pixel) 단위의 평균 얼굴 이미지를 검출할 수 있다.
나아가 제어부(140)는, 영상의 스켈레톤에서 시작점과 끝점을 찾아 끝점의 개수가 모공의 개수를 나타내도록 하여 모공 개수를 측정할 수 있다. 이때 모공 개수를 측정하기 위해서는, 모공은 1개의 시작점과 1개의 끝점을 가지고 있으며, 시작점은 영상의 내부에 위치하고, 끝점은 영상의 가장자리에 위치한다는 것을 전제로 할 수 있다.
한편, 제어부(140)는, 얼굴 이미지에서 추출한 특징정보를 이용하여, 정신건강 스코어를 산출하기 위해 인공지능(예를 들어, 기계 학습(Machine Learning; 머신 러닝))을 이용할 수 있다.
제어부(140)는, 기계 학습을 통해 얼굴 이미지의 정신건강 스코어를 산출하기 위해서는, 먼저 다양한 연령대와 성별을 가진 다수의 피험자로부터 수집된 이미지 데이터를 활용하여, 피험자의 감정 상태, 또는 정신건강 상태를 유추할 수 있는 특징 정보를 추출할 수 있다. 이와 같이 제어부(140)는, 다수의 피험자로부터 수집된 이미지 데이터, 즉 학습 데이터를 기반으로 기계 학습을 통해, 얼굴 이미지로부터 정신건강 스코어를 분석할 수 있는 학습 모델을 생성할 수 있다.
따라서 제어부(140)는, 생성된 학습 모델을 이용하여, 수집된 얼굴 이미지에서 추출된 특징 정보를 기반으로 특정 주제에 따른 정신건강 스코어를 보다 정확하게 산출할 수 있다.
한편, 본 발명에 따른 정신건강 자가관리 제공 시스템(100)은, 얼굴 이미지 뿐만 아니라 음성 데이터를 이용하여 사용자의 정신건강 상태를 진단하고, 이를 관리할 수 있다. 도 4는 본 발명에 따른 얼굴 이미지를 이용한 정신건강 자가관리 제공 시스템에서, 음성 데이터를 이용하여 사용자의 정신건강 상태를 진단하는 방법을 설명하기 위한 개념도이다.
여기서 음성 데이터란, 사용자 단말(10)에 구비된 마이크 모듈을 통해 수집된 데이터로써, 사용자의 목소리 크기, 높낮이, 떨림 및 사용자가 사용하는 단어 정보를 포함할 수 있다.
일 예로서, 도 4의 (a)에 도시된 것과 같이, 제어부(140)는, 수집된 음성 데이터를 이용하여 정신건강 스코어를 산출하기 위한 화면을 페이지(300)상에 출력할 수 있다.
먼저 본 발명에 따른 정신건강 자가관리 제공 시스템(100)은, 다양한 방법으로 음성 데이터를 수집할 수 있다.
일 예로서, 제어부(140)는, 사용자 단말(10)에 구비된 마이크 모듈을 통해 사용자의 음성 데이터를 '항상 수집'하도록 설정할 수 있다. 이때, 항상 수집한다는 것은, 하루 24시간동안 계속적으로 마이크 모듈을 활성화하여 음성 데이터를 수집한다는 것을 의미할 수 있다.
다른 예로서, 제어부(140)는, 사용자 단말(10)에 구비된 마이크 모듈을 통해 사용자의 음성 데이터를 '정해진 시간에 수집'하도록 설정할 수 있다. 예를 들어, 사용자의 생활 패턴을 고려하여, 사용자가 가장 말을 많이 하게 되는 시간대인 점심 시간 또는 저녁 시간 동안에만 음성 데이터를 수집하도록, 제어부(140)가 마이크 모듈을 활성화시킬 수 있다.
또 다른 예로서, 제어부(140)는, 사용자 단말(10)에 구비된 마이크 모듈을 통해 사용자의 음성 데이터를 '주기적으로 수집'하도록 설정할 수 있다. 즉 제어부(140)는, 마이크 모듈을 통해 기 설정된 주기로 음성 데이터를 수집할 수 있다. 예를 들어, 제어부(140)는, 1시간동안 마이크 모듈을 활성화하고, 이후 3시간동안 마이크 모듈을 비활성화하며, 이를 주기적으로 반복하도록 설정할 수 있다.
또 다른 예로서, 제어부(140)는, 사용자 단말(10)에 구비된 마이크 모듈을 통해 사용자의 음성이 발화되는 경우에만 음성 데이터를 수집하도록 설정할 수 있다. 즉, 제어부는, 마이크 모듈을 통해 사용자의 음성을 인식함으로써, 사용자의 음성이 발화되는 경우에 상기 마이크 모듈이 활성화되고, 일정 시간 이상 사용자의 음성의 발화가 없는 경우, 상기 마이크 모듈이 비활성화되도록 제어할 수 있다.
또 다른 예로서, 제어부(140)는, 특정 단어를 시동어로 이용하여 마이크 모듈이 활성화되도록 제어할 수 있다. 이때 시동어란, 마이크를 통해 수집된 음성 중 기기를 활성화하기 위한 '특정 단어'를 의미할 수 있다. 예를 들어, 시동어는, 기기에 따라 “헤이, 카카오”, “시리야” 또는 “하이 빅스비”등이 있을 수 있다. 이러한 시동어는 기기의 설정에 따라 초기 설정될 수 있고, 또한 변경될 수도 있다. 이와 같이, 제어부(140)는, 사용자의 선택에 따라, 시동어를 통해 음성 데이터를 수집하기 위한 마이크 모듈을 활성화 또는 비활성화 하도록 제어할 수 있다.
한편, 도 4의 (a)에 도시된 것과 같이, 페이지(300)상의 일 영역에 설정과 관련된 기능키(410)가 출력될 수 있다. 이러한 설정과 관련된 기능키(410)가 사용자에 의해 선택(또는 입력)되는 경우, 제어부(140)는, 도 4의 (b)에 도시된 것과 같이 음성 인식과 관련된 설정 항목을 표시한 팝업 창(430)이 페이지(300)상의 일 영역에 출력되도록 제어할 수 있다.
이때 설정 항목을 표시한 팝업 창(430)에는, 음성 수집 방법과 관련된 항목(440)이 포함될 수 있다.
제어부(140)는, 음성 수집 방법과 관련된 항목(440)에 대한 사용자의 선택에 따라, 전술한 실시 예들과 같이, 음성 데이터를 '항상 수집','정해진 시간에 수집' 및 '주기적으로 수집' 중 어느 하나의 방법으로 수집하도록 설정할 수 있다. 다만 상술한 실시 예는, 음성 수집 방법을 설명하기 위한 실시 예로써, 상기 방법으로 제한되는 것은 아니며, 그 밖에 다양한 방법으로 음성 데이터를 수집할 수 있다.
한편, 설정이 완료된 경우, 도 4의 (a)의 일 영역에 위치한 결과 보기 기능키(420)에 대한 사용자의 입력을 통해, 제어부(140)는, 수집된 음성 데이터를 기반으로 페이지(300)상에 특정 주제에 따른 정신 건강 스코어(450)를 산출 및 제공할 수 있다.
한편, 이하에서는 수집된 음성 데이터를 기반으로, 정신건강 상태를 진단하기 위한 정신건강 스코어를 산출하는 방법을 살펴보도록 한다.
제어부(140)는, 음성 데이터를 기반으로, 정신건강 상태를 진단하기 위해 먼저 음성 데이터를 분석할 수 있다.
일 예로서, 제어부(140)는 수집된 음성 데이터를 일정한 단위로 샘플링하고, 특성 벡터를 추출할 수 있다. 추출된 특성 벡터를 SSM(Self-Similarity Matrix) 기법을 통하여 음성의 유사한 부분을 검출할 수 있다. 이때 SSM 기법은, 음성 데이터의 유사한 부분을 검출하기 위해 시간에 따라 벡터안의 데이터를 비교하여 검출할 수 있다. 제어부(140)는, 데이터 비교 결과를 기반으로, 매트릭스(N X N)를 생성할 수 있다.
다른 예로서, 제어부(140)는, 음성 데이터에서 특성 벡터를 추출하고, 추출된 특성 벡터 안의 N개의 데이터를 코사이 유사도(Cosine Similarity)를 계산하여 매트릭스(N X N)를 생성할 수 있다.
이와 같이, 제어부(140)는, 수집된 음성 데이터에서 유사 구간 및 반복 구간을 검출하여 수집된 음성 데이터를 일정한 구조로 저장할 수 있다. 따라서 본 발명에 따른 정신건강 자가관리 제공 시스템(100)은, 유사 구간 및 반복 구간을 검출함으로써, 음성 인식 시 소요되는 계산량 및 소요되는 시간을 줄일 수 있다.
본 발명에 따른 정신건강 자가관리 제공 시스템(100)은, 분석된 음성 데이터를 기반으로 사용자의 감정 상태에 따른 정신건강 스코어를 산출할 수 있다.
한편, 본 발명에 따른 정신건강 자가관리 제공 시스템(100)은, 페이지(300) 상에 도 5의 도시와 같이, 애플리케이션의 메인 화면(또는 특정 화면)을 통해 얼굴 이미지를 이용하여 정신건강 상태를 진단한 결과를 제공할 수 있다. 도 5는 본 발명에 따른 얼굴 이미지를 이용한 정신건강 자가관리 제공 시스템이 제공하는 메인 화면(또는 특정 화면)을 도시한 도면이다.
제어부(140)는, 페이지(300)상에 사용자의 얼굴 이미지를 기반으로 산출된 정신건강 스코어를 포함하는 정신건강 상태 진단 결과를 출력하는 경우, 시간 정보, 위치 정보, 날씨 정보, 주요 뉴스 정보, 나의 SNS 새로운 소식 정보 중 적어도 하나의 정보를 함께 출력할 수 있다. 다만 상기 페이지(300)상에 출력되는 정보는, 전술한 시간 정보, 위치 정보, 날씨 정보, 주요 뉴스 정보, 나의 SNS 새로운 소식 정보로 제한되는 것은 아니며, 사용자의 설정 또는 운영자의 설정에 따라 보다 다양한 정보를 포함할 수 있다.
도 5를 참조하여, 본 발명에 따른 정신건강 자가관리 제공 시스템(100)이 페이지(300) 상에 제공하는 메인 화면(또는 특정 화면)의 구성을 설명하도록 한다.
먼저 제어부(140)는, 페이지(300)상의 일 영역에, 사용자의 정신건강 진단 영역(510)이 출력되도록 제어할 수 있다. 이때 정신건강 진단 영역(510)에는, 사용자의 정신건강 상태를 진단하는데 이용된 얼굴 이미지, 주제에 따른 정신건강 스코어 및 추천 서비스로 연동 가능한 기능키(511, 512) 중 적어도 하나가 포함될 수 있다.
한편, 제어부(140)는, 페이지(300) 상의 일 영역에, 시간 정보, 위치 정보, 날씨 정보 등으로 구성되는 영역(520)이 포함되도록 제공할 수 있다. 이때 시간 정보는, 사용자 단말(10)이 위치한 지역의 시간 정보를 포함할 수 있다. 또한, 위치 정보는, 사용자 단말(10)에 구비된 GPS 모듈(또는 GPS 기기)을 이용하여 수신된 위치 정보를 포함할 수 있다. 나아가 날씨 정보는, 사용자 단말(10)이 위치한 지역에서의 날씨 정보(기온 정보, 미세먼지 정보, 초미세먼지 정보, 오존 지수 등)로서, 웹 서버, 웹 사이트, 또는 날씨 정보를 포함한 외부 서버로부터 다운로드 또는 통신부(110)를 통해 수신될 수 있다.
한편, 제어부(140), 페이지(300) 상의 일 영역에, 뉴스 영역(530)이 포함되도록 제공할 수 있다. 이때 뉴스 영역(530)에는, 사용자가 설정한 분야의 관심 뉴스, 최신 뉴스, 주요 뉴스 또는 진단된 사용자의 정신건강 스코어와 관련된 뉴스 중 적어도 하나의 기사 목록이 출력될 수 있다. 제어부(140)는, 상기 출력된 뉴스 기사 목록이 사용자에 의해 선택되는 경우, 해당 뉴스 페이지로 상기 페이지(300)가 전환되도록 설정할 수 있다.
한편, 제어부(140)는, 페이지(300) 상의 일 영역에, SNS 영역(540)이 포함될 수 있다. 이때, SNS 영역(540)에는, 사용자의 계정으로 연동된 SNS상에 새로운 소식에 대한 알림 정보가 제공될 수 있다.
전술한 바와 같이, 도 5에 도시된 화면은, 본 발명에 따른 정신건강 자가관리 제공 시스템(100)이 제공하는 페이지(300)상의 메인 화면의 일 예로서, 메인 화면의 구성을 제한하는 것은 아니다. 따라서 본 발명에 따른 정신건강 자가관리 제공 시스템(100)이 제공하는 페이지(300)상의 메인 화면은, 추가적인 그래픽 이미지, 추가적인 서비스 등을 포함하도록 업데이트될 수 있다. 따라서 본 발명에 따른 정신건강 자가관리 제공 시스템(100)이 제공하는 페이지(300)상의 초기화면은, 도 5에 도시된 것과 다른 UX/UI(User Experience/User Interface)로 구성될 수 있음은 자명하다.
한편, 본 발명에 따른 정신건강 자가관리 제공 시스템(100)은, 애플리케이션의 메인 화면을 통해 정신건강 진단 결과를 제공할 뿐만 아니라, 도 6의 도시와 같이, 사용자 단말(10)의 홈 화면과 연동하여 정신건강 진단 결과를 제공할 수 있다. 도 6은 본 발명에 따른 얼굴 이미지를 이용한 정신건강 자가관리 제공 시스템이 사용자 단말의 홈화면을 통해 정신건강 상태 진단 결과를 제공하는 방법을 설명하기 위한 개념도이다.
사용자 단말(10)의 홈 화면이란, 사용자 단말(예를 들어, 스마트폰)을 켰을 때 기본으로 터치스크린(또는 디스플레이부)상에 나타나는 화면으로써, 애플리케이션의 아이콘이 배치되는 영역일 수 있다.
도 6의 (a)에 도시된 것과 같이, 제어부(140)는, 홈 화면의 일 영역에 사용자의 정신건강 상태를 진단한 결과 정보를 위젯(widget)의 형태로 출력할 수 있다. 여기서 위젯(widget)이란, 각종 기능 또는 정보(콘텐츠)를 담고 있는 작은 크기의 애플리케이션으로, 사용자가 PC 또는 스마트폰의 홈 화면 상에서 웹 브라우저를 통하지 않고, 해당 서비스를 이용할 수 있도록 만든 일종의 유틸리티 프로그램이다.
본 발명에 따른 정신건강 자가관리 제공 시스템(100)은, 사용자의 선택에 따라, 도 6의 (a) 또는 도 6의 (b)와 같이 다양한 형태로 사용자 단말의 홈 화면 상에 정신건강 상태의 진단 결과를 제공할 수 있다.
따라서 사용자는, 사용자 단말(10)의 홈 화면을 통해 정신건강 진단 결과를 제공받음으로써, 직접 애플리케이션에 접속해야 하는 수고로움을 줄일 수 있다.
한편, 본 발명에 따른 정신건강 자가관리 제공 시스템(100)은, 얼굴 이미지를 이용하여 정신건강 스코어를 산출한 경우, 산출된 정신건강 스코어를 기반으로 사용자 맞춤형 추천 서비스를 제공할 수 있다. 도 7은 본 발명에 따른 얼굴 이미지를 이용한 정신건강 자가관리 제공 시스템이 제공하는 사용자 맞춤형 추천 서비스 중 설문 제공 서비스를 도시한 참고 도면이다.
이때 산출된 정신건강 스코어를 기반으로 제공되는 사용자 맞춤형 추천 서비스는, 일 예로서, 추천 설문 제공, 상담 서비스 제공, 나를 위한 편지 제공, 추천 병원 정보 및 병원 예약 서비스 제공 중 적어도 하나를 포함할 수 있다. 다만, 사용자 맞춤형 추천 서비스는, 상술한 서비스들로 한정되는 것은 아니며, 정신건강 상태를 개선하기 위한 다양한 서비스를 더 포함할 수 있다.
이하에서는, 본 발명에 따른 정신건강 자가관리 제공 시스템(100)을 통해 제공되는 사용자 맞춤형 추천 서비스를 각각 살펴보도록 한다.
먼저, 본 발명에 따른 정신건강 자가관리 제공 시스템(100)은, 사용자의 정신건강 상태 진단 결과에 따른 정신건강 스코어를 기반으로, 특정 주제와 관련된 설문(또는 설문 데이터)을 추천할 수 있다.
여기서 설문이란, 정신건강 상태를 진단하기 위해 정신건강의학과에서 실제 활용되고 있는 공신력 있는 설문 데이터를 포함할 수 있다. 또한 외부 서버 또는 웹 사이트 등을 통해 정신건강 상태를 진단하기 위한 설문을 추가적으로 다운로드 받음으로써, 설문 데이터를 수시로 또는 주기적으로 업데이터 할 수 있다.
한편, 설문 데이터는, 여러가지 주제와 관련될 수 있다. 따라서, 설문 데이터는, 주제에 따라 분류되어 저장부(130)에 저장될 수 있다.
한편 설문 데이터의 주제를 보다 상세하게 분류하기 위하여, 주제를 다시 소주제로 분류할 수 있다. 예를 들어, 복수의 설문의 주제는, 우울, 불안, 소아/청소년, 성격/행동, 섭식/알코올, 자살/공격, 노인 등으로 크게 분류될 수 있다.
일 예로서, 복수의 설문의 주제 중 “우울”은, 사용자의 우울 정도를 평가할 수 있는 설문들로 구성될 수 있다.
나아가 설문 데이터의 주제는, 다시 소주제로 분류될 수 있다. 즉, 설문 데이터의 특정 주제는, 특정 주제와 관련된 복수의 소주제로 보다 세밀하게 분류될 수 있다. 일 예로서, 복수 설문 데이터의 주제 중 “우울”과 관련된 소주제는, 우울형용사 체크리스트, 자기평가 우울척도, 우울척도 A, 우울척도 B, 무망감(無望感) 우울증 척도, 우울 평가 척도 등으로 분류될 수 있다.
한편, 제어부(140)는, 정신건강 진단 결과에 따른 정신건강 스코어가 기 설정된 조건을 만족하는 경우, 특정 주제와 관련된 설문을 특정하고, 사용자 단말(10) 상에 상기 특정된 설문의 진행과 관련된 기능 아이콘(또는 기능키)을 제공할 수 있다.
여기서 기 설정된 조건이란, 사용자의 정신건강 상태에 대한 진단 결과에 따른 추천 설문은 제공하기 위한, 기준 조건으로 사용자 또는 운영자의 설정에 따라 달라질 수 있다. 일 예로서, 기 설정된 조건은, 특정 주제에 대해 진단된 사용자의 정신건강 스코어가 기준값 이하에 해당하는 것을 포함할 수 있다. 이 경우, 제어부(140)는, 특정 주제에 대한 사용자의 정신건강 스코어가 '기준값'(예를 들어, 20점) 이하에 해당한다고 판단하는 경우, 상기 특정 주제와 관련된 설문을 특정하고, 특정된 설문을 사용자에게 제공하는 프로세스를 수행할 수 있다.
다른 예로서, 기 설정된 조건은, 특정 주제에 대해 진단된 사용자의 정신건강 스코어가 기 설정된 기간 동안 기준값 이하에 해당하는 것을 포함할 수 있다. 이 경우, 제어부(140)는, 특정 주제에 대한 사용자의 정신건강 스코어가 '기 설정된 기간'(예를 들어, 5일)동안 기준값 이하에 해당한다고 판단하는 경우, 상기 특정 주제와 관련된 설문을 특정하고, 특정된 설문을 사용자에게 제공하는 프로세스를 수행할 수 있다.
한편, 제어부(140)는, 얼굴 이미지를 기반으로 산출된 특정 주제에 따른 정신건강 스코어와 매칭되는 주제와 관련된 적어도 하나의 설문 목록(710)을 제공할 수 있다. 일 예로서, 정신건강 스코어와 매칭되는 주제와 관련된 설문 목록은, 추천 우선순위에 따라 적어도 하나의 추천 설문 목록(710)을 포함할 수 있다.
일 예로서, 제어부(140)는, 도 7의 (a)에 도시된 것과 같이, 얼굴 이미지를 기반으로 산출된 특정 주제에 따른 정신건강 스코어를 제공함과 동시에, 복수의 설문을 통해 정신건강 상태를 진단하기 위한 설문 목록(710)을 제공할 수 있다. 다른 예로서, 본 발명에 따른 정신건강 자가관리 제공 시스템(100)은, 도 5에 도시와 같이 애플리케이션 메인 화면이 출력된 페이지(300) 상에 추천 서비스에 대한 기능키(511)를 통해 추천 설문 제공 서비스를 사용자에게 제공하도록 제어할 수 있다.
한편, 도 7의 (a)와 같이 추천 설문 목록(710) 중 어느 하나가 사용자에 의해 선택(또는 입력)되는 경우, 제어부(140)는, 도 7의 (b)에 도시된 것과 같이 선택된 추천 설문이 사용자에게 제공되도록 제어할 수 있다.
제어부(140)는, 도 7의 (b)에 도시된 것과 같이, 페이지(300)상의 설문 영역(720)에 복수의 설문 중 어느 하나의 설문(예를 들어, 1번 문항)이 출력되도록 제어할 수 있다. 이 경우, 설문 영역(720)에 표시된 설문에 대응되는 응답과 관련된 적어도 하나의 후보(또는, 객관식 문항의 보기, 730)가 표시될 수 있다. 이 경우 제어부(140)는, 사용자 단말(10)의 사용자(또는 유저)에 의해 표시된 어느 하나의 설문에 대한 응답을 수신할 수 있다. 이때 사용자는, 상기 응답 영역에 출력된 후보들 중 사용자의 상태에 가장 적합하다고 생각되는 후보를 응답 데이터로 선택할 수 있다.
사용자 단말(10)을 통해 사용자의 응답 데이터가 입력된 경우, 제어부(140)는 사용자 단말(10)을 통해 사용자에 의해 다음 설문으로 넘어가기 위한 입력을 수신할 수 있다. 즉 사용자는, 주어진 설문에 대한 응답을 완료한 후, 다음 설문으로 넘어가기 위한 동작을 수행할 수 있다.
이때 다음 설문으로 넘어가기 위한 동작은 다양한 방법으로 수행될 수 있다.
일 예로서, 도 7의 (b)에 도시된 것과 같이, 페이지(300)의 설문 영역(720)에 대한 사용자의 스와이프(swipe)(또는 드래그(drag)) 입력을 통해 다음 설문으로 넘어갈 수 있다. 이때 스와이프 입력은, 좌측 또는 우측 방향으로 스크린을 쓸어 넘김으로써, 다음 설문 또는 이전 설문으로 페이지(300)를 이동시킬 수 있다.
한편 제어부(140)는, 추천 설문에 대한 사용자의 응답이 완료되는 경우, 추천 설문에 대한 정신건강 상태 진단 결과를 제공할 수 있다. 따라서 사용자는, 얼굴 이미지에 따른 정신건강 상태 진단 결과와, 상기 추천 설문에 대한 정신건강 상태 진단 결과를 비교하여 보다 정확한 정신건강 상태에 대한 진단 결과를 제공받을 수 있다.
한편, 본 발명에 따른 정신건강 자가관리 제공 시스템(100)은, 도 8에 도시된 것과 같이, 얼굴 이미지를 기반으로 산출된 특정 주제에 따른 정신건강 스코어를 제공함과 동시에, 상담사 연결 서비스를 제공할 수 있다. 도 8은 본 발명에 따른 얼굴 이미지를 이용한 정신건강 자가관리 제공 시스템이 제공하는 사용자 맞춤형 추천 서비스 중 나를 위한 편지 서비스를 도시한 참고 도면이다.
제어부(140)는, 산출된 특정 주제에 따른 정신건강 스코어와 함께 상담사 연결 서비스를 제공할 수 있다.
제어부(140)는 산출된 특정 주제에 따른 정신건강 스코어가 기 설정된 조건을 만족하는 경우, 상담사 연결 서비스가 제공되도록 제어할 수 있다. 다만, 제어부(140)는 산출된 특정 주제에 따른 정신 건강 스코어를 고려하지 않고, 상담사 연결 서비스를 제공할 수도 있다.
일 예로서, 제어부(140)는, 산출된 정신건강 스코어가 기준값 이하에 해당하는 경우, 페이지(300) 상의 일 영역을 통해 상담사 연결 서비스를 제공할 수 있는 프로세스를 수행할 수 있다. 예를 들어, 산출된 특정 주제에 따른 정신건강 스코어가 '기준값'(예를 들어, 20점)이하에 해당하는 경우, 제어부(140)는, 페이지(300)를 통해 상담사 연결 서비스를 제공하기 위한 프로세스를 수행할 수 있다.
다른 예로서, 제어부(140)는, 산출된 정신건강 스코어가 '기 설정된 기간'(예를 들어, 5일)동안 기준값 이하에 해당하는 경우, 페이지(300) 상의 일 영역을 통해 상담사 연결 서비스를 제공하기 위한 프로세스를 수행할 수 있다.
도 8의 (a)에 도시된 것과 같이, 본 발명에 따른 정신건강 자가관리 제공 시스템(100)은, 산출된 특정 주제에 따른 정신건강 스코어가 특정 조건을 만족하는 경우, 페이지(300)상에 산출된 정신건강 스코어의 제공과 함께, 일 영역에 상담사 연결 서비스와 연동된 기능키(810)를 출력할 수 있다.
사용자에 의해 상기 상담사 연결 서비스와 연동된 기능키(810)가 선택(또는 입력)되는 경우, 도 8의 (b)에 도시된 것과 같이, 상담사 연결 서비스의 제공과 관련된 화면으로 상기 페이지(300)가 전환될 수 있다.
앞서 살펴본 바와 같이 본 발명에 따른 정신건강 자가관리 제공 시스템(100)은, 정신건강 상태의 진단 결과에 따라 사용자와 전문가를 연결할 수 있는 플랫폼을 제공함으로써, 사용자가 보다 적극적인 치료를 손쉽게 제공받을 수 있다.
한편, 본 발명에 따른 정신건강 자가관리 제공 시스템(100)은, 도 9에 도시된 것과 같이, 얼굴 이미지를 기반으로 산출된 특정 주제에 따른 정신건강 스코어를 제공함과 동시에, 나를 위한 편지 서비스를 제공할 수 있다. 도 9은 본 발명에 따른 얼굴 이미지를 이용한 정신건강 자가관리 제공 시스템이 제공하는 사용자 맞춤형 추천 서비스 중 상담사 연결 서비스를 도시한 참고 도면이다.
여기서 '나를 위한 편지' 서비스란, 사용자 단말(10)에 로그인된 사용자 계정을 통해 사용자가 사용자 자신에게 에세이(또는 편지 글)를 작성하고, 작성된 에세이를 일정 기간 이후에 사용자 자신에게 전송해 주는 서비스이다. 이에 따라 작성된 에세이는 저장부(130)에 저장될 수 있다.
이때 '에세이(Essay)'는, 편지 글, 일기 글, 응원 글, 다짐 글, 감사 글, 감상문 등 다양한 종류의 산문 양식을 포함할 수 있다.
한편, 제어부(140)는, 사용자에 의해 작성된(또는 저장된) 에세이의 내용을 분석할 수 있다. 제어부(140)는, 사용자에 의해 작성된 에세이에서, 사용자의 정신건강 상태와 관련된 내용을 추출하고, 추출된 내용을 기반으로 상기 에세이를 주제 별로 분류하여 저장부(130)에 저장하도록 제어할 수 있다. 예를 들어, 얼굴 이미지를 기반으로 산출된 정신건강 스코어가 복수의 특정 주제 중 '행복'과 관련된 스코어가 높게 나온 경우에는, 제어부(140)는, 작성된 적어도 하나의 에세이 중 '행복'과 관련된 에세이를 사용자에게 제공하도록 제어할 수 있다.
한편, 얼굴 이미지를 이용한 정신건강 진단 결과로서, 나를 위한 편지 서비스를 연동하는 방법은 다음과 같다. 일 예로서, 제어부(140)는, 얼굴 이미지를 기반으로 산출된 특정 주제에 따른 정신건강 스코어와 함께, 상기 스코어에 매칭되는 나를 위한 편지 글(또는 에세이)을 제공할 수 있다.
예를 들어, 제어부(140)는, 도 9의 (a)에 도시된 것과 같이, 페이지(300)상에 산출된 특정 주제에 따른 정신건강 스코어와 함께, 일 영역에 나를 위한 편지 서비스와 연동된 기능키(910)를 출력할 수 있다. 사용자에 의해 나를 위한 편지 서비스와 연동된 기능키(910)가 선택(또는 입력)되는 경우, 제어부(140)는, 도 9의 (b)에 도시된 것과 같이, 산출된 정신건강 스코어에 매칭되는 나를 위한 편지 글을 제공하는 화면으로 상기 페이지(300)를 전환할 수 있다.
다른 예로서, 제어부(140)는, 도 5에 도시와 같이 애플리케이션 메인 화면이 출력된 페이지(300) 상에 추천 서비스에 대한 기능키(512)를 통해 나를 위한 편지 서비스를 사용자에게 제공하도록 제어할 수 있다.
이와 같이, 본 발명에 따른 정신건강 자가관리 제공 시스템(100)은, 과거에 사용자가 작성한 응원 글 또는 고민 글 등을 활용하여, 현재의 사용자가 응원을 받고, 또한 과거 고민을 해결했던 기억들을 떠올리는 등 사용자의 정신건강 상태를 개선하는데 활용할 수 있다.
한편, 본 발명에 따른 정신건강 자가관리 제공 시스템(100)은, 도 10에 도시된 것과 같이, 얼굴 이미지를 기반으로 산출된 특정 주제에 따른 정신건강 스코어를 제공함과 동시에, 주변 병원 찾기 서비스를 제공할 수 있다. 도 10은 본 발명에 따른 얼굴 이미지를 이용한 정신건강 자가관리 제공 시스템이 제공하는 사용자 맞춤형 추천 서비스 중 주변 병원 찾기 서비스를 도시한 참고 도면이다.
주변 병원 찾기 서비스는, 사용자에게 사용자의 위치 주변에 위치한 병원 정보를 제공하는 서비스이다. 일 예로서, 사용자의 위치 정보는, 사용자의 전자기기(또는 단말기)에 구비된 GPS 기기를 활용하여 수집될 수 있다. 다른 예로서, 사용자의 위치 정보는, 사용자의 설정에 따라 특정 위치(예를 들어, 사용자의 회사 주변, 또는 집 주변)의 병원 정보를 검색하도록 설정할 수도 있다.
이때 병원 정보는, 병원의 위치 정보, 진료 시 평균 진료 비용 정보, 병원의 연락처 정보, 병원의 영업시간 정보, 병원에 근무하는 의사의 정보 등을 포함할 수 있다.
도 10의 (a)에 도시된 것과 같이, 제어부(140)는, 얼굴 이미지를 이용한 사용자의 정신건강 상태에 대한 진단 결과, 정신건강 스코어가 기 설정된 조건을 만족하는 경우, 주변 병원 찾기 서비스를 사용자에게 제공하기 위한 프로세스를 수행할 수 있다. 이때 기 설정된 조건은 앞서 설명한 바와 동일하므로 중복된 설명은 생략하도록 한다.
일 예로서, 도 10(a)에 도시된 것과 같이, 제어부(140)는 페이지(300)상의 일 영역에 주변 병원 찾기 서비스 기능키(1110)를 출력할 수 있다. 이러한 상기 기능키(1110)가 사용자에 의해 선택(또는 입력)되는 경우, 제어부(140)는 도 10(b)에 도시된 것과 같이, 특정 지역(예를 들어, 사용자의 현 위치 주변 지역)의 지도 이미지와 함께 병원 정보를 제공할 수 있다.
나아가 본 발명에 따른 정신건강 자가관리 제공 시스템(100)은, 병원 시스템과 연계하여, 병원을 예약할 수 있는 프로세스를 제공할 수 있다. 따라서, 사용자는, 자신의 정신건강 상태를 진단하고, 진단할 결과 병원 치료가 필요하다고 판단되는 경우, 본 발명에 따른 정신건강 자가관리 제공 시스템(100)을 통해 쉽게 병원과 관련된 정보를 확인하고, 나아가 병원을 예약할 수 있다.
전술한 바와 같이, 본 발명에 따른 얼굴 이미지를 이용한 정신건강 자가관리 제공 방법 및 정신건강 자가관리 제공 시스템은, 얼굴 이미지를 이용하여 사용자의 정신건강 상태를 진단하고, 진단 결과에 따른 정신건강 스코어를 제공함으로써, 사용자 스스로 정신건강 상태를 관리할 수 있다.
한편 본 발명에 따른 정신건강 자가관리 제공 방법 및 정신건강 자가관리 제공 시스템은, 사용자의 얼굴 이미지에서 특징 정보를 추출하고, 추출된 특징 정보를 기반으로 정신건강 스코어를 산출함으로써, 보다 정확하게 사용자의 정신건강 상태를 진단할 수 있다.
한편 본 발명에 따른 정신건강 자가관리 제공 방법 및 정신건강 자가관리 제공 시스템은, 사용자의 정신건강 상태의 진단 결과에 따른, 사용자 맞춤형 추천 서비스를 제공함으로써, 사용자의 정신건강 상태를 개선할 수 있다. 나아가 본 발명은, 얼굴 이미지를 이용하여 진단된 사용자의 정신건강 상태를 반영하여 사용자에게 적합한 설문을 추천함으로써, 사용자의 정신건강 상태를 보다 세밀하고 정확하게 진단하고 이를 관리할 수 있다.
10: 사용자 단말
20: 사용자
100: 얼굴 이미지를 이용한 정신건강 자가관리 제공 시스템
110: 통신부
120: 카메라부
130: 저장부
140: 제어부

Claims (10)

  1. 이미지에 기반하여 정신건강 상태를 진단하기 위한 정신건강 자가관리 제공 방법에 관한 것으로서,
    적어도 하나의 소스로부터 사용자의 얼굴 이미지를 수집하는 단계;
    제어부에 의하여, 상기 얼굴 이미지에서 특징 정보를 추출하고, 상기 특징 정보를 기반으로 특정 주제에 대한 상기 사용자의 정신건강 스코어를 산출하는 단계;
    상기 특정 주제에 대한 상기 정신건강 스코어가 기 설정된 조건을 만족하는 경우, 상기 제어부에 의하여, 상기 특정 주제와 매칭되며 상기 사용자의 정신건강 상태를 진단하기 위한 추천 설문을 특정하는 단계;
    상기 제어부를 통해 상기 추천 설문을 사용자 단말에 제공하고, 상기 사용자 단말로부터 상기 추천 설문에 대한 상기 사용자의 응답을 수신하는 단계;
    상기 제어부에 의하여, 상기 추천 설문에 대한 상기 사용자의 응답이 완료되는 경우, 상기 추천 설문에 대한 상기 사용자의 정신건강 상태 결과와 상기 얼굴 이미지를 기반으로 산출된 상기 특정 주제에 대한 상기 사용자의 정신건강 스코어를 상기 사용자 단말에 제공하는 단계를 포함하는 것을 특징으로 하는 얼굴 이미지를 이용한 정신건강 자가관리 제공 방법.
  2. 제1항에 있어서,
    상기 특정 주제는, 상기 얼굴 이미지에서 추출된 특징 정보에 근거하여 결정되는 것을 특징으로 하는 얼굴 이미지를 이용한 정신건강 자가관리 제공 방법.
  3. 제2항에 있어서,
    상기 특정 주제는,
    상기 특정 주제와 관련된 복수의 카테고리를 포함하고,
    상기 정신건강 스코어를 산출하는 단계에서는,
    상기 제어부에 의해, 상기 특징 정보를 이용하여, 상기 복수의 카테고리 각각에 대한 스코어를 산출하는 것을 특징으로 하는 정신건강 자가관리 제공 방법.
  4. 삭제
  5. 제1항에 있어서,
    상기 적어도 하나의 소스는, 상기 사용자 단말에 구비된 카메라를 포함하고,
    상기 얼굴 이미지를 수집하는 단계에서는,
    상기 제어부에 의하여, 기 설정된 주기마다 상기 카메라를 통해 얼굴 이미지가 수집되도록, 상기 카메라의 활성화와 관련된 안내 정보가 상기 사용자 단말에 제공되는 것을 특징으로 하는 정신건강 자가관리 제공 방법.
  6. 제1항에 있어서,
    상기 특징 정보는,
    상기 제어부에 의하여, 상기 얼굴 이미지에 포함된 주름 정보 및 홍조 정보 중 적어도 하나로부터 추출되는 것을 특징으로 하는 얼굴 이미지를 이용한 정신건강 자가관리 제공 방법.
  7. 제1항에 있어서,
    상기 정신건강 스코어는,
    상기 제어부에 의하여, 숫자, 문자, 이모티콘 및 그래프 이미지 중 적어도 하나가 조합된 형태로 상기 사용자 단말 상에 제공되는 것을 특징으로 하는 얼굴 이미지를 이용한 정신건강 자가관리 제공 방법.
  8. 제1항에 있어서,
    상기 적어도 하나의 소스는,
    기 등록된 사용자 계정과 관련된 소셜 네트워크 서비스(Social Network Service: SNS)를 포함하고,
    상기 얼굴 이미지를 수집하는 단계에서는,
    상기 제어부에 의해, 상기 기 등록된 사용자 계정과 관련된 소셜 네트워크 서비스에 업로드된 게시물로부터 상기 얼굴 이미지를 수집하는 것을 특징으로 하는 얼굴 이미지를 이용한 정신건강 자가관리 제공 방법.
  9. 이미지에 기반하여 정신건강 상태를 진단하기 위한 정신건강 자가관리 제공 시스템에 관한 것으로서,
    사용자의 얼굴 이미지를 수신하는 통신부; 및
    상기 얼굴 이미지에서 특징 정보를 추출하고, 상기 특징 정보를 기반으로 특정 주제에 대한 상기 사용자의 정신건강 스코어를 산출하는 제어부를 포함하고,
    상기 제어부는,
    상기 특정 주제에 대한 상기 정신건강 스코어가 기 설정된 조건을 만족하는 경우, 상기 특정 주제와 매칭되며 상기 사용자의 정신건강 상태를 진단하기 위한 추천 설문을 특정하고,
    상기 추천 설문을 사용자 단말에 제공하고, 상기 사용자 단말로부터 상기 추천 설문에 대한 상기 사용자의 응답을 수신하고,
    상기 추천 설문에 대한 상기 사용자의 응답이 완료되는 경우, 상기 추천 설문에 대한 상기 사용자의 정신건강 상태 결과와 상기 얼굴 이미지를 기반으로 산출된 상기 특정 주제에 대한 상기 사용자의 정신건강 스코어를 상기 사용자 단말에 제공하도록 제어하는 것을 특징으로 하는 얼굴 이미지를 이용한 정신건강 자가관리 제공 시스템.
  10. 전자기기에서 하나 이상의 프로세스에 의하여 실행되며, 컴퓨터로 판독될 수 있는 기록매체에 저장된 프로그램으로서,
    상기 프로그램은,
    제어부를 통해, 적어도 하나의 소스로부터 수집된 사용자의 얼굴 이미지에서 특징 정보를 추출하고, 상기 특징 정보를 기반으로 특정 주제에 대한 상기 사용자의 정신건강 스코어를 산출하는 단계;
    상기 특정 주제에 대한 상기 정신건강 스코어가 기 설정된 조건을 만족하는 경우, 상기 제어부를 통해, 상기 특정 주제와 매칭되며 상기 사용자의 정신건강 상태를 진단하기 위한 추천 설문을 특정하는 단계;
    상기 제어부를 통해, 상기 추천 설문을 사용자 단말에 제공하고, 상기 사용자 단말로부터 상기 추천 설문에 대한 상기 사용자의 응답을 수신하는 단계;
    상기 추천 설문에 대한 상기 사용자의 응답이 완료되는 경우, 상기 제어부를 통해, 상기 추천 설문에 대한 상기 사용자의 정신건강 상태 결과와 상기 얼굴 이미지를 기반으로 산출된 상기 특정 주제에 대한 상기 사용자의 정신건강 스코어를 상기 사용자 단말에 제공하는 단계를 수행하도록 하는 명령어들을 포함하는 컴퓨터로 판독될 수 있는 기록매체에 저장된 프로그램.
KR1020200079321A 2020-06-29 2020-06-29 얼굴 이미지를 이용한 정신건강 자가관리 제공 방법 및 정신건강 자가관리 제공 시스템 KR102200816B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200079321A KR102200816B1 (ko) 2020-06-29 2020-06-29 얼굴 이미지를 이용한 정신건강 자가관리 제공 방법 및 정신건강 자가관리 제공 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200079321A KR102200816B1 (ko) 2020-06-29 2020-06-29 얼굴 이미지를 이용한 정신건강 자가관리 제공 방법 및 정신건강 자가관리 제공 시스템

Publications (1)

Publication Number Publication Date
KR102200816B1 true KR102200816B1 (ko) 2021-01-12

Family

ID=74129731

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200079321A KR102200816B1 (ko) 2020-06-29 2020-06-29 얼굴 이미지를 이용한 정신건강 자가관리 제공 방법 및 정신건강 자가관리 제공 시스템

Country Status (1)

Country Link
KR (1) KR102200816B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102442425B1 (ko) * 2022-01-20 2022-09-15 주식회사 하이 심리 상태 분류 방법, 심리 상태 분류 서버 및 컴퓨팅 장치
JP2022151612A (ja) * 2021-03-24 2022-10-07 株式会社I’mbesideyou 動画像分析プログラム
CN117079830A (zh) * 2023-10-13 2023-11-17 领华数科(厦门)信息技术有限公司 一种利用大数据辅助的心理健康风险筛查系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140089697A (ko) * 2013-01-07 2014-07-16 삼성전자주식회사 얼굴 인식 기반 사용자 기능 운용 방법 및 이를 지원하는 단말기
KR20190025549A (ko) * 2016-05-06 2019-03-11 더 보드 어브 트러스티스 어브 더 리랜드 스탠포드 주니어 유니버시티 정신 장애들의 치료를 위한 이동 및 착용 가능한 비디오 캡처 및 피드백 플랫-폼들
KR20190025564A (ko) * 2016-06-01 2019-03-11 오하이오 스테이트 이노베이션 파운데이션 얼굴 표정 인식 및 주석처리를 위한 시스템 및 방법
KR20200028519A (ko) * 2018-09-06 2020-03-17 주식회사 아이앤나 아기의 감정 상태 표시 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140089697A (ko) * 2013-01-07 2014-07-16 삼성전자주식회사 얼굴 인식 기반 사용자 기능 운용 방법 및 이를 지원하는 단말기
KR20190025549A (ko) * 2016-05-06 2019-03-11 더 보드 어브 트러스티스 어브 더 리랜드 스탠포드 주니어 유니버시티 정신 장애들의 치료를 위한 이동 및 착용 가능한 비디오 캡처 및 피드백 플랫-폼들
KR20190025564A (ko) * 2016-06-01 2019-03-11 오하이오 스테이트 이노베이션 파운데이션 얼굴 표정 인식 및 주석처리를 위한 시스템 및 방법
KR20200028519A (ko) * 2018-09-06 2020-03-17 주식회사 아이앤나 아기의 감정 상태 표시 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Martin Magdin외 2인. "A Case Study of Facial Emotion Classification Using Affdex". sensors. pp.1-17, 2019.05.09. 공개* *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022151612A (ja) * 2021-03-24 2022-10-07 株式会社I’mbesideyou 動画像分析プログラム
JP7152819B1 (ja) 2021-03-24 2022-10-13 株式会社I’mbesideyou 動画像分析プログラム
KR102442425B1 (ko) * 2022-01-20 2022-09-15 주식회사 하이 심리 상태 분류 방법, 심리 상태 분류 서버 및 컴퓨팅 장치
US11744496B2 (en) 2022-01-20 2023-09-05 Haii Corp. Method for classifying mental state, server and computing device for classifying mental state
CN117079830A (zh) * 2023-10-13 2023-11-17 领华数科(厦门)信息技术有限公司 一种利用大数据辅助的心理健康风险筛查系统
CN117079830B (zh) * 2023-10-13 2023-12-26 领华数科(厦门)信息技术有限公司 一种利用大数据辅助的心理健康风险筛查系统

Similar Documents

Publication Publication Date Title
JP6761837B2 (ja) ユーザの心理状態判断装置及び方法
Zhang et al. Data-driven online learning engagement detection via facial expression and mouse behavior recognition technology
KR102200815B1 (ko) 정신건강 자가관리 제공 방법 및 정신건강 자가관리 제공 시스템
KR102200816B1 (ko) 얼굴 이미지를 이용한 정신건강 자가관리 제공 방법 및 정신건강 자가관리 제공 시스템
KR102427508B1 (ko) 인공 지능 기반의 정신 건강 관리를 위한 장치 및 방법
Menschner et al. Reaching into patients’ homes–participatory designed AAL services: The case of a patient-centered nutrition tracking service
Chen et al. Automatic personality identification using writing behaviours: an exploratory study
KR102118585B1 (ko) 시니어 케어를 위한 스마트미러 챗봇 시스템 및 방법
Boeschoten et al. A framework for privacy preserving digital trace data collection through data donation
Perochon et al. Early detection of autism using digital behavioral phenotyping
US20190172586A1 (en) System and method for determining medical risk factors for patients
US20230005574A1 (en) Methods and systems for comprehensive symptom analysis
US20240185362A1 (en) Systems and methods of generating consciousness affects
Hasinoff et al. Feature analysis: A method for analyzing the role of ideology in app design
Tzafilkou et al. Mobile sensing for emotion recognition in smartphones: a literature review on non-intrusive methodologies
Kraaij et al. Personalized support for well-being at work: an overview of the SWELL project
Adiani et al. Multimodal job interview simulator for training of autistic individuals
CN118299013A (zh) 基于ai的医养一体化数据管理方法及系统
Li et al. Towards a novel machine learning approach to support augmentative and alternative communication (AAC)
US20230367448A1 (en) Systems and methods of generating consciousness affects using one or more non-biological inputs
Sharma et al. Applying a technology acceptance model to understand digital-free tourism
JP6696654B1 (ja) 疲労度判別プログラム
Martinez et al. A predictive model for automatic detection of social isolation in older adults
Lu et al. An emotional-aware mobile terminal accessibility-assisted recommendation system for the elderly based on haptic recognition
Jimison et al. The role of human computer interaction in consumer health applications: current state, challenges and the future

Legal Events

Date Code Title Description
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant