KR102186059B1 - 웨어러블 기기를 위한 상황 적응형 개인화 심리상태 표집 방법 및 장치 - Google Patents

웨어러블 기기를 위한 상황 적응형 개인화 심리상태 표집 방법 및 장치 Download PDF

Info

Publication number
KR102186059B1
KR102186059B1 KR1020190046688A KR20190046688A KR102186059B1 KR 102186059 B1 KR102186059 B1 KR 102186059B1 KR 1020190046688 A KR1020190046688 A KR 1020190046688A KR 20190046688 A KR20190046688 A KR 20190046688A KR 102186059 B1 KR102186059 B1 KR 102186059B1
Authority
KR
South Korea
Prior art keywords
user
sensor data
self
mental state
information
Prior art date
Application number
KR1020190046688A
Other languages
English (en)
Other versions
KR20200123610A (ko
Inventor
이의진
박철영
강수원
김아욱
차나래
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Priority to KR1020190046688A priority Critical patent/KR102186059B1/ko
Priority to US16/418,012 priority patent/US11439334B2/en
Publication of KR20200123610A publication Critical patent/KR20200123610A/ko
Application granted granted Critical
Publication of KR102186059B1 publication Critical patent/KR102186059B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1118—Determining activity level
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1123—Discriminating type of movement, e.g. walking or running
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/20—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for electronic clinical trials or questionnaires
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/70—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mental therapies, e.g. psychological therapy or autogenous training
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Psychiatry (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Physiology (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Child & Adolescent Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychology (AREA)
  • Social Psychology (AREA)
  • Educational Technology (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Fuzzy Systems (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Mathematical Analysis (AREA)

Abstract

웨어러블 기기를 위한 상황 적응형 개인화 심리상태 표집 방법 및 장치가 제시된다. 본 발명에서 제안하는 웨어러블 기기를 위한 상황 적응형 개인화 심리상태 표집 장치는 모바일 및 웨어러블 기기를 활용하여 센서 데이터를 수집하는 센서 데이터 수집부, 수집된 센서 데이터를 활용하여 사용자의 신체활동을 추론하는 신체활동 분류부, 추론된 신체활동 별로 추출된 센서 데이터 특징 값을 활용하여 데이터를 군집화하는 센서 데이터 비지도학습부, 센서 데이터 비지도학습부를 통해 분류된 데이터에 기초하여 해당 센서 데이터로 현재의 심리상태를 추론하는 계층화 심리상태 분류부, 추론된 현재의 심리상태, 수집된 레이블 정보, 센서 데이터, 사용자 부담도 중 적어도 하나 이상에 기초하여 사용자에게 자가정보수집을 요청할지 여부를 결정하는 정보수집 요청 판단부 및 정보수집 요청 판단부에서 사용자에게 자가보고 정보를 수집하기로 결정할 경우 사용자로부터 자가보고 정보를 입력 받는 정보수집 인터페이스를 포함한다.

Description

웨어러블 기기를 위한 상황 적응형 개인화 심리상태 표집 방법 및 장치{Context Adaptive Personalized Psychological State Sampling Method and Apparatus for Wearable Devices}
본 발명은 사용자의 심리상태, 예를 들어, 감정 상태 등에 대한 데이터 수집 시, 사용자의 신체활동 상태 및 수집된 데이터의 특성을 바탕으로 표집 방식을 실시간으로 조정하여 강인하고 균형 잡힌 레이블(label) 정보수집이 가능하며 사용자의 응답 부담(user response burden)을 현저히 줄일 수 있는 상황 적응형 개인화 경험표집 기법에 관한 것이다.
경험표집 기법은 일상생활 속에서 사용자들의 행동, 생각, 느낌, 감정 등을 추출해내는 기법이다. 예를 들어, 사용자의 심리상태를 다루며 대표적으로 사용자의 감정 및 스트레스를 포집하는 것을 예시로 들 수 있다. 사용자의 감정 및 스트레스 상태의 경우 다양한 모델로 표현이 가능하다.
최근 모바일 및 웨어러블 센서를 활용하여 사용자의 상태를 실시간으로 관찰하여 적절한 피드백을 제공하는 다양한 서비스가 제시되었다. 이러한 스마트 기기는 사용자의 위치 및 활동을 자동으로 판단할 수 있다. 또한 웨어러블 기기를 활용해 자율신경계(autonomic nervous system)의 반응을 나타내는 심전도(Electrocardiogram; ECG), 피부전도도(Electrodermal Activity; EDA), 피부온도(Skin Temperature), 뇌전도(Electroencephalogram; EEG), 근전도(Electromyograph; EMG) 등의 생체신호를 실시간으로 측정할 수 있다. 대표적인 응용 서비스로는 스트레스 저감을 위한 바이오 피드백(bio-feedback) 및 감정상태(우울감)에 따른 개인화 심리 코칭 등이 있다. 즉, 사람의 외부 정보(예를 들어, 위치, 활동, 사용자 인터랙션) 및 내부 정보(예를 들어, 자율신경계 반응)를 모바일 및 웨어러블 기기를 활용해 실시간 수집 가능하며 이 정보를 기계학습을 활용하여 사용자의 심리상태를 실시간으로 분류 할 수 있다.
종래의 기계학습에서는 보통 학습에 필요한 훈련 데이터(training data) 수집이 필수적이다. 일반적으로 일상에서 경험 표집법을 사용하여 사용자에게 임의의 시점에 자신의 감정을 자가 보고하게 하여 훈련 데이터 세트를 만든다. 여기서 자가-보고(self-report)의 경우 사용자가 미리 정의된 레이블 중 하나를 택하는 것을 말한다.
이러한 데이터 수집 방식은 몇 가지 제한점이 있다. 첫 번째로 포집된 데이터의 레이블 분포가 한쪽으로 치우칠 수 있다는 것이다. 대표적인 심리상태의 일례로 감정을 들 수 있다. 일반적으로 사람의 감정은 시간에 따라 변하지만 중립적인 감정이 더 많이 관측되는 경향이 있다. 즉, 화남이나 기쁨과 같은 감정은 중립적인 감정에 비하여 관측이 덜 된다. 임의의 시점에 사용자의 자가보고 응답을 샘플링하는 기법(random sampling technique)의 경우 상대적으로 빈번하게 관측이 되는 중립 감정을 포착하게 되며, 중립 이외의 감정은 상대적으로 덜 포착이 되어 레이블의 불균형 현상이 발생하게 되는 것이다.
두 번째는 모바일 및 웨어러블 센서의 잡음 문제이다. 사용자의 현재 신체활동 상태가 센서 데이터의 품질에 큰 영향을 끼칠 수 있다. 생체신호를 수집하는 장치의 경우 사용자의 움직임 여부, 기기의 착용상태 등에 따라 그 품질의 변화폭이 클 수 있다. 예를 들면 심박을 측정하는 센서의 경우 사용자가 움직일 때 측정된 값의 변화 폭이 움직임이 없는 경우보다 매우 크고 정확도도 현저히 떨어지는 것으로 잘 알려져 있다.
세 번째는 다량의 레이블 확보를 위해서는 일상생활 중에 사용자에게 빈번하게 질의를 해야 하고, 이는 사용자의 일상생활을 방해할 가능성이 크다. 종래의 경험표집 기법은 사용자의 상황(context)을 고려하지 않고 무분별하게 개입하여 일상생활을 방해하였기에 사용자 부담을 초래하게 된다. 사용자의 응답 부담이 상대적으로 낮은 상황을 찾아 사용자에게 질의한다면 사용자 응답률이 높아질 뿐만 아니라 사용자의 부담도 현저하게 낮출 수 있다.
한국 공개특허공보 10-2016-0097841호(2016.08.18)
본 발명이 이루고자 하는 기술적 과제는 사용자 경험 데이터를 수집함과 동시에, 수집된 데이터를 바탕으로 수집 방식을 실시간으로 보완하는 상황 적응형 개인화 경험표집 기법을 통하여 센서 데이터의 품질 확보, 레이블 불균형 문제의 해결, 및 사용자 응답 부담을 현저히 줄일 수 있는 방법 및 장치를 제공하는데 있다. 사용자 심리상태 표집 시, 센서 데이터의 품질을 보장하고, 사용자의 응답 부담을 줄이며, 균형 잡힌 사용자 경험 정보를 수집하기 위해 경험 표집 방식을 정보수집 단계에서 실시간으로 보완하고자 한다.
일 측면에 있어서, 본 발명에서 제안하는 웨어러블 기기를 위한 상황 적응형 개인화 심리상태 표집 장치는 모바일 및 웨어러블 기기를 활용하여 센서 데이터를 수집하는 센서 데이터 수집부, 수집된 센서 데이터를 활용하여 사용자의 신체활동을 추론하는 신체활동 분류부, 추론된 신체활동 별로 추출된 센서 데이터 특징 값을 활용하여 데이터를 군집화하는 센서 데이터 비지도학습부, 센서 데이터 비지도학습부를 통해 분류된 데이터에 기초하여 해당 센서 데이터로 현재의 심리상태를 추론하는 계층화 심리상태 분류부, 추론된 현재의 심리상태, 수집된 레이블 정보, 센서 데이터, 사용자 부담도 중 적어도 하나 이상에 기초하여 사용자에게 자가보고 정보수집을 요청할지 여부를 결정하는 정보수집 요청 판단부 및 정보수집 요청 판단부에서 사용자에게 자가보고 정보를 수집하기로 결정할 경우 사용자로부터 자가보고 정보를 입력 받는 정보수집 인터페이스를 포함한다.
계층화 심리상태 분류부는 정보수집 인터페이스로부터 사용자가 자가보고하는 레이블을 활용하여 비지도학습부에서 학습된 각 군집에 레이블을 부여하는 계층화 심리상태 모델 학습을 수행하고, 하나의 군집에 복수의 레이블이 부여될 경우 다중 레이블에 대한 분류가 가능하다.
계층화 심리상태 분류부는 센서 데이터를 사용하여 감정 상태를 추론하기 위해 해당 센서 데이터에 가장 근접한 군집을 선택하고, 선택된 군집에 할당된 레이블의 분포에 기초하여 현재 감정 상태를 추론하는 계층화 심리상태 모델 분류를 수행한다.
정보수집 요청 판단부는 추론된 현재의 심리상태, 수집된 레이블 정보, 센서 데이터, 사용자 부담도 중 적어도 하나 이상에 기초하여 사용자에게 제시할 자가보고 정보 요청의 가치를 판단하고, 자가보고 정보 요청의 가치 판단은 미리 정의된 시간 동안 수집된 해당 레이블의 개수, 모델 불확실성 개선도, 미리 정의된 시간 동안 수집된 센서 데이터를 활용한 레이블 분류 결과의 안정도, 자가보고 시점의 사용자 부담도 중 적어도 하나 이상 포함한다. 사용자 부담도는 현재 활동의 방해 정도, 자가보고 작업 부하(task load) 중 적어도 하나 이상 포함한다.
정보수집 인터페이스는 사용자에게 미리 정의된 자가보고 형식에 따라 사용자가 자신의 심리상태를 자가보고하도록 정보수집 인터페이스를 제시하고, 사용자에게 현재 시점에서 미리 정의된 과거 기간 동안에 대한 레이블링을 수행하도록 요청하며, 레이블의 변화도를 측정하여 레이블 변화도가 미리 정해진 임계치 이상일 경우 과거 데이터에 대한 자가보고 정보수집 요청을 하지 않는다.
또 다른 본 발명에서 제안하는 웨어러블 기기를 위한 상황 적응형 개인화 심리상태 표집 방법은 센서 데이터 수집부를 통해 모바일 및 웨어러블 기기를 활용하여 센서 데이터를 수집하는 단계, 수집된 센서 데이터를 활용하여 신체활동 분류부를 통해 사용자의 신체활동을 추론하는 단계, 추론된 신체활동 별로 추출된 센서 데이터 특징 값을 활용하여 센서 데이터 비지도학습부를 통해 데이터를 군집화하는 단계, 분류된 데이터에 기초하여 계층화 심리상태 분류부를 통해 해당 센서 데이터로 현재의 심리상태를 추론하는 단계, 추론된 현재의 심리상태, 수집된 레이블 정보, 센서 데이터, 사용자 부담도 중 적어도 하나 이상에 기초하여 정보수집 요청 판단부를 통해 사용자에게 자가보고 정보수집을 요청할지 여부를 결정하는 단계 및 정보수집 요청 판단부에서 사용자에게 자가보고 정보를 수집하기로 결정할 경우 정보수집 인터페이스를 통해 사용자로부터 자가보고 정보를 입력 받는 단계를 포함한다.
본 발명의 실시예들에 따르면 사용자 상황 데이터를 수집하여 경험표집 방식을 보완, 수정하는 상황 적응형 개인화 경험표집 기법을 통해 현존하는 데이터 불균형 문제의 해결과 사용자 응답 부담을 줄일 수 있다. 또한, 기계 학습 및 인공지능 분야에서 요구하는 양질의 데이터를 수집하여 해당 분야 학습 모델의 예측 정확도를 높일 수 있다.
도 1은 본 발명의 일 실시예에 따른 웨어러블 기기를 위한 상황 적응형 개인화 심리상태 표집 장치의 구성을 나타내는 도면이다.
도 2는 본 발명의 일 실시예에 따른 심리상태를 설명하기 위한 러셀의 감정모델에 관한 도면이다.
도 3은 본 발명의 일 실시예에 따른 웨어러블 기기를 위한 상황 적응형 개인화 심리상태 표집 방법을 설명하기 위한 흐름도이다.
기존 웨어러블 기기를 활용한 심리상태 모니터링 기법의 경우 일반화된 모델만 지원하고 있으며 개인화된 모델을 지원하지 못한다. 다시 말해, 일반 개인 사용자의 입력을 받아 심리상태 검출(예를 들어, 스트레스, 감정, 우울감 등)을 고도화할 수 있는 여지가 많다. 개인화를 위해서는 사용자로부터 피드백을 받아야 하지만 무분별하게 피드백을 요청하는 것은 역으로 사용자 경험을 매우 떨어뜨릴 수 있는 위험이 있다. 따라서, 본 발명은 모바일 및 웨어러블 기기를 사용하여 심리상태를 모니터링하고 이를 바탕으로 사용자에게 서비스를 제공하는, 정신건강 분야를 포함한 모든 분야에 적용 가능한 기술이다. 이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 일 실시예에 따른 웨어러블 기기를 위한 상황 적응형 개인화 심리상태 표집 장치의 구성을 나타내는 도면이다.
제안하는 웨어러블 기기를 위한 상황 적응형 개인화 심리상태 표집 장치는 센서 데이터 수집부(110), 신체활동 분류부(120), 센서 데이터 비지도학습부(130), 계층화 심리상태 분류부(140), 정보수집 요청 판단부(150) 및 정보수집 인터페이스(160)를 포함한다.
센서 데이터 수집부(110)는 모바일 및 웨어러블 기기를 활용하여 센서 데이터를 수집한다. 데이터의 수집 범위는 사용자의 활동, 위치/장소, 스마트 기기 사용 내역, 심전도(ECG), 피부전도도(EDA), 피부온도(Skin Temperature), 뇌전도(EEG), 근전도(EMG) 등의 신체정보들 중 적어도 하나 이상을 포함한다.
신체활동 분류부(120)는 수집된 센서 데이터를 활용하여 사용자의 신체활동을 추론한다. 움직임이 없는 상태, 걷는 상태, 뛰는 상태 중 적어도 하나이상 포함 가능하며 다양한 일상 활동, 예를 들어 차량탑승, 청소, 식사 등을 추가로 고려 가능하다.
센서 데이터 비지도학습부(130)는 추론된 신체활동 별로 추출된 센서 데이터 특징 값을 활용하여 데이터를 군집화한다. 미리 정의된 주요 신체활동 정보를 활용하여 각 신체활동에 특화된 비지도학습(unsupervised learning)을 수행한다. 비지도학습은 기존 군집화 기법, 예를 들어 k-평균 군집화, 가우스 혼합 모델(Gaussian Mixture Model; GMM) 등을 활용 가능하다. 비지도학습을 위해서는 센서 데이터로부터 특징값을 추출하여야 한다. 특징값 추출의 경우 기존 생체 신호 데이터 추출에서 많이 사용되는 방법을 사용하여 선별적으로 가능하다. 대안으로는 합성곱 신경망(Convolution Neural Network; CNN) 또는 오토인코더(Auto-Encoder)를 사용하여 자동으로 특징값을 추출할 수 있다.
계층화 심리상태 분류부(140)는 센서 데이터 비지도학습부를 통해 분류된 데이터에 기초하여 해당 센서 데이터로 현재의 감정을 추론한다.
계층화 심리상태 분류부는 상기 센서 데이터 비지도학습부에 의해서 학습된 다양한 군집을 바탕으로 감정을 분류한다.
먼저, 계층화 심리상태 모델 학습을 통해 정보수집 인터페이스로부터 사용자가 자가보고하는 레이블을 활용하여 비지도학습부에서 학습된 각 군집에 레이블을 부여할 수 있다. 하나의 군집에 하나 이상의 레이블을 부여할 수 있다. 이러한 경우 다중 레이블 분류 또한 가능하다.
도 2는 본 발명의 일 실시예에 따른 심리상태를 설명하기 위한 러셀의 감정모델에 관한 도면이다.
도 2(b)와 같이 러셀의 감정모델은 긍정/부정 및 각성의 두 축으로 이뤄져 있으며 두 상태에 따라 도 2(a)와 같이 다양한 감정 상태를 표현할 수 있다.
본 발명의 일 실시예에 따른 러셀 감정 모델(Russell's emotion model)을 활용한 감정 레이블링의 경우 각성도, 긍정/부정도에 따라서 2차원으로 레이블 가능하다. 2차원으로 정의된 러셀 감정 모델은 일반적인 감정 형용사(들뜬, 익숙한, 행복한, 즐거운, 평화로운, 편안한, 차분한, 지친, 우울한, 슬픈, 속상한, 압박스러운, 긴장한 등)를 표현 가능하다.
본 발명의 또 다른 실시예에 따른 에크만 감정 모델(Ekman's emotion model)을 활용한 감정 레이블링의 경우 화남, 분노, 기쁨, 슬픔, 놀람, 혐오 중 적어도 하나 이상 포함할 수 있다.
본 발명에서 정의하는 심리상태는 감정, 스트레스, 우울감을 적어도 하나 이상 포함할 수 있다. 러셀의 감정 모델은 이러한 개인의 심리상태를 포괄적으로 포함하고 있다.
다시 도 1을 참조하여, 계층화 심리상태 분류부(140)는 계층화 심리상태 모델 분류를 통해 현재 주어진 센서 데이터를 사용하여 감정 상태를 추론한다. 이때, 해당 센서 데이터에 가장 근접한 군집을 선택한다. 이후, 해당 군집에 할당된 레이블의 분포를 바탕으로 현재 감정 상태를 추론한다.
정보수집 요청 판단부(150)는 추론된 현재의 심리상태, 수집된 레이블 정보, 센서 데이터, 사용자 부담도 정도 중 적어도 하나 이상에 기초하여 사용자에게 자가정보수집을 요청할지 여부를 결정한다.
현재 수집된 센서 데이터 정보를 계층화 심리상태 분류부를 통해 예상되는 레이블을 추출한다. 추출된 정보를 활용하여 사용자에게 제시할 자가보고 정보 요청의 가치를 판단한다. 자가보고 정보 요청의 가치 판단은 다음 중 적어도 하나 이상 포함한다: 미리 정의된 시간 동안 수집된 해당 레이블의 개수, 모델 불확실성 개선도, 미리 정의된 시간 동안 수집된 센서 데이터를 활용한 레이블 분류 결과의 안정도, 자가보고 시점의 사용자 부담도.
사용자의 부담도는 사용자 응답 및 센서 데이터를 사용하여 지도학습, 예를 들어 다중회기분석 등으로 모델을 구축할 수 있다.
분류 결과의 안정도는 미리 정의된 시간동안에 분류 결과의 변화를 나타내는 것으로 다양한 기술 통계 기법으로 모델링이 가능하다.
모델 불확실성 개선도의 경우 수집된 레이블 데이터를 활용하여 지도학습을 수행하여 불확실성을 측정할 수 있다.
정보수집 인터페이스(160)는 정보수집 요청 판단부에서 사용자에게 자가보고 정보를 수집하기로 결정할 경우 사용자로부터 자가보고 정보를 입력 받는다.
정보수집 인터페이스는 사용자에게 미리 정의된 자가보고 형식에 따라 사용자가 자신의 심리상태를 자가보고할 수 있도록 한다. 예를 들어, 사용자의 감정 상태, 스트레스 정도, 자가보고 요청의 활동 방해 정도 등을 포함할 수 있다. 또한 사용자에게 현재 시점에서 미리 정의된 과거 기간 동안에 대한 레이블링을 할 수 있도록 요청할 수 있다. 다시 말해, 계층화 심리상태 모델 분류부를 활용하여 미리 설정된 과거 기간 동안 수집된 센서를 활용해 자동으로 레이블을 생성할 수 있다. 생성된 레이블을 사용자에게 제시하여 사용자가 이에 관한 확인 또는 수정할 수 있도록 한다. 사용자의 부담을 줄이기 위하여 레이블의 변화도를 측정 가능하며 레이블 변화도가 임계치 이상일 경우 재현 오류(recall error)의 위험이 높을 수 있어 과거 데이터에 대한 응답 요청(확인 또는 수정)을 하지 않을 수 있다.
도 3은 본 발명의 일 실시예에 따른 웨어러블 기기를 위한 상황 적응형 개인화 심리상태 표집 방법을 설명하기 위한 흐름도이다.
제안하는 웨어러블 기기를 위한 상황 적응형 개인화 심리상태 표집 방법은 센서 데이터 수집부를 통해 모바일 및 웨어러블 기기를 활용하여 센서 데이터를 수집하는 단계(310), 수집된 센서 데이터를 활용하여 신체활동 분류부를 통해 사용자의 신체활동을 추론하는 단계(320), 추론된 신체활동 별로 추출된 센서 데이터 특징 값을 활용하여 센서 데이터 비지도학습부를 통해 데이터를 군집화하는 단계(330), 분류된 데이터에 기초하여 계층화 심리상태 분류부를 통해 해당 센서 데이터로 현재의 감정을 추론하는 단계(340), 추론된 현재의 심리상태, 수집된 레이블 정보, 센서 데이터, 사용자 부담도 정도 중 적어도 하나 이상에 기초하여 정보수집 요청 판단부를 통해 사용자에게 정보수집을 요청할지 여부를 결정하는 단계(350) 및 정보수집 요청 판단부에서 사용자에게 자가보고 정보를 수집하기로 결정할 경우 정보수집 인터페이스를 통해 사용자로부터 자가보고 정보를 입력 받는 단계(360)를 포함한다.
단계(310)에서, 센서 데이터 수집부를 통해 모바일 및 웨어러블 기기를 활용하여 센서 데이터를 수집한다. 데이터의 수집 범위는 사용자의 활동, 위치/장소, 스마트 기기 사용 내역, 심전도(ECG), 피부전도도(EDA), 피부온도(Skin Temperature), 뇌전도(EEG), 근전도(EMG) 등의 신체정보들 중 적어도 하나 이상을 포함한다.
단계(320)에서, 수집된 센서 데이터를 활용하여 신체활동 분류부를 통해 사용자의 신체활동을 추론한다. 움직임이 없는 상태, 걷는 상태, 뛰는 상태 중 적어도 하나이상을 포함 가능하며 다양한 일상 활동, 예를 들어 차량탑승, 청소, 식사 등을 추가로 고려 가능하다.
단계(330)에서, 추론된 신체활동 별로 추출된 센서 데이터 특징 값을 활용하여 센서 데이터 비지도학습부를 통해 데이터를 군집화한다. 미리 정의된 주요 신체활동 정보를 활용하여 각 신체활동에 특화된 비지도학습(unsupervised learning)을 수행한다. 비지도학습은 기존 군집화 기법, 예를 들어 k-평균 군집화, 가우스 혼합 모델(Gaussian Mixture Model; GMM) 등을 활용 가능하다. 비지도학습을 위해서는 센서 데이터로부터 특징값을 추출하여야 한다. 특징값 추출의 경우 기존 생체 신호 데이터 추출에서 많이 사용되는 방법을 사용하여 선별적으로 가능하다. 대안으로는 합성곱 신경망(Convolution Neural Network; CNN) 또는 오토인코더(Auto-Encoder)를 사용하여 자동으로 특징값을 추출할 수 있다.
단계(340)에서, 분류된 데이터에 기초하여 계층화 심리상태 분류부를 통해 해당 센서 데이터로 현재의 감정을 추론한다.
계층화 심리상태 분류부는 상기 센서 데이터 비지도학습부에 의해서 학습된 다양한 군집을 바탕으로 감정을 분류한다.
먼저, 계층화 심리상태 모델 학습을 통해 정보수집 인터페이스로부터 사용자가 자가보고하는 레이블을 활용하여 비지도학습부에서 학습된 각 군집에 레이블을 부여할 수 있다. 하나의 군집에 하나 이상의 레이블을 부여할 수 있다. 이러한 경우 다중 레이블 분류 또한 가능하다. 본 발명의 일 실시예에 따른 러셀 모델을 활용한 감정 레이블링의 경우 각성도, 긍정/부정도에 따라서 2차원으로 레이블 가능하다. 본 발명의 또 다른 실시예에 따른 에크만 모델을 활용한 감정 레이블링의 경우 화남, 분노, 기쁨, 슬픔, 놀람, 혐오 중 적어도 하나 이상을 포함할 수 있다.
계층화 심리상태 모델 학습 이후, 계층화 심리상태 모델 분류를 통해 현재 주어진 센서 데이터를 사용하여 감정 상태를 추론한다. 이때, 해당 센서 데이터에 가장 근접한 군집을 선택한다. 이후, 해당 군집에 할당된 레이블의 분포를 바탕으로 현재 감정 상태를 추론한다.
단계(350)에서, 추론된 현재의 심리상태, 수집된 레이블 정보, 센서 데이터, 사용자 부담도 중 적어도 하나 이상에 기초하여 정보수집 요청 판단부를 통해 사용자에게 정보수집을 요청할지 여부를 결정한다.
현재 수집된 센서 데이터 정보를 계층화 심리상태 분류부를 통해 예상되는 레이블을 추출한다. 추출된 정보를 활용하여 사용자에게 제시할 자가보고 정보 요청의 가치를 판단한다. 자가보고 정보 요청의 가치 판단은 다음 중 적어도 하나 이상 포함한다: 미리 정의된 시간 동안 수집된 해당 레이블의 개수, 모델 불확실성 개선도, 미리 정의된 시간 동안 수집된 센서 데이터를 활용한 레이블 분류 결과의 안정도, 자가보고 시점의 사용자 부담도.
사용자의 부담도는 사용자 응답 및 센서 데이터를 사용하여 지도학습, 예를 들어 다중회기분석 등으로 모델을 구축할 수 있다.
분류 결과의 안정도는 미리 정의된 시간동안에 분류 결과의 변화를 나타내는 것으로 다양한 기술 통계 기법으로 모델링이 가능하다.
모델 불확실성 개선도의 경우 수집된 레이블 데이터를 활용하여 지도학습을 수행하여 불확실성을 측정할 수 있다.
단계(360)에서, 정보수집 요청 판단부에서 사용자에게 자가보고 정보를 수집하기로 결정할 경우 정보수집 인터페이스를 통해 사용자로부터 자가보고 정보를 입력 받는다.
정보수집 인터페이스는 사용자에게 미리 정의된 자가보고 형식에 따라 사용자가 자신의 심리상태를 자가보고할 수 있도록 한다. 예를 들어, 사용자의 감정 상태, 스트레스 정도, 자가보고 요청의 활동 방해 정도 등을 포함할 수 있다. 또한 사용자에게 현재 시점에서 미리 정의된 과거 기간 동안에 대한 레이블링을 할 수 있도록 요청할 수 있다. 다시 말해, 계층화 심리상태 모델 분류부를 활용하여 미리 설정된 과거 기간 동안 수집된 센서를 활용해 자동으로 레이블을 생성할 수 있다. 생성된 레이블을 사용자에게 제시하여 사용자가 이에 관한 확인 또는 수정할 수 있도록 한다. 사용자의 부담을 줄이기 위하여 레이블의 변화도를 측정 가능하며 레이블 변화도가 임계치 이상일 경우 과거 데이터에 대한 응답 요청을 하지 않을 수 있다.
기존 웨어러블 스트레스 모니터의 경우 개인의 피드백을 받아 모델을 고도화하지 못한다. 신체활동의 경우 일반 모든 사람을 대상으로 확장이 가능한 모델을 만드는 것이 쉽지만 웨어러블 기기를 활용한 스트레스를 포함하는 심리상태들을 모니터링하는 것은 개인의 생체신호의 편차로 인해서 일반화된 확장 가능한 모델을 만드는 것이 매우 어렵다.
감정을 포함하는 심리상태 모니터링의 일례로 스트레스를 모니터링하는 웨어러블 기기를 설명한다. 스트레스 모니터링 웨어러블 기기는 기본적으로 스트레스를 판별하는 일반화된 학습 모델을 탑재하는 것으로 가정한다. 하지만 일반화된 학습 모델은 개인의 특징을 고려하지 않아 판별정확도의 편차가 클 가능성이 높다.
웨어러블 기기에 탑재된 가속도계 등의 움직임 센서를 활용하여 사용자의 활동을 실시간으로 모니터링을 한다. 이러한 실시간 움직임 데이터를 활용하여 사용자가 미리 정의된 한도의 움직임이 없는지 판단한다. 움직임이 있는 경우 걷는지 또는 뛰는지도 확인할 수 있다. 활동 검출의 경우 잘 알려진 다수의 기계학습 방법을 활용 가능하다.
활동이 추출되면 제시된 시스템은 주어진 활동별로 입력된 센서 데이터를 활용하여 비 지도학습을 수행한다. 웨어러블 스트레스 모니터에는 피부전도도(Electro Dermal Activity; EDA), 광학 심박센서 정보(Photo Plethysmo Graphy; PPG), 피부온도(Skin Temperature; SKT) 등의 생체신호 센서 데이터 중 적어도 하나 이상 포함한다고 가정한다.
해당 생체신호 센서 데이터로부터 특징을 추출한다. 피부전도도(EDA)의 경우 신호처리를 통해서 피부전도수준(Skin ConductanceL; SCL)과 피부전도반응(Skin Conductance Response; SCR) 값을 추출할 수 있다. 이를 바탕으로 평균 전도반응 및 반응 횟수 등의 특징을 추출할 수 있다. 피부온도의 경우도 평균, 최저, 최고 피부온도 등을 추출할 수 있다. 광학 심박센서(PPG)의 경우 혈류량의 진폭 평균 및 편차를 특징으로 추출할 수 있다. 이러한 특징 추출 방법의 대안으로 신호 자체에 대한 웨이블릿(Wavelet)변환 후 웨이블릿 상수를 특징값으로 활용할 수 있다. 또는 오토인코더(Auto-Encoder)를 사용하여 주어진 입력 센서 데이터를 임의의 차원의 벡터로 사상 또한 가능하다.
센서 데이터 비지도학습부에서는 이러한 입력되는 특징값 벡터를 사용하여 비 지도학습을 수행한다. 비 지도학습을 위하여 k-평균 군집화와 가우시안 혼합 모델(GMM)을 대표적으로 고려할 수 있다. 두 비지도학습 모델 모두 주어진 입력 데이터를 k개의 군집으로 나눠주는 대표적인 기계학습 모델이다. K-평균 모델의 경우 입력값을 k개의 군집 중 하나로 할당을 하지만 GMM의 경우 k개의 군집에 속할 확률값을 가지는 방식이다. GMM의 경우 주어진 입력 벡터의 값이 각 군집에 속할 확률이 미리 설정된 임계치 이상이라고 판별되면 해당 입력 벡터를 각 군집의 가우시안 모델을 업데이트하는 데 사용한다. 모델 업데이트의 경우 우도함수를 최대화하는 값을 찾는 일반적으로 잘 알려진 방식을 사용한다. 비 지도학습의 경우 k-평균 군집화나 가우시안 혼합 모델 이외 다른 비 지도학습 모델을 사용 할 수 있다.
주어진 신체활동 별로 다양한 센서 값의 변화 상태를 포착하기 위하여 군집의 개수를 다수 개 포함할 수 있다. 스트레스의 상태 또는 감정의 변화 상태를 다양하게 포착하기 위하여, 예를 들어 군집의 개수를 10개로 선정할 수 있다.
주어진 입력 센서 데이터 정보를 계층화 심리상태 분류부를 통해서 예상되는 레이블을 추출할 수 있다. 정보수집 요청 판단부에서는 추출된 정보를 활용하여 사용자에게 제시할 자가보고 정보 요청의 가치를 판단한다.
시스템에 의해서 수집된 자가정보를 활용하여 가우시안 혼합 모델을 학습할 수 있다. 다시 말해, 모델에서 검출된 군집에 주어진 레이블을 붙여주는 것이다. 예를 들어 가우시안 혼합 모델의 3번째 군집에 확률값이 가장 높으면 해당 군집에 주어진 레이블을 붙여 줄 수 있다. 입력된 센서 데이터가 3번째 군집에 속한다면 3번째 군집에 할당된 레이블 정보를 활용하여 입력된 센서 데이터가 어떤 레이블을 붙여야 하는지 판단이 가능한 것이다. 현재 3번째 군집에 속한 레이블이 스트레스 2단계 샘플 3개라면, 현재 2단계로 판별할 수 있다. 스트레스 2단계 샘플 2개, 3단계 샘플 3개라면 해당 군집을 확률값으로 2단계는 2/5, 3단계는 3/5로 추론 할 수 있다. 이러한 방식은 k-근접이웃 방법의 일종으로 볼 수 있다. 군집과 레이블이 계층적으로 사상되므로 계층화 심리상태 분류 방식이라고 명명할 수 있다.
가치 판단은 다음 중 적어도 하나 활용하여 결정한다: 미리 정의된 시간 동안 수집된 해당 레이블의 개수, 모델 불확실성 개선도, 미리 정의된 시간 동안 수집된 센서 데이터를 활용한 레이블 분류 결과의 안정도, 자가보고 시점의 사용자 부담도.
사용자에게 현재의 스트레스 수준을 1점에서 5점 사이의 리커트 척도로 물었다면 해당 점수별로 레이블의 분포를 바탕으로 어떠한 레이블에 대해 질의를 할 것인가를 판단할 수 있다. 예를 들어, 가장 레이블이 적은 스트레스 수준에 대해서 우선 질의를 할 수 있다.
사용자의 부담도는 사용자 응답 및 센서 데이터를 사용하여 지도학습, 예를 들어 다중회기분석 등으로 모델을 구축하여 예측할 수 있다. 분류 결과의 안정도는 미리 정의된 시간 동안에 분류 결과의 변화를 나타내는 것으로 다양한 기술 통계 기법으로 모델링 가능하다. 사용자는 현재의 스트레스 수준을 보고할 때에 현재 자가보고를 답하는 것이 얼마나 진행 중인 작업에 방해를 주는지 함께 답변할 수 있다. 예를 들어 사용자는 현재 활동에 얼마나 방해를 주는지를 1점에서 5점 사이의 리커트 척도로 답변할 수 있다.
모델 불확실성 개선도의 경우 수집된 레이블 데이터를 활용하여 지도학습을 수행하여 불확실성을 측정할 수 있다. 웨어러블 스트레스 모니터는 우선 시스템에 탑재된 스트레스 검출기를 사용하여 스트레스를 실시간으로 검출하게 된다. 해당 검출기는 지도학습을 수행한 결과이며 다른 사람의 자가보고 정보를 사용하여 학습한 모델이거나 자신의 자가보고 정보를 사용하여 학습한 모델도 가능하다. 학습된 모델의 불확실성을 직접 또는 간접적으로 나타내는 척도를 사용하여 개선도를 표현할 수 있다.
센서 데이터는 실시간으로 연속 생성된다. 따라서 가치 판단을 위해서 연속적인 값을 모니터링 가능하다. 웨어러블 기기의 제한된 자원(배터리 등)을 절약하기 위해서 시스템은 듀티 사이클링(duty cycling)이 가능하다. 즉, 해당 가치판단 모듈이 정해진 주기마다 실행될 수 있도록 설정할 수 있다.
정보 수집 요청 판단부에서 사용자에게 자가보고 정보를 수집하기로 결정하면 정보 수집 인터페이스가 사용자에게 제시된다. 사용자 인터페이스는 사용자에게 미리 정의된 자가보고 형식에 따라 사용자가 자신의 스트레스 상태를 자가보고할 수 있다. 상술된 것과 같이 5점 척도로 답을 할 수 있다. 또한 해당 자가보고와 함께 현재 자가보고 요청이 얼마나 현재 활동에 방해가 되는지도 사용자에게 물을 수 있다. 가치판단 모듈이 연속으로 작동하지 않고 주어진 주기에 의해서 듀티 사이클 모드로 작동할 때에는 수집된 센서 정보에 상응하는 자신의 과거 스트레스 상태도 물을 수 있다. 계층화 모델 분류기를 사용하여 미리 설정된 과거 기간 동안 수집된 센서를 활용해 자동으로 레이블을 생성할 수 있다. 생성된 레이블을 사용자에게 제시하여 사용자가 이에 관한 확인 또는 수정을 수행할 수 있도록 한다. 사용자의 부담을 줄이기 위하여 레이블의 변화도를 측정 가능하며 레이블 변화도가 임계치 이상일 경우 과거 데이터에 대한 응답 요청을 하지 않을 수 있다.
본 발명의 실시예에 따르면, 사용자 심리상태 표집 시, 센서 데이터의 품질을 보장하고, 사용자의 응답 부담을 줄이며, 균형 잡힌 사용자 경험 정보를 수집하기 위해 경험 표집 방식을 정보수집 단계에서 실시간으로 보완할 수 있다.
또한, 기계 학습 및 인공지능 분야에서 요구하는 양질의 데이터를 수집하여 해당 분야 학습 모델의 예측 정확도를 높이는 효과가 기대되므로 활용 가능성이 크다.
본 발명은 사용자 경험 데이터를 수집함과 동시에, 수집된 데이터를 바탕으로 수집 방식을 실시간으로 보완하는 상황 적응형 개인화 경험표집 기법을 통하여 센서 데이터의 품질 확보, 레이블 불균형 문제의 해결, 및 사용자 응답 부담을 현저히 줄이는 것을 추구한다. 본 발명에서 제시하는 기법을 활용하여 기계 학습, 인공지능 분야에서 요구하는 양질의 데이터를 수집할 수 있을 것으로 기대된다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다.　 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다.　 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다.　 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다.　 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다.　 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치에 구체화(embody)될 수 있다.　 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다.　 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.　 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.　 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.　 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.　
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다.　 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (10)

  1. 모바일 및 웨어러블 기기를 활용하여 센서 데이터를 수집하는 센서 데이터 수집부;
    수집된 센서 데이터를 활용하여 사용자의 신체활동을 추론하는 신체활동 분류부;
    추론된 신체활동 별로 추출된 센서 데이터 특징 값을 활용하여 데이터를 군집화하는 센서 데이터 비지도학습부;
    센서 데이터 비지도학습부를 통해 분류된 데이터에 기초하여 해당 센서 데이터로 현재의 심리상태를 추론하는 계층화 심리상태 분류부;
    추론된 현재의 심리상태, 수집된 레이블 정보, 센서 데이터, 사용자 부담도중 적어도 하나 이상에 기초하여 사용자에게 자가보고 정보수집을 요청할지 여부를 결정하는 정보수집 요청 판단부; 및
    정보수집 요청 판단부에서 사용자에게 자가보고 정보를 수집하기로 결정할 경우 사용자로부터 자가보고 정보를 입력 받는 정보수집 인터페이스
    를 포함하는 웨어러블 기기를 위한 상황 적응형 개인화 심리상태 표집 장치.
  2. 제1항에 있어서,
    계층화 심리상태 분류부는,
    정보수집 인터페이스로부터 사용자가 자가보고하는 레이블을 활용하여 비지도학습부에서 학습된 각 군집에 레이블을 부여하는 계층화 심리상태 모델 학습을 수행하고, 하나의 군집에 복수의 레이블이 부여될 경우 다중 레이블에 대한 분류가 가능한
    웨어러블 기기를 위한 상황 적응형 개인화 심리상태 표집 장치.
  3. 제1항에 있어서,
    계층화 심리상태 분류부는,
    센서 데이터를 사용하여 심리상태를 추론하기 위해 해당 센서 데이터에 가장 근접한 군집을 선택하고, 선택된 군집에 할당된 레이블의 분포에 기초하여 현재 심리상태를 추론하는 계층화 심리상태 모델 분류를 수행하는
    웨어러블 기기를 위한 상황 적응형 개인화 심리상태 표집 장치.
  4. 제1항에 있어서,
    정보수집 요청 판단부는,
    추론된 현재의 심리상태, 수집된 레이블 정보, 센서 데이터, 사용자 부담도중 적어도 하나 이상에 기초하여 사용자에게 제시할 자가보고 정보 요청의 가치를 판단하고,
    자가보고 정보 요청의 가치 판단은 미리 정의된 시간 동안 수집된 해당 레이블의 개수, 모델 불확실성 개선도, 미리 정의된 시간 동안 수집된 센서 데이터를 활용한 레이블 분류 결과의 안정도, 자가보고 시점의 사용자 부담도 중 적어도 하나 이상 포함하는
    웨어러블 기기를 위한 상황 적응형 개인화 심리상태 표집 장치.
  5. 제1항에 있어서,
    정보수집 인터페이스는,
    사용자에게 미리 정의된 자가보고 형식에 따라 사용자가 자신의 심리상태를 자가보고하도록 정보수집 인터페이스를 제시하고, 사용자에게 현재 시점에서 미리 정의된 과거 기간 동안에 대한 레이블링을 수행하도록 요청하거나, 레이블의 변화도를 측정하여 레이블 변화도가 미리 정해진 임계치 이상일 경우 과거 데이터에 대한 자가보고 정보수집을 요청 하지 않는 것을 포함하는
    웨어러블 기기를 위한 상황 적응형 개인화 심리상태 표집 장치.
  6. 센서 데이터 수집부를 통해 모바일 및 웨어러블 기기를 활용하여 센서 데이터를 수집하는 단계;
    수집된 센서 데이터를 활용하여 신체활동 분류부를 통해 사용자의 신체활동을 추론하는 단계;
    추론된 신체활동 별로 추출된 센서 데이터 특징 값을 활용하여 센서 데이터 비지도학습부를 통해 데이터를 군집화하는 단계;
    분류된 데이터에 기초하여 계층화 심리상태 분류부를 통해 해당 센서 데이터로 현재의 심리상태를 추론하는 단계;
    추론된 현재의 심리상태, 수집된 레이블 정보, 센서 데이터, 사용자 부담도 중 적어도 하나 이상에 기초하여 정보수집 요청 판단부를 통해 사용자에게 자가보고 정보수집을 요청할지 여부를 결정하는 단계; 및
    정보수집 요청 판단부에서 사용자에게 자가보고 정보를 수집하기로 결정할 경우 정보수집 인터페이스를 통해 사용자로부터 자가보고 정보를 입력 받는 단계
    를 포함하는 웨어러블 기기를 위한 상황 적응형 개인화 심리상태 표집 방법.
  7. 제6항에 있어서,
    분류된 데이터에 기초하여 계층화 심리상태 분류부를 통해 해당 센서 데이터로 현재의 심리상태를 추론하는 단계는,
    정보수집 인터페이스로부터 사용자가 자가보고하는 레이블을 활용하여 비지도학습부에서 학습된 각 군집에 레이블을 부여하는 계층화 심리상태 모델 학습을 수행하고, 하나의 군집에 복수의 레이블이 부여될 경우 다중 레이블에 대한 분류가 가능한
    웨어러블 기기를 위한 상황 적응형 개인화 심리상태 표집 방법.
  8. 제6항에 있어서,
    분류된 데이터에 기초하여 계층화 심리상태 분류부를 통해 해당 센서 데이터로 현재의 심리상태를 추론하는 단계는,
    센서 데이터를 사용하여 심리상태를 추론하기 위해 해당 센서 데이터에 가장 근접한 군집을 선택하고, 선택된 군집에 할당된 레이블의 분포에 기초하여 현재 심리상태를 추론하는 계층화 심리상태 모델 분류를 수행하는
    웨어러블 기기를 위한 상황 적응형 개인화 심리상태 표집 방법.
  9. 제6항에 있어서,
    추론된 현재의 심리상태, 수집된 레이블 정보, 센서 데이터, 사용자 부담도중 적어도 하나 이상에 기초하여 정보수집 요청 판단부를 통해 사용자에게 자가보고 정보수집을 요청할지 여부를 결정하는 단계는,
    추론된 현재의 심리상태, 수집된 레이블 정보, 센서 데이터, 사용자 부담도 중 적어도 하나 이상에 기초하여 사용자에게 제시할 자가보고 정보 요청의 가치를 판단하고,
    자가보고 정보 요청의 가치 판단은 미리 정의된 시간 동안 수집된 해당 레이블의 개수, 모델 불확실성 개선도, 미리 정의된 시간 동안 수집된 센서 데이터를 활용한 레이블 분류 결과의 안정도, 자가보고 시점의 사용자 부담도 중 적어도 하나 이상 포함하는
    웨어러블 기기를 위한 상황 적응형 개인화 심리상태 표집 방법.
  10. 제6항에 있어서,
    정보수집 요청 판단부에서 사용자에게 자가보고 정보를 수집하기로 결정할 경우 정보수집 인터페이스를 통해 사용자로부터 자가보고 정보를 입력 받는 단계는,
    사용자에게 미리 정의된 자가보고 형식에 따라 사용자가 자신의 심리상태를 자가보고하도록 정보수집 인터페이스를 제시하고, 사용자에게 현재 시점에서 미리 정의된 과거 기간 동안에 대한 레이블링을 수행하도록 요청하거나, 레이블의 변화도를 측정하여 레이블 변화도가 미리 정해진 임계치 이상일 경우 과거 데이터에 대한 자가보고 정보수집을 요청 하지 않는 것을 포함하는
    웨어러블 기기를 위한 상황 적응형 개인화 심리상태 표집 방법.
KR1020190046688A 2019-04-22 2019-04-22 웨어러블 기기를 위한 상황 적응형 개인화 심리상태 표집 방법 및 장치 KR102186059B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020190046688A KR102186059B1 (ko) 2019-04-22 2019-04-22 웨어러블 기기를 위한 상황 적응형 개인화 심리상태 표집 방법 및 장치
US16/418,012 US11439334B2 (en) 2019-04-22 2019-05-21 Method and apparatus for context-adaptive personalized psychological state sampling for wearable device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190046688A KR102186059B1 (ko) 2019-04-22 2019-04-22 웨어러블 기기를 위한 상황 적응형 개인화 심리상태 표집 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20200123610A KR20200123610A (ko) 2020-10-30
KR102186059B1 true KR102186059B1 (ko) 2020-12-03

Family

ID=72833285

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190046688A KR102186059B1 (ko) 2019-04-22 2019-04-22 웨어러블 기기를 위한 상황 적응형 개인화 심리상태 표집 방법 및 장치

Country Status (2)

Country Link
US (1) US11439334B2 (ko)
KR (1) KR102186059B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230013374A (ko) * 2021-07-19 2023-01-26 한국과학기술원 LoRa 네트워크에서 효율적 IoT 디바이스 운용을 위한 크로스 레이어 기반의 IoT 디바이스 전송 주기 제어 방법 및 시스템

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021149874A (ja) * 2020-03-23 2021-09-27 富士通株式会社 評価支援プログラム、評価支援方法および情報処理装置
KR20220095715A (ko) * 2020-12-30 2022-07-07 삼성전자주식회사 전자 장치 및 전자 장치 제어 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016106689A (ja) 2014-12-03 2016-06-20 日本電信電話株式会社 感情情報推定装置、感情情報推定方法及び感情情報推定プログラム
US20180184961A1 (en) 2015-06-15 2018-07-05 Medibio Limited Method and system for assessing mental state

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102011495B1 (ko) * 2012-11-09 2019-08-16 삼성전자 주식회사 사용자의 심리 상태 판단 장치 및 방법
KR20160097841A (ko) 2015-02-10 2016-08-18 류창형 원격 심리지원 서비스를 위한 통합 관리 시스템
US20170172493A1 (en) * 2015-12-17 2017-06-22 Microsoft Technology Licensing, Llc Wearable system for predicting about-to-eat moments
KR101879494B1 (ko) * 2016-07-11 2018-07-17 울산과학기술원 사용자의 심적 안정도를 모니터링하는 단말, 웨어러블 디바이스, 및 방법
KR101912860B1 (ko) * 2016-07-18 2018-10-29 원광대학교산학협력단 우울증 인지 및 케어를 위한 스마트 주얼리 시스템
US11284834B1 (en) * 2018-05-07 2022-03-29 NightWare, Inc. Systems and methods for automated stress monitoring and intervention
CA3118297A1 (en) * 2018-10-31 2020-05-07 Better Therapeutics, Inc. Systems, methods, and apparatuses for managing data for artificial intelligence software and mobile applications in digital health therapeutics
US11694139B2 (en) * 2018-11-13 2023-07-04 International Business Machines Corporation Dynamic assignment of tasks to internet connected devices

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016106689A (ja) 2014-12-03 2016-06-20 日本電信電話株式会社 感情情報推定装置、感情情報推定方法及び感情情報推定プログラム
US20180184961A1 (en) 2015-06-15 2018-07-05 Medibio Limited Method and system for assessing mental state

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230013374A (ko) * 2021-07-19 2023-01-26 한국과학기술원 LoRa 네트워크에서 효율적 IoT 디바이스 운용을 위한 크로스 레이어 기반의 IoT 디바이스 전송 주기 제어 방법 및 시스템
KR102514810B1 (ko) * 2021-07-19 2023-03-29 한국과학기술원 LoRa 네트워크에서 효율적 IoT 디바이스 운용을 위한 크로스 레이어 기반의 IoT 디바이스 전송 주기 제어 방법 및 시스템

Also Published As

Publication number Publication date
KR20200123610A (ko) 2020-10-30
US11439334B2 (en) 2022-09-13
US20200330018A1 (en) 2020-10-22

Similar Documents

Publication Publication Date Title
Zhang et al. Emotion recognition using multi-modal data and machine learning techniques: A tutorial and review
Serpush et al. Wearable sensor‐based human activity recognition in the smart healthcare system
Nath et al. Machine learning based solutions for real-time stress monitoring
Ali et al. Emotion recognition involving physiological and speech signals: A comprehensive review
Chen et al. Cross-subject driver status detection from physiological signals based on hybrid feature selection and transfer learning
Hatamikia et al. The emotion recognition system based on autoregressive model and sequential forward feature selection of electroencephalogram signals
KR102186059B1 (ko) 웨어러블 기기를 위한 상황 적응형 개인화 심리상태 표집 방법 및 장치
Aqajari et al. Gsr analysis for stress: Development and validation of an open source tool for noisy naturalistic gsr data
Fahim et al. EFM: evolutionary fuzzy model for dynamic activities recognition using a smartphone accelerometer
Wang et al. Analysis of real‐time heartbeat monitoring using wearable device Internet of Things system in sports environment
Das et al. A self-regulated interval type-2 neuro-fuzzy inference system for handling nonstationarities in EEG signals for BCI
Kumar et al. Genetically optimized Fuzzy C-means data clustering of IoMT-based biomarkers for fast affective state recognition in intelligent edge analytics
Santamaria et al. A two stages fuzzy logic approach for Internet of Things (IoT) wearable devices
Dua et al. A survey on human activity recognition using deep learning techniques and wearable sensor data
Phukan et al. Convolutional neural network-based human activity recognition for edge fitness and context-aware health monitoring devices
Radhika et al. Deep multimodal fusion for subject-independent stress detection
Li et al. A between-subject fNIRS-BCI study on detecting self-regulated intention during walking
Mohamed et al. [Retracted] Classification of Resting‐State Status Based on Sample Entropy and Power Spectrum of Electroencephalography (EEG)
Gouverneur et al. Classification of physiological data for emotion recognition
Fei et al. Machine and deep learning algorithms for wearable health monitoring
Saboori et al. Classification of arrhythmia using machine learning techniques
Adam et al. Evaluation of different time domain peak models using extreme learning machine-based peak detection for EEG signal
Tiwari et al. An optimized hybrid solution for IoT based lifestyle disease classification using stress data
Tan et al. Using ELM-based weighted probabilistic model in the classification of synchronous EEG BCI
Kanduri et al. Edge-centric optimization of multi-modal ml-driven ehealth applications

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right