KR102517366B1 - 비접촉식 생체센서 기반의 행동 추천 시스템 및 그 방법 - Google Patents
비접촉식 생체센서 기반의 행동 추천 시스템 및 그 방법 Download PDFInfo
- Publication number
- KR102517366B1 KR102517366B1 KR1020200100122A KR20200100122A KR102517366B1 KR 102517366 B1 KR102517366 B1 KR 102517366B1 KR 1020200100122 A KR1020200100122 A KR 1020200100122A KR 20200100122 A KR20200100122 A KR 20200100122A KR 102517366 B1 KR102517366 B1 KR 102517366B1
- Authority
- KR
- South Korea
- Prior art keywords
- emotional state
- user
- bio
- contact
- signal
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
- G16H20/70—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mental therapies, e.g. psychological therapy or autogenous training
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
- A61B5/0004—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by the type of physiological signal transmitted
- A61B5/0006—ECG or EEG signals
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/01—Indexing scheme relating to G06F3/01
- G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Public Health (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Physics & Mathematics (AREA)
- Pathology (AREA)
- Surgery (AREA)
- Heart & Thoracic Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Theoretical Computer Science (AREA)
- Veterinary Medicine (AREA)
- General Engineering & Computer Science (AREA)
- Primary Health Care (AREA)
- Biophysics (AREA)
- Epidemiology (AREA)
- Molecular Biology (AREA)
- Neurosurgery (AREA)
- Psychiatry (AREA)
- Developmental Disabilities (AREA)
- Social Psychology (AREA)
- Human Computer Interaction (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Dermatology (AREA)
- Neurology (AREA)
- Child & Adolescent Psychology (AREA)
- Psychology (AREA)
- Cardiology (AREA)
- General Physics & Mathematics (AREA)
- Hospice & Palliative Care (AREA)
- Physiology (AREA)
- Computer Networks & Wireless Communication (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
본 발명의 비접촉식 생체센서를 기반으로 한 행동추천 시스템 및 그 방법은 비접촉식 생체센서를 통해 측정되는 생체신호를 이용하여 사용자의 감성을 분류하고 그에 따라 행동을 추천하고, 상기 행동 추천 결과를 피드백하여 감성 분류에 재반영함으로써, 사용자의 편리성 및 활용도를 높일 수 있는 장점이 있다. 또한, 본 발명은 상기 행동 추천 결과의 실행 여부에 따른 사용자의 감정변화 결과를 비접촉 생체센서로 재확인함으로써, 행동 추천에 대한 효과를 확인할 수 있으며, 이로 인해, 사용자의 감정 분류에 따라 보다 정확한 행동 추천을 할 수 있는 장점이 있다.
Description
본 발명은 비접촉식 생체센서 기반의 행동 추천 시스템 및 그 방법에 관한 것으로서, 보다 상세하게는, 비접촉식 생체센서를 통해 측정되는 생체신호를 이용하여 감성을 분류하고 그에 따라 행동을 추천하는 비접촉식 생체센서 기반의 행동 추천 시스템 및 그 방법에 관한 것이다.
생체신호의 종류에는 심전도(ECG: Electro Cardio Gram), 뇌전도(EEG: Electro Encephalo Gram), 근전도(EMG: Electro Myo Gram), 피부전도도(GSF: Galvanic Skin Response), 피부온도(SKT: SKin Temperature), 맥파(PPG: Photo Plethysmo Graphy) 등이 있다.
이들 중 심전도(ECG)는 심장 활동에 의해 발생하는 전압 신호이다. 이러한, 심전도 신호의 파형을 분석하면, 심장의 이상 유무를 알 수 있으며 심전도 신호의 R파 간격을 통하여 환자의 심박동을 계산할 수 있다. 또한, 심박동은 자율 신경계에 의해 조절되는 것이라 피로나 흥분 등의 다양한 상태를 진단하는 것이 가능하다. 따라서 이러한 심박 변화를 통해 슬픔, 즐거움 등 피검사자의 감성 상태를 파악하는 연구가 진행되고 있다.
한편, 심전도(ECG)는 일반적으로 접촉식 센서방식을 이용하여 측정할 수 있는데, 이 방식은 은 또는 염화은 등으로 이루어진 금속전극을 피검사자의 몸에 직접 부착하여 심전도를 측정함으로써, 번거로울 뿐 아니라 피검사자에게 불쾌감을 야기할 수 있다.
따라서, 피검사자의 몸에 전극을 직접적으로 부착하지 않고 비접촉식으로 심전도를 측정하는 것이 선호되고 있다.
또한, 이와 같이 비접촉식으로 심전도를 측정할 수 있음으로써, 생활 속에서 사람들의 심전도를 용이하게 측정할 수 있고, 이를 이용한 다양한 기술들이 개발되고 있다. 즉, 비접촉식 생체센서를 기반으로 하여 다양한 행동을 추천하는 시스템들이 개발되고 있다.
하지만, 이러한 비접촉식 센서 방식을 이용하여 측정된 심전도는 피검사자의 몸에 전극을 부착하지 않기 때문에 상대적으로 정확도가 떨어지는 문제가 있고, 이로 인해 심전도를 이용한 각종 서비스 또한 정확하게 이루어질 수 없는 문제가 있었다.
따라서 본 발명은 비접촉식 생체센서를 통해 측정되는 생체신호를 이용하여 사용자의 감성을 분류하고 그에 따라 행동을 추천하되, 사용자의 감성 분류시 비접촉식 생체센서를 이용한 생체신호와 접촉식 생체센서를 이용한 생체신호를 상호 비교함으로써 데이터 신뢰도를 향상시킬 수 있는 비접촉식 생체센서 기반의 행동 추천 시스템 및 그 방법을 제공하고자 한다.
또한, 본 발명은 상기 행동 추천 결과를 피드백하여 감성 분류에 재반영함으로써, 사용자의 편리성 및 활용도를 높일 수 있는 비접촉식 생체센서 기반의 행동 추천 시스템 및 그 방법을 제공하고자 한다.
또한, 본 발명은 상기 행동 추천 결과의 실행 여부에 따른 사용자의 감정변화 결과를 비접촉 생체센서로 재확인함으로써, 행동 추천에 대한 효과를 확인할 수 있는 비접촉식 생체센서 기반의 행동 추천 시스템 및 그 방법을 제공하고자 한다.
또한, 본 발명은 상기 행동 추천 결과에 대한 효과를 확인함으로써, 사용자의 감정 분류에 따라 보다 정확한 행동 추천을 할 수 있는 비접촉식 생체센서 기반의 행동 추천 시스템 및 그 방법을 제공하고자 한다.
상기 목적을 달성하기 위해, 본 발명에서 제공하는 비접촉식 생체센서 기반의 행동 추천 시스템은 사용자들의 생체신호를 비접촉식으로 측정하는 비접촉식 생체신호 측정부; 적어도 하나의 감정상태별로 표출되는 적어도 하나의 생체신호에 의거하여 감정상태별 생체신호 모델을 생성하는 학습부; 상기 감정상태별 생체신호 모델을 저장하는 감정상태별 생체신호 모델 저장부; 상기 감정상태별로 사용자에게 추천할 행동 정보를 저장하는 감정상태별 행동추천 정보 저장부; 및 상기 비접촉식 생체신호 측정부로부터 행동 추천 대상인 제1 사용자의 생체신호 측정 데이터를 전달받고, 상기 제1 사용자의 생체신호 측정 데이터를 상기 감정상태별 생체신호 모델에 적용하여 행동 추천 대상인 제1 사용자의 제1 감정상태를 결정한 후 상기 행동추천 정보 저장부로부터 대응된 행동을 검출하여 상기 제1 사용자에게 추천하는 제어부를 포함하되, 상기 제어부는 상기 추천된 행동을 인지한 상기 제1 사용자의 행동패턴을 분석하여 상기 추천된 행동의 실행 여부를 결정하고, 상기 추천된 행동의 실행여부에 따른 감정변화를 측정하여 상기 감정변화를 감정상태별 행동추천 정보에 반영하는 것을 특징으로 한다.
바람직하게, 상기 학습부는 상기 감정상태별로 사전에 주어진 적어도 하나의 생체신호 표출범위를 이용하여 감정상태별로 대응된 생체신호의 특징을 추출하고, 상기 감정상태별 생체신호의 특징을 학습하여 감정상태별 생체신호 모델을 생성할 수 있다.
바람직하게, 상기 학습부는 상기 비접촉식 생체신호 측정부로부터, 적어도 하나의 감정상태별로 대응된 감정을 연출한 다수의 표본 사용자들 각각의 생체신호를 전달받고, 상기 감정상태별 생체신호 측정 결과를 학습하여 감정상태별 생체신호 모델을 생성할 수 있다.
바람직하게, 상기 시스템은 사용자들의 생체신호를 접촉식으로 측정하는 접촉식 생체신호 측정부를 더 포함하고, 상기 제어부는 상기 접촉식 생체신호 측정부에 의한 측정데이터와 상기 비접촉식 생체신호 측정부에 의한 측정데이터를 상호 비교하여 상기 비접촉식 생체신호 측정부의 신뢰도를 측정하고, 상기 신뢰도를 상기 학습 결과에 반영할 수 있다.
바람직하게, 상기 제어부는 상기 접촉식 생체신호 측정부에 의한 측정데이터를 상기 감정상태별 생체신호 모델에 적용하여 상기 제1 사용자의 제2 감정상태를 결정하고, 상기 제1 감정상태와 상기 제2 감정상태의 유사도를 분석하여 상기 비접촉식 생체신호 측정부에 의한 측정 데이터를 이용한 감정상태 결정 결과에 대한 신뢰도를 측정할 수 있다.
바람직하게, 상기 행동추천 정보 저장부는 상기 제1 사용자의 감정상태에 따라 특정 기기의 동작 상태를 제어하기 위한 제1 사용자의 행동 정보를 저장하고, 상기 제어부는 상기 행동추천 정보 저장부에 저장된 내용에 의거하여 상기 제1 사용자의 감정상태에 따라 특정 기기의 동작 상태를 제어하기 위한 제1 사용자의 행동을 추천하고, 대응된 기기의 동작상태 변화를 감지하여 상기 제1 사용자의 행동패턴을 분석할 수 있다.
바람직하게, 상기 행동추천 정보 저장부는 상기 제1 사용자의 감정상태에 따라 특정 기기의 동작 상태를 자동으로 제어하기 위한 기기 동작제어 정보를 더 포함하고, 상기 제어부는 상기 행동추천 정보 저장부에 저장된 내용에 의거하여 상기 제1 사용자의 감정상태에 따라 특정 기기의 동작상태를 자동으로 제어할 수 있다.
바람직하게, 상기 제어부는 상기 행동추천 이전의 상기 제1 사용자 감정상태인 제1 감정상태와, 상기 행동추천 이후의 상기 제1 사용자 감정상태인 제3 감정상태를 비교하여 상기 제1 사용자의 감정변화를 측정할 수 있다.
바람직하게, 상기 제어부는 상기 제1 감정상태 및 상기 제3 감정상태를 2차원 감성 분류 모델인 정서(Valence)-각성(Arousal) 모델에 적용하여 감정변화의 방향을 인지할 수 있다.
한편, 상기 목적을 달성하기 위해, 본 발명에서 제공하는 비접촉식 생체신호 측정부 기반의 행동 추천 방법은 적어도 하나의 감정상태별로 표출되는 적어도 하나의 생체신호에 의거하여 학습부에서 상기 감정상태별 생체신호 모델을 생성하는 생체신호 모델 생성단계; 비접촉식 생체신호 측정부를 이용하여 행동 추천 대상인 제1 사용자의 생체신호를 측정하고, 상기 비접촉식 생체신호 측정부를 이용하여 측정된 비접촉식 측정 데이터를 제어부에서 상기 감정상태별 생체신호 모델에 적용하여 상기 제1 사용자의 제1 감정상태를 결정하는 제1 감정상태 결정단계; 미리 설정 등록된 감정상태별 행동추천 정보에 의거하여 상기 제1 사용자의 제1 감정상태에 대응된 행동을 결정한 후, 상기 행동을 상기 제1 사용자에게 추천하는 행동추천단계; 상기 제어부에서 상기 추천된 행동을 인지한 상기 제1 사용자의 행동패턴을 분석하는 행동패턴 분석단계; 상기 제어부에서 상기 추천된 행동의 실행 여부에 따른 상기 제1 사용자의 감정변화를 측정하는 감정변화 측정단계; 및 상기 제어부에서 상기 제1 사용자의 추천행동 실행 여부 및 감정변화를 상기 감정상태별 행동추천 정보에 반영하는 감정변화 반영단계를 포함하는 것을 특징으로 한다.
바람직하게, 상기 생체신호 모델 생성단계는 상기 학습부에서 상기 감정상태별로 사전에 주어진 적어도 하나의 생체신호 표출범위를 이용하여 감정상태별로 대응된 생체신호의 특징을 추출하는 특징추출단계; 및 상기 학습부에서 상기 감정상태별 생체신호의 특징을 학습하여 감정상태별 생체신호 모델을 생성하는 제1 학습단계를 포함할 수 있다.
바람직하게, 상기 생체신호 모델 생성단계는 상기 학습부에서 적어도 하나의 감정상태별로 대응된 감정을 연출한 다수의 표본 사용자들 각각의 생체신호를 측정하는 생체신호 측정단계; 및 상기 학습부에서 상기 감정상태별 생체신호 측정 결과를 학습하여 감정상태별 생체신호 모델을 생성하는 제2 학습단계를 포함할 수 있다.
바람직하게, 상기 생체신호 측정단계는 상기 학습부에서 접촉식 생체신호 측정부 및 비접촉식 생체신호 측정부를 이용하여 상기 표본 사용자들 각각의 생체신호를 측정하고, 상기 접촉식 생체신호 측정부에 의한 측정데이터와 상기 비접촉식 생체신호 측정부에 의한 측정데이터를 상호 비교하여 상기 비접촉식 생체신호 측정부의 신뢰도를 측정하는 제1 신뢰도 측정 단계를 더 포함할 수 있다.
바람직하게, 상기 제1 감정상태 결정단계는 상기 제어부에서 접촉식 생체신호 측정부를 이용하여 상기 제1 사용자의 생체신호를 측정하고, 상기 접촉식 생체신호 측정부를 이용하여 측정된 생체신호인 접촉식 측정 데이터를 상기 감정상태별 생체신호 모델에 적용하여 상기 제1 사용자의 제2 감정상태를 결정하는 제2 감정상태 결정단계; 및 상기 제어부에서 상기 제1 감정상태와 상기 제2 감정상태의 유사도를 분석하여 상기 비접촉식 측정 데이터를 이용한 감정상태 결정 결과에 대한 신뢰도를 측정하는 제2 신뢰도 측정 단계를 더 포함할 수 있다.
바람직하게, 상기 행동 추천단계는 상기 제어부에서 상기 제1 사용자의 제1 감정상태에 따라 특정 기기의 동작 상태를 제어하기 위한 제1 사용자의 행동을 추천하고, 상기 행동패턴 분석단계는 상기 추천 정보에 의거하여 대응된 기기의 동작 상태 변화를 감지하여 상기 제1 사용자의 행동패턴을 분석할 수 있다.
바람직하게, 상기 방법은 상기 제어부에서 미리 설정된 감정상태별 기기 동작제어 정보에 의거하여 상기 제1 사용자의 제1 감정상태에 대응하여 기기의 동작을 자동 제어하는 기기제어단계를 더 포함하고, 상기 감정변화 측정단계는 상기 제어부에서 상기 기기의 자동 제어에 따른 상기 제1 사용자의 감정변화를 더 측정할 수 있다.
바람직하게, 상기 감정변화 측정단계는 상기 제어부에서 상기 비접촉식 생체신호 측정부를 이용하여 상기 행동 추천 이후에 변화된 상기 제1 사용자의 생체신호를 측정하고, 상기 비접촉식 생체신호 측정부를 이용하여 측정된, 변화된 비접촉식 측정 데이터를 상기 감정상태별 생체신호 모델에 적용하여 상기 제1 사용자의 제3 감정상태를 결정하는 제3 감정상태 결정단계; 및 상기 제어부에서 상기 제1 사용자의 제1 감정상태와, 상기 제1 사용자의 제3 감정상태를 비교하여 그 감정변화를 측정하는 비교단계를 포함할 수 있다.
바람직하게, 상기 비교단계는 상기 제어부에서 상기 제1 감정상태 및 상기 제3 감정상태를 2차원 감성 분류 모델인 정서(Valence)-각성(Arousal) 모델에 적용하여 감정변화의 방향을 인지할 수 있다.
본 발명의 비접촉식 생체센서를 기반으로 한 행동추천 시스템 및 그 방법은 비접촉식 생체센서를 통해 측정되는 생체신호를 이용하여 사용자의 감성을 분류하고 그에 따라 행동을 추천하되, 사용자의 감성 분류시 비접촉식 생체센서를 이용한 생체신호와 접촉식 생체센서를 이용한 생체신호를 상호 비교함으로써 데이터 신뢰도를 향상시킬 수 있는 장점이 있다.
또한, 본 발명은 상기 행동 추천 결과를 피드백하여 감성 분류에 재반영함으로써, 사용자의 편리성 및 활용도를 높일 수 있는 장점이 있다.
또한, 본 발명은 상기 행동 추천 결과의 실행 여부에 따른 사용자의 감정변화 결과를 비접촉 생체센서로 재확인함으로써, 행동 추천에 대한 효과를 확인할 수 있으며, 이로 인해, 사용자의 감정 분류에 따라 보다 정확한 행동 추천을 할 수 있는 장점이 있다.
도 1은 본 발명의 일 실시 예에 따른 비접촉식 생체센서 기반의 행동 추천 시스템에 대한 개략적인 블록도이다.
도 2는 본 발명의 일 실시 예에 따른 비접촉식 생체센서 기반의 행동 추천 방법에 대한 개략적인 처리 흐름도이다.
도 3a 및 도 3b는 본 발명의 일 실시 예에 따른 생체신호 모델생성 과정에 대한 개략적인 처리 흐름도들이다.
도 4는 본 발명의 일 실시 예에 따른 감정변화 측정과정에 대한 개략적인 처리 흐름도이다.
도 2는 본 발명의 일 실시 예에 따른 비접촉식 생체센서 기반의 행동 추천 방법에 대한 개략적인 처리 흐름도이다.
도 3a 및 도 3b는 본 발명의 일 실시 예에 따른 생체신호 모델생성 과정에 대한 개략적인 처리 흐름도들이다.
도 4는 본 발명의 일 실시 예에 따른 감정변화 측정과정에 대한 개략적인 처리 흐름도이다.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시 예에 대하여 설명하되, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 한편 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다. 또한 상세한 설명을 생략하여도 본 기술 분야의 당업자가 쉽게 이해할 수 있는 부분의 설명은 생략하였다.
명세서 및 청구범위 전체에서, 어떤 부분이 어떤 구성 요소를 포함한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다.
도 1은 본 발명의 일 실시 예에 따른 비접촉식 생체센서 기반의 행동 추천 시스템에 대한 개략적인 블록도이다. 도 1을 참조하면, 본 발명의 일 실시 예에 따른 비접촉식 생체센서 기반의 행동 추천 시스템(100)은 감정상태별 생체신호 모델 저장부(110)와, 감정상태별 행동추천 정보 저장부(120)와, 접촉식 생체신호 측정부(130)와, 비접촉식 생체신호 측정부(140)와, 제어부(150)와, 학습부(160)와, 사용자 인터페이스부(I/F)(170)를 포함한다.
감정상태별 생체신호 모델 저장부(110)는 다양한 감정상태별로 유사한 패턴을 보이는 생체신호들을 분석하여 생성된 감정상태별 생체신호 모델을 저장한다. 이 때, 감정상태별 생체신호 모델은 감정상태별로 발현되는 생체신호의 특징들을 표준화한 것으로서, 감정상태별로 다수의 사용자들에게서 공통적으로 나타나는 생체신호 데이터(예컨대, 심박수, 체온, 뇌파 등)의 범위 또는 그 생체신호의 변화패턴(예컨대, 심박수의 변화, 체온의 변화, 뇌파의 변화 등)을 표준화한 것일 수 있다.
감정상태별 행동추천 정보 저장부(120)는 상기 감정상태별로 사용자에게 추천할 행동 정보를 저장한다. 이 때, 상기 행동 정보는 사용자의 감정상태에 따라 특정 기기의 동작 상태를 제어하기 위한 사용자의 행동 정보 또는 상기 사용자의 감정상태에 따라 특정 기기의 동작 상태를 자동으로 제어하기 위한 기기 동작제어 정보를 포함할 수 있다. 예를 들어, ‘두려움’에 대한 행동정보로서, ‘마음을 평화롭게 할 수 있는 느린 비트의 음악 플레이’를 저장하여, 해당 사용자에게 추천된 음악을 플레이하도록 추천하거나, 대응된 음악을 플레이할 수 있는 기기를 자동으로 제어하도록 하는 명령어를 저장할 수 있다.
접촉식 생체신호 측정부(130)는 사용자들의 생체신호를 접촉식으로 측정한다. 예를 들어, 접촉식 생체신호 측정부(130)는 접촉식 온도센서, 접촉식 심전도 센서 등을 포함할 수 있다. 접촉식 생체신호 측정부(130)는 초기 학습단계 또는 학습 완료 후, 측정환경의 변화로 비접촉식 생체신호 측정부(140)의 신뢰도 개선이 필요할 때에 선택적으로 사용될 수 있다.
비접촉식 생체신호 측정부(140)는 사용자들의 생체신호를 비접촉식으로 측정한다. 예를 들어, 비접촉식 생체신호 측정부(140)는 비접촉식 온도센서, 비접촉식 심전도 센서 등을 포함할 수 있다. 또한, 비접촉식 생체신호 측정부(140)는 카메라를 더 포함하고, 카메라를 통해 수집된 이미지로부터 사용자의 맥박, 호흡, 심박수 등을 측정할 수도 있다.
한편, 비접촉식 생체신호 측정부(140)는 오차를 개선하기 위해, 행동추천 대상인 제1 사용자의 생체신호를 비접촉식으로 측정한 후 전처리(예컨대, 노이즈 제거, 정제 및 필터링 등)를 수행할 수 있다. 예를 들어, 비접촉식 생체신호 처리부(140)가 비접촉식 심전도 센서를 포함하는 경우, 상기 비접촉식 심전도 센서를 이용하여 사용자의 심전도 데이터를 비접촉식으로 측정한 후, 상기 비접촉식 심전도 데이터로부터 노이즈를 제거하고, 정제 및 필터링을 통해 측정데이터를 생성할 수 있다.
특히, 접촉식 생체신호 측정부(130) 및 비접촉식 생체신호 측정부(140)는, 다양한 감정 상태별로 발현되는 사용자들의 생체신호를 학습하여 감정상태별 생체신호 모델을 생성하기 위한 기초자료인, 생체신호를 접촉식 또는 비접촉식 방식으로 측정할 수 있다. 즉, 접촉식 생체신호 측정부(130) 및 비접촉식 생체신호 측정부(140)는 다양한 감정상태별(예컨대, 행복(happiness), 슬픔(sadness), 두려움(fear), 놀라움(surprise), 혐오(disgust) 및 중립(neutral) 등)로 대응된 감정을 연출한 다수의 표본 사용자들의 생체신호를 접촉식 또는 비접촉식으로 측정할 수 있다.
제어부(150)는 미리 설정된 제어 알고리즘에 의거하여 비접촉식 생체센서 기반의 행동추천 시스템(100)의 동작을 제어한다.
먼저, 제어부(150)는, 접촉식 생체신호 측정부(130) 및 비접촉식 생체신호 측정부(140) 중 적어도 하나로부터 다양한 감정상태에 대응된 감정을 연출한 다수의 표본 사용자들에 대한 생체신호 측정 결과가 전달되면, 이를 학습부(160)로 전달하고, 학습부(160)를 제어하여 이들을 학습시킨다. 그리고 제어부(150)는 학습부(160)로부터 학습 결과(즉, 감정상태별 생체신호 모델)를 전달받아 감정상태별 생체신호 모델 저장부(110)에 저장한다.
또한 제어부(150)는 비접촉식 생체신호 측정부(140)로부터 행동 추천 대상인 제1 사용자의 생체 신호 측정 데이터를 전달받고, 상기 제1 사용자의 생체신호 측정 데이터를 감정상태별 생체신호 모델 저장부(110)에 등록된 감정상태별 생체신호 모델에 적용하여 상기 제1 사용자의 감정상태를 결정한다. 이를 위해, 제어부(150)는 감정상태별 생체신호 모델 저장부(110)에 저장된 감정상태별 생체신호 모델들과 상기 제1 사용자의 측정데이터를 비교하고, 그 결과 상기 측정데이터와 유사한 생체신호 모델에 대응한 감정상태를 도출하여 상기 제1 사용자의 감정상태로 결정할 수 있다.
그리고 제어부(150)는 감정상태별 행동추천 정보 저장부(120)로부터 상기 제1 사용자의 감정상태에 대응된 행동을 검출하여 상기 제1 사용자에게 추천한다. 예를 들어, 제어부(150)는 감정상태별 행동추천 정보 저장부(120)로부터 상기 제1 사용자의 감정상태에 따라 특정 기기의 동작상태를 제어하기 위한 제1 사용자의 행동정보를 검출하여 상기 제1 사용자에게 추천할 수 있다. 또는, 제어부(150)가 감정상태별 행동추천 정보 저장부(120)로부터 상기 제1 사용자의 감정상태에 따라 특정 기기의 동작상태를 자동으로 제어하기 위한 기기 동작제어 정보(예컨대, 제어 명령)를 검출하여 해당 기기를 동작시킬 수 있다. 만약, 제1 사용자의 감정상태가 ‘두려움’인 경우, 제어부(150)는 감정상태별 행동추천 정보 저장부(120)로부터 대응된 행동 정보인 ‘마음을 평화롭게 할 수 있는 느린 비트의 음악 플레이’를 추출하여 해당 사용자에게 추천된 음악을 플레이하도록 추천하거나, 대응된 음악을 플레이할 수 있는 기기를 자동으로 동작시킬 수 있다.
한편, 제어부(150)는 상기 추천된 행동을 인지한 상기 제1 사용자의 행동패턴을 분석하여 상기 추천된 행동의 실행 여부를 결정하고, 상기 추천된 행동의 실행여부에 따른 감정변화를 측정하여 상기 감정변화를 감정상태별 행동추천 정보에 반영할 수 있다.
상기 예에서와 같이, 제어부(150)가 ‘마음을 평화롭게 할 수 있는 느린 비트의 음악 플레이’라는 행동 정보를 상기 제1 사용자에게 추천한 경우, 제어부(150)는 상기 제1 사용자의 행동패턴을 분석하기 위해, 해당 기기의 동작 상태 변경 여부(예컨대, MP3 플레이어의 동작 상태 변경 여부 등)를 감지한다. 즉, 제어부(150)는 상기 제1 사용자가 추천된 행동을 실행하였는 지의 여부를 판단하기 위해, 해당 기기의 동작 상태 변경 여부를 감지한다. 그리고 제어부(150)는 상기 추천된 행동을 실행하거나, 하지 않은 경우 각각에 대하여 상기 제1 사용자의 감정변화를 측정하여 상기 감정변화를 감정상태별 행동 추천 정보에 반영할 수 있다. 예를 들어, 상기 제1 사용자가 추천 행동을 반복적으로 실행하지 않거나, 실행 후에 감정이 긍정적인 방향으로 변화하지 않는 경우, 제어부(150)는 상기 감정상태에 대하여 대응된 행동정보의 추천 비율을 낮추거나, 해당 행동정보를 추천하지 않도록 감정상태별 행동 추천 정보를 변경할 수 있다.
또는, 제어부(150)가 ‘마음을 평화롭게 할 수 있는 느린 비트의 음악 플레이’하도록 특정 기기를 자동으로 동작시킨 경우, 제어부(150)는 상기 기기의 동작 결과에 따른 상기 제1 사용자의 감정변화를 측정하여 상기 감정변화를 감정상태별 행동 추천 정보에 반영할 수 있다. 예를 들어, 상기 기기를 자동으로 동작시킨 후, 상기 제1 사용자의 감정이 긍정적인 방향으로 변화하지 않는 경우, 제어부(150)는 상기 감정상태에 대하여 대응된 행동정보의 추천 비율을 낮추거나, 해당 행동정보를 추천하지 않도록 감정상태별 행동 추천 정보를 변경할 수 있다.
이를 위해, 제어부(150)는 비접촉식 생체신호 측정부(140)로부터 상기 제1 사용자가 행동추천 정보를 인지한 후의 생체신호 측정데이터를 전달받고, 그 생체신호 측정 데이터(행동 추천 이후)를 상기 감정 상태별 생체신호 모델에 적용하여 상기 제1 사용자의 감정상태(제3 감정상태)를 결정한다. 상기 제3 감정상태 결정 과정은 상기 제1 감정상태(행동 추천 이전) 결정 과정과 유사하다.
그리고 제어부(150)는 상기 제1 사용자의 제1 감정상태(행동 추천 이전)와, 상기 제1 사용자의 제3 감정상태(행동 추천 이후)를 비교하여 상기 제1 사용자의 감정변화를 측정하되, 상기 제1 감정상태 및 상기 제3 감정상태를 2차원 감성 분류 모델인 정서(Valence)-각성(Arousal) 모델에 적용하여 감정변화의 방향을 인지할 수 있다. 즉, 제어부(150)는 상기 제1 사용자의 감정 상태가 2차원 감성 분류 모델인 정서(Valence)-각성(Arousal) 모델의 상/하/좌/우 중 어느 방향으로 이동하였는지를 판단하고, 그 결과에 의거하여 상기 제1 사용자의 감정이 긍적적으로 변하였는지, 부정적으로 변하였는지를 인지할 수 있다. 한편, 상기 2차원 감성 분류 모델인 정서(Valence)-각성(Arousal) 모델은 상기 제1 사용자의 감정변화를 감지하기 위한 하나의 방법일 뿐, 본 발명의 감정변화 감지 방법이 상기 2차원 감성 분류 모델인 정서(Valence)-각성(Arousal) 모델로 한정되는 것은 아니다.
또한, 제어부(150)는 상기 행동 추천 정보를 제공받은 제1 사용자와의 인터페이스(예컨대, 메뉴 선택 기능 또는 챗봇 기능 등)를 통해, 상기 제1 사용자의 만족도 상태를 수집하고, 그 결과를 행동추천 정보에 반영할 수도 있다.
학습부(160)는 제어부(150)의 제어를 받아 적어도 하나의 감정상태별로 표출되는 적어도 하나의 생체신호에 의거하여 상기 감정상태별 생체신호 모델을 생성한다. 이 때, 학습부(160)는 사전에 주어진 데이터(예컨대, 오픈 데이터 등)를 이용하여 상기 감정상태별 생체신호 모델을 생성하거나, 표본 사용자들의 감정상태별 생체신호를 실측한 후 그 결과를 학습하여 상기 감정상태별 생체신호 모델을 생성할 수 있다. 전자의 경우 학습부(160)는 상기 감정상태별로 사전에 주어진 적어도 하나의 생체신호 표출범위를 이용하여 감정상태별로 대응된 생체신호의 특징을 추출하고, 상기 감정상태별 생체신호의 특징을 학습하여 감정상태별 생체신호 모델을 생성할 수 있다. 또한, 후자의 경우 학습부(160)는 비접촉식 생체신호 측정부(140)로부터, 적어도 하나의 감정상태별로 대응된 감정을 연출한 다수의 표본 사용자들 각각의 생체신호를 전달받고, 상기 감정상태별 생체신호 측정 결과를 학습하여 감정상태별 생체신호 모델을 생성할 수 있다.
한편, 제어부(150)는 상기 학습결과의 신뢰도를 향상시키기 위해, 접촉식 생체신호 측정부(130)에 의한 측정데이터와 비접촉식 생체신호 측정부(140)에 의한 측정데이터를 상호 비교하여 비접촉식 생체신호 측정부(140)의 신뢰도를 측정할 수 있다. 예를 들어, 상기 비교 결과 비접촉식 생체신호 측정부(140)에 의한 측정데이터가 접촉식 생체신호 측정부(130)에 의한 측정데이터와 미리 설정된 소정 범위 이상 차이가 나는 경우, 제어부(150)는 비접촉식 생체신호 측정부(140)의 오류로 판단하여 비접촉식 생체신호 측정부(140)를 교체하도록 하는 신호를 발생시킬 수 있다.
또한, 제어부(150)는 접촉식 생체신호 측정부(130)에 의한 측정데이터를 상기 감정상태별 생체신호 모델에 적용하여 제1 사용자의 감정상태(제2 감정상태)를 결정하고, 비접촉식 생체신호 측정부(140)에 의한 측정데이터에 의거하여 결정된 제1 사용자의 감정상태(제1 감정상태)와 상기 제2 감정상태의 유사도를 분석하여, 상기 제1 감정상태 결정 결과에 대한 신뢰도를 측정할 수 있다. 예를 들어, 상기 제2 감정상태와 상기 제1 감정상태의 유사도가 미리 설정된 일정 범위를 벗어나는 경우, 즉, 유사도가 미리 설정된 값보다 낮은 경우, 제어부(150)는 학습이 미비한 것으로 판단하고, 추가 학습을 수행하도록 하는 신호를 발생시킬 수 있다.
사용자 인터페이스부(I/F)(170)는 비접촉식 생체센서 기반의 행동 추천 시스템(100)과 이를 조작하기 위한 사용자 또는 관리자와의 인터페이스를 제공한다.
한편, 도 1에 예시된 비접촉식 생체센서 기반의 행동 추천 시스템(100)은 단말 형태로 구현되어, 차량 내부 또는 가정 내에 설치될 수 있다.
도 2는 본 발명의 일 실시 예에 따른 비접촉식 생체센서 기반의 행동 추천 방법에 대한 개략적인 처리 흐름도이고, 도 3a 및 도 3b는 본 발명의 일 실시 예에 따른 생체신호 모델생성 과정에 대한 개략적인 처리 흐름도들이고, 도 4는 본 발명의 일 실시 예에 따른 감정변화 측정과정에 대한 개략적인 처리 흐름도이다. 도 1 내지 도 4를 참조하면, 본 발명의 일 실시 예에 따른 비접촉식 생체센서 기반의 행동 추천 방법은 다음과 같다.
먼저, 단계 S110에서는, 학습부(160)가 감정 상태별 생체신호 모델을 생성한다. 즉, 단계 S110에서, 학습부(160)는 제어부(150)의 제어를 받아 적어도 하나의 감정상태별로 표출되는 적어도 하나의 생체신호에 의거하여 상기 감정상태별 생체신호 모델을 생성한다. 이 때, 학습부(160)는 사전에 주어진 데이터(예컨대, 오픈 데이터 등)를 이용하여 상기 감정상태별 생체신호 모델을 생성하거나, 표본 사용자들의 감정상태별 생체신호를 실측한 후 그 결과를 학습하여 상기 감정상태별 생체신호 모델을 생성할 수 있다. 이를 위해, 단계 S110은 사전에 주어진 데이터(예컨대, 오픈 데이터 등)를 이용하여 상기 감정상태별 생체신호 모델을 생성하거나, 표본 사용자들의 감정상태별 생체신호를 실측한 후 그 결과를 학습하여 상기 감정상태별 생체신호 모델을 생성할 수 있다. 도 3a는 전자의 처리 과정의 예를, 도 3b는 후자의 처리 과정의 예를 나타내고 있다.
도 3a를 참조하면, 생체신호 모델을 생성하기 위한 제1 실시 예(S110a)는 다음과 같다. 먼저, 단계 S111a에서, 학습부(160)는 감정상태별로 사전에 주어진 적어도 하나의 생체신호 표출범위를 이용하여 감정상태별로 대응된 생체신호의 특징을 추출한다. 그리고 단계 S113a에서는, 학습부(160)가 상기 감정상태별 생체신호의 특징을 학습하여 감정상태별 생체신호 모델을 생성한다.
도 3b를 참조하면, 생체신호 모델을 생성하기 위한 제2 실시 예(S110b)는 다음과 같다. 먼저, 단계 S111b에서는, 비접촉식 생체신호 측정부(140)가 적어도 하나의 감정상태별로 대응된 감정을 연출한 다수의 표본 사용자들 각각의 생체신호를 측정한다. 그리고 단계 S113b에서는, 학습부(160)가 상기 측정 결과를 전달받고, 상기 감정상태별 생체신호 측정 결과를 학습하여 감정상태별 생체신호 모델을 생성한다.
이 때, 감정상태별 생체신호 모델은 감정상태별로 발현되는 생체신호의 특징들을 표준화한 것으로서, 감정상태별로 다수의 사용자들에게서 공통적으로 나타나는 생체신호 데이터(예컨대, 심박수, 체온, 뇌파 등)의 범위 또는 그 생체신호의 변화패턴(예컨대, 심박수의 변화, 체온의 변화, 뇌파의 변화 등)을 표준화한 것일 수 있다.
한편, 도 3b의 예에서, 단계 S110b는 상기 학습결과의 신뢰도를 향상시키기 위해, 제어부(150)가 접촉식 생체신호 측정부(130)에 의한 측정데이터와 비접촉식 생체신호 측정부(140)에 의한 측정데이터를 상호 비교하는 단계(미도시); 및 상기 비교 결과 비접촉식 생체신호 측정부(140)에 의한 측정데이터가 접촉식 생체신호 측정부(130)에 의한 측정데이터와 미리 설정된 소정 범위 이상 차이가 나는 경우, 비접촉식 생체신호 측정부(140)의 오류로 판단하여 비접촉식 생체신호 측정부(140)를 교체하도록 하는 신호를 발생시키는 단계(미도시)를 더 포함할 수 있다.
단계 S120에서는, 비접촉식 생체신호 측정부(140)가 비접촉식 측정 데이터를 생성한다. 즉, 단계 S120에서, 비접촉식 생체신호 처리부(140)는 비접촉식 생체센서를 이용하여 행동 추천 대상인 제1 사용자의 생체신호를 측정한 후 그 측정 데이터를 전처리하여 비접촉식 측정데이터를 생성할 수 있다. 이 때, 상기 전처리는 노이즈 제거, 정제 및 필터링 과정을 포함할 수 있다.
단계 S130에서는, 제어부(150)가 상기 제1 사용자의 감정상태를 결정한다. 즉, 단계 S130에서, 제어부(150)는 단계 S120에서 생성된 비접촉식 측정 데이터를 상기 감정상태별 생체신호 모델에 적용하여 상기 제1 사용자의 감정상태(제1 감정상태)를 결정한다. 이를 위해, 제어부(150)는 감정상태별 생체신호 모델 저장부(110)에 저장된 감정상태별 생체신호 모델들과 상기 제1 사용자의 비접촉식 측정데이터를 비교하고, 그 결과 상기 비접촉식 측정데이터와 유사한 생체신호 모델에 대응한 감정상태를 도출하여 상기 제1 사용자의 감정상태(제1 감정상태)로 결정할 수 있다.
또한, 단계 S130는, 제어부(150)가 접촉식 생체신호 측정부(130)에 의한 접촉식 측정데이터를 상기 감정상태별 생체신호 모델에 적용하여 제1 사용자의 감정상태(제2 감정상태)를 결정하는 단계(미도시)와, 상기 비접촉식 측정데이터에 의거하여 결정된 제1 사용자의 감정상태(제1 감정상태)와 상기 제2 감정상태의 유사도를 분석하여 상기 제1 감정상태 결정 결과에 대한 신뢰도를 측정하는 단계(미도시)를 더 포함할 수도 있다. 예를 들어, 상기 제2 감정상태와 상기 제1 감정상태의 유사도가 미리 설정된 일정 범위를 벗어나는 경우, 즉, 유사도가 미리 설정된 값보다 낮은 경우, 제어부(150)는 학습이 미비한 것으로 판단하고, 추가 학습을 수행하도록 하는 신호를 발생시킬 수 있다.
단계 S140에서는, 제어부(150)가 상기 제1 감정상태에 의거하여 대응된 행동을 추천한다. 즉, 단계 S140에서, 제어부(150)는 감정상태별 행동추천 정보 저장부(120)에 미리 설정 등록된 감정상태별 행동추천 정보에 의거하여, 상기 제1 사용자의 제1 감정상태에 대응된 행동을 결정한 후, 상기 행동을 상기 제1 사용자에게 추천한다. 이를 위해, 제어부(150)는 감정상태별 행동추천 정보 저장부(120)로부터 상기 제1 사용자의 감정상태에 따라 특정 기기의 동작상태를 제어하기 위한 제1 사용자의 행동정보를 검출하여 상기 제1 사용자에게 추천할 수 있다. 또는, 제어부(150)가 감정상태별 행동추천 정보 저장부(120)로부터 상기 제1 사용자의 감정상태에 따라 특정 기기의 동작상태를 자동으로 제어하기 위한 기기 동작제어 정보(예컨대, 제어 명령)를 검출하여 해당 기기를 동작시킬 수 있다. 예를 들어, 제1 사용자의 감정상태가 ‘두려움’인 경우, 제어부(150)는 감정상태별 행동추천 정보 저장부(120)로부터 대응된 행동 정보인 ‘마음을 평화롭게 할 수 있는 느린 비트의 음악 플레이’를 추출하여 해당 사용자에게 추천된 음악을 플레이하도록 추천하거나, 대응된 음악을 플레이할 수 있는 기기를 자동으로 동작시킬 수 있다.
단계 S150에서는, 제어부(150)가 상기 추천된 행동을 인지한 상기 제1 사용자의 행동패턴을 분석한다. 이를 위해, 제어부(150)는 상기 추천 정보에 대응된 기기의 동작 상태 변화를 감지하여, 상기 제1 사용자의 행동패턴을 분석할 수 있다. 즉, 제어부(150)는 추천된 내용대로 대응된 기기가 동작하는지 여부를 판단하여 상기 제1 사용자가 추천된 행동을 수행했는지 여부를 결정하고, 그에 의거하여 행동패턴을 분석할 수 있다. 상기 예에서와 같이, 제어부(150)가 ‘마음을 평화롭게 할 수 있는 느린 비트의 음악 플레이’라는 행동 정보를 상기 제1 사용자에게 추천한 경우, 제어부(150)는 해당 기기의 동작 상태 변경 여부(예컨대, MP3 플레이어의 동작 상태 변경 여부 등)를 감지하여, 상기 제1 사용자가 추천된 행동을 실행하였는 지의 여부를 판단할 수 있다.
단계 S160에서는, 제어부(150)가 상기 제1 사용자의 감정변화를 측정한다. 즉, 단계 S160에서, 제어부(150)는 상기 추천된 행동의 실행 여부에 따른 상기 제1 사용자의 감정변화를 측정한다. 이러한 감정변화 측정 과정(S160)에 대한 보다 구체적인 처리 과정의 예가 도 4에 예시되어 있다. 도 4를 참조하면, 단계 S161에서는, 제어부(150)가 비접촉식 생체센서로부터, 상기 행동 추천 이후에 변화된 상기 제1 사용자의 생체신호를 측정한 후 2차 비접촉식 측정데이터를 생성한다. 이를 위해, 제어부(150)는 비접촉식 생체신호 측정부(140)를 이용하여 측정된 상기 제1 사용자의 2차 비접촉식 측정 데이터를 전달받아 전처리(예컨대, 노이즈 제거, 정제 및 필터링)를 수행할 수 있다. 단계 S162에서는, 제어부(150)가 상기 제1 사용자의 2차 감정상태(행동 추천 이후, 즉, 제3 감정상태)를 결정한다. 즉, 단계 S162에서, 제어부(150)는 상기 2차 비접촉식 측정 데이터를 상기 학습된 감정상태별 생체신호 모델에 적용하여 상기 제1 사용자의 2차 감정상태(행동 추천 이후, 즉, 제3 감정상태)를 결정할 수 있다. 이 때, 상기 2차 감정상태(제3 감정상태)는 상기 제1 사용자가 상기 추천된 행동을 인지한 후의 감정상태를 말한다. 특히, 상기 2차 감정상태(제3 감정상태)는, 상기 제1 사용자가 추천된 행동을 수행한 경우, 알고도 수행하지 않지 않은 경우, 특정 기기가 자동으로 동작된 경우 등, 상기 행동추천 이후 제1 사용자의 감정상태를 말한다.
또한, 단계 S163에서는, 제어부(150)가 상기 제1 사용자의 감정상태를 비교한다. 즉, 단계 S163에서, 제어부(150)는 상기 제1 사용자의 제1 감정상태와, 제3 감정상태를 비교하여 그 감정변화를 측정한다. 이 때, 제어부(150)는 상기 제1 감정상태 및 상기 제3 감정상태를 2차원 감성 분류 모델인 정서(Valence)-각성(Arousal) 모델에 적용하여 감정변화의 방향을 인지할 수 있다.
이를 위해, 제어부(150)는 상기 행동추천 이전의 상기 제1 사용자 감정상태인 제1 감정상태와, 상기 행동추천 이후의 상기 제1 사용자 감정상태인 제3 감정상태를 비교하여 상기 제1 사용자의 감정변화를 측정하되, 상기 제1 감정상태 및 상기 제3 감정상태를 2차원 감성 분류 모델인 정서(Valence)-각성(Arousal) 모델에 적용하여 감정변화의 방향을 인지할 수 있다. 즉, 제어부(150)는 상기 제1 사용자의 감정 상태가 2차원 감성 분류 모델인 정서(Valence)-각성(Arousal) 모델의 상/하/좌/우 중 어느 방향으로 이동하였는지를 판단하고, 그 결과에 의거하여 상기 제1 사용자의 감정이 긍적적으로 변하였는지, 부정적으로 변하였는지를 인지할 수 있다. 한편, 상기 2차원 감성 분류 모델인 정서(Valence)-각성(Arousal) 모델은 상기 제1 사용자의 감정변화를 감지하기 위한 하나의 방법일 뿐, 본 발명의 감정변화 감지 방법이 상기 2차원 감성 분류 모델인 정서(Valence)-각성(Arousal) 모델로 한정되는 것은 아니다.
이는 상기 추천된 행동이 상기 제1 사용자의 감정에 미치는 영향을 판단하기 위한 것으로서, 단계 S170에서, 제어부(150)는 상기 제1 사용자의 감정변화를 상기 감정상태별 행동추천 정보에 반영할 수 있다. 예를 들어, 상기 제1 사용자가 추천 행동을 반복적으로 실행하지 않거나, 실행 후에 감정이 긍정적인 방향으로 변화하지 않는 경우, 또는, 상기 기기를 자동으로 동작시킨 후, 상기 제1 사용자의 감정이 긍정적인 방향으로 변화하지 않는 경우, 제어부(150)는 상기 감정상태에 대하여 대응된 행동정보의 추천 비율을 낮추거나, 해당 행동정보를 추천하지 않도록 감정상태별 행동 추천 정보를 변경할 수 있다.
한편, 제어부(150)는 상기 행동 추천 정보를 제공받은 제1 사용자와의 인터페이스(예컨대, 메뉴 선택 기능 또는 챗봇 기능 등)를 통해, 상기 제1 사용자의 만족도 상태를 수집하고, 그 결과를 행동추천 정보에 반영할 수도 있다.
이와 같이 본 발명은 비접촉식으로 측정되는 생체신호를 이용하여 사용자의 감성을 분류하고 그에 따라 행동을 추천하되, 그 결과를 피드백하여 재반영하도록 함으로써, 행동 추천에 대한 활용도를 높일 수 있는 장점이 있다.
이상에서는 본 발명의 실시 예를 설명하였으나, 본 발명의 권리범위는 이에 한정되지 아니하며 본 발명이 실시 예로부터 본 발명이 속하는 기술 분야에서 통상의지식을 가진 자에 의해 용이하게 변경되어 균등한 것으로 인정되는 범위의 모든 변경 및 수정을 포함한다.
100: 행동 추천 시스템 110: 접촉식 생체신호 측정부
120: 비접촉식 생체신호 측정부 130: 제어부
140: 학습부 150: 감정상태별 생체신호 모델 저장부
160: 감정상태별 행동추천 정보 저장부
170: 사용자 I/F
120: 비접촉식 생체신호 측정부 130: 제어부
140: 학습부 150: 감정상태별 생체신호 모델 저장부
160: 감정상태별 행동추천 정보 저장부
170: 사용자 I/F
Claims (18)
- 사용자들의 생체신호를 비접촉식으로 측정하는 비접촉식 생체신호 측정부;
사용자들의 생체신호를 접촉식으로 측정하는 접촉식 생체신호 측정부;
적어도 하나의 감정상태별로 표출되는 적어도 하나의 생체신호에 의거하여 감정상태별 생체신호 모델을 생성하되, 상기 감정상태별로 사전에 주어진 적어도 하나의 생체신호 표출범위를 이용하여 감정상태별로 대응된 생체신호의 특징을 추출하고, 상기 감정상태별 생체신호의 특징을 학습하여 상기 감정상태별 생체신호 모델을 생성하고, 상기 비접촉식 생체신호 측정부로부터, 적어도 하나의 감정상태별로 대응된 감정을 연출한 다수의 표본 사용자들 각각의 생체신호를 전달받고, 상기 감정상태별 생체신호 측정 결과를 학습하여 감정상태별 생체신호 모델을 생성하는 학습부;
상기 감정상태별 생체신호 모델을 저장하는 감정상태별 생체신호 모델 저장부;
상기 감정상태별로 사용자에게 추천할 행동 정보를 저장하는 감정상태별 행동추천 정보 저장부; 및
상기 접촉식 생체신호 측정부에 의한 측정데이터와 상기 비접촉식 생체신호 측정부에 의한 측정데이터를 상호 비교하여 상기 비접촉식 생체신호 측정부의 신뢰도를 측정하고, 상기 신뢰도를 상기 학습 결과에 반영하고, 상기 비접촉식 생체신호 측정부로부터 행동 추천 대상인 제1 사용자의 생체신호 측정 데이터를 전달받고, 상기 제1 사용자의 생체신호 측정 데이터를 상기 감정상태별 생체신호 모델에 적용하여 행동 추천 대상인 제1 사용자의 제1 감정상태를 결정한 후 상기 행동추천 정보 저장부로부터 대응된 행동을 검출하여 상기 제1 사용자에게 추천하며, 상기 접촉식 생체신호 측정부에 의한 측정데이터를 상기 감정상태별 생체신호 모델에 적용하여 상기 제1 사용자의 제2 감정상태를 결정하고, 상기 제1 감정상태와 상기 제2 감정상태의 유사도를 분석하여 상기 비접촉식 생체신호 측정부에 의한 측정 데이터를 이용한 감정상태 결정 결과에 대한 신뢰도를 측정하는 제어부를 포함하되,
상기 제어부는
상기 추천된 행동을 인지한 상기 제1 사용자의 행동패턴을 분석하여 상기 추천된 행동의 실행 여부를 결정하고, 상기 추천된 행동의 실행여부에 따른 감정변화를 측정하여 상기 감정변화를 감정상태별 행동추천 정보에 반영하는 것을 특징으로 하는 비접촉식 생체센서 기반의 행동 추천 시스템. - 삭제
- 삭제
- 삭제
- 삭제
- 제1항에 있어서, 상기 행동추천 정보 저장부는
상기 제1 사용자의 감정상태에 따라 특정 기기의 동작 상태를 제어하기 위한 제1 사용자의 행동 정보를 저장하고,
상기 제어부는
상기 행동추천 정보 저장부에 저장된 내용에 의거하여 상기 제1 사용자의 감정상태에 따라 특정 기기의 동작 상태를 제어하기 위한 제1 사용자의 행동을 추천하고, 대응된 기기의 동작상태 변화를 감지하여 상기 제1 사용자의 행동패턴을 분석하는 것을 특징으로 하는 비접촉식 생체센서 기반의 행동 추천 시스템. - 제6항에 있어서, 상기 행동추천 정보 저장부는
상기 제1 사용자의 감정상태에 따라 특정 기기의 동작 상태를 자동으로 제어하기 위한 기기 동작제어 정보를 더 포함하고,
상기 제어부는
상기 행동추천 정보 저장부에 저장된 내용에 의거하여 상기 제1 사용자의 감정상태에 따라 특정 기기의 동작상태를 자동으로 제어하는 것을 특징으로 하는 비접촉식 생체센서 기반의 행동 추천 시스템. - 제1항에 있어서, 상기 제어부는
상기 행동추천 이전의 상기 제1 사용자 감정상태인 제1 감정상태와, 상기 행동추천 이후의 상기 제1 사용자 감정상태인 제3 감정상태를 비교하여 상기 제1 사용자의 감정변화를 측정하는 것을 특징으로 하는 비접촉식 생체센서 기반의 행동 추천 시스템. - 제8항에 있어서, 상기 제어부는
상기 제1 감정상태 및 상기 제3 감정상태를 2차원 감성 분류 모델인 정서(Valence)-각성(Arousal) 모델에 적용하여 감정변화의 방향을 인지하는 것을 특징으로 하는 비접촉식 생체센서 기반의 행동 추천 시스템. - 적어도 하나의 감정상태별로 표출되는 적어도 하나의 생체신호에 의거하여 학습부에서 감정상태별 생체신호 모델을 생성하는 생체신호 모델 생성단계;
비접촉식 생체신호 측정부를 이용하여 행동 추천 대상인 제1 사용자의 생체신호를 측정하고, 상기 비접촉식 생체신호 측정부를 이용하여 측정된 비접촉식 측정 데이터를 제어부에서 상기 감정상태별 생체신호 모델에 적용하여 상기 제1 사용자의 제1 감정상태를 결정하고, 접촉식 생체신호 측정부를 이용하여 상기 제1 사용자의 생체신호를 측정하고, 상기 접촉식 생체신호 측정부를 이용하여 측정된 생체신호인 접촉식 측정 데이터를 상기 감정상태별 생체신호 모델에 적용하여 상기 제1 사용자의 제2 감정상태를 결정하며, 상기 제1 감정상태와 상기 제2 감정상태의 유사도를 분석하여 상기 비접촉식 측정 데이터를 이용한 감정상태 결정 결과에 대한 신뢰도를 측정하는 제1 감정상태 결정단계;
상기 제어부에서 미리 설정 등록된 감정상태별 행동추천 정보에 의거하여 상기 제1 사용자의 제1 감정상태에 대응된 행동을 결정한 후, 상기 행동을 상기 제1 사용자에게 추천하고, 상기 제1 사용자의 제1 감정상태에 따라 특정 기기의 동작 상태를 제어하기 위한 제1 사용자의 행동을 추천하는 행동추천단계;
상기 제어부에서 상기 추천된 행동을 인지한 상기 제1 사용자의 행동패턴을 분석하고, 상기 추천 정보에 의거하여 대응된 기기의 동작 상태 변화를 감지하여 상기 제1 사용자의 행동패턴을 분석하는 행동패턴 분석단계;
상기 제어부에서 상기 추천된 행동의 실행 여부에 따른 상기 제1 사용자의 감정변화를 측정하는 감정변화 측정단계; 및
상기 제어부에서 상기 제1 사용자의 추천행동 실행 여부 및 감정변화를 상기 감정상태별 행동추천 정보에 반영하는 감정변화 반영단계를 포함하며,
상기 생체신호 모델 생성단계는
상기 학습부에서 상기 감정상태별로 사전에 주어진 적어도 하나의 생체신호 표출범위를 이용하여 감정상태별로 대응된 생체신호의 특징을 추출하는 특징추출단계와;
상기 학습부에서 상기 감정상태별 생체신호의 특징을 학습하여 감정상태별 생체신호 모델을 생성하는 제1 학습단계와;
상기 학습부에서 상기 접촉식 생체신호 측정부 및 비접촉식 생체신호 측정부를 이용하여 표본 사용자들 각각의 생체신호를 측정하고, 상기 접촉식 생체신호 측정부에 의한 측정데이터와 상기 비접촉식 생체신호 측정부에 의한 측정데이터를 상호 비교하여 상기 비접촉식 생체신호 측정부의 신뢰도를 측정하는 생체신호 측정단계; 및
상기 학습부에서 상기 감정상태별 생체신호 측정 결과를 학습하여 감정상태별 생체신호 모델을 생성하는 제2 학습단계를 포함하는 것을 특징으로 하는 비접촉식 생체센서 기반의 행동 추천 방법. - 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 제10항에 있어서, 상기 비접촉식 생체센서 기반의 행동 추천 방법은
상기 제어부에서 미리 설정된 감정상태별 기기 동작제어 정보에 의거하여 상기 제1 사용자의 제1 감정상태에 대응하여 기기의 동작을 자동 제어하는 기기제어단계를 더 포함하고,
상기 감정변화 측정단계는
상기 제어부에서 상기 기기의 자동 제어에 따른 상기 제1 사용자의 감정변화를 더 측정하는 것을 특징으로 하는 비접촉식 생체센서 기반의 행동 추천 방법. - 제10항에 있어서, 상기 감정변화 측정단계는
상기 제어부에서 상기 비접촉식 생체신호 측정부를 이용하여 상기 행동 추천 이후에 변화된 상기 제1 사용자의 생체신호를 측정하고, 상기 접촉식 생체신호 측정부를 이용하여 측정된, 변화된 비접촉식 측정 데이터를 상기 감정상태별 생체신호 모델에 적용하여 상기 제1 사용자의 제3 감정상태를 결정하는 제3 감정상태 결정단계; 및
상기 제어부에서 상기 제1 사용자의 제1 감정상태와, 상기 제1 사용자의 제3 감정상태를 비교하여 그 감정변화를 측정하는 비교단계를 포함하는 것을 특징으로 하는 비접촉식 생체센서 기반의 행동 추천 방법. - 제17항에 있어서, 상기 비교단계는
상기 제어부에서 상기 제1 감정상태 및 상기 제3 감정상태를 2차원 감성 분류 모델인 정서(Valence)-각성(Arousal) 모델에 적용하여 감정변화의 방향을 인지하는 것을 특징으로 하는 비접촉식 생체센서 기반의 행동 추천 방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200100122A KR102517366B1 (ko) | 2020-08-10 | 2020-08-10 | 비접촉식 생체센서 기반의 행동 추천 시스템 및 그 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200100122A KR102517366B1 (ko) | 2020-08-10 | 2020-08-10 | 비접촉식 생체센서 기반의 행동 추천 시스템 및 그 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20220019558A KR20220019558A (ko) | 2022-02-17 |
| KR102517366B1 true KR102517366B1 (ko) | 2023-04-04 |
Family
ID=80493371
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200100122A KR102517366B1 (ko) | 2020-08-10 | 2020-08-10 | 비접촉식 생체센서 기반의 행동 추천 시스템 및 그 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102517366B1 (ko) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102563052B1 (ko) * | 2022-03-02 | 2023-08-03 | 주식회사 아몬드 | 반려동물 건강 관리 서비스 시스템 및 그 방법 |
| KR102620506B1 (ko) * | 2022-12-26 | 2024-01-03 | 김미양 | 생체 정보를 이용한 심리 분석 및 빅데이터 구축 방법, 장치 및 시스템 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013182493A (ja) * | 2012-03-02 | 2013-09-12 | Nec Corp | メンタルケア支援システム、装置、方法およびプログラム |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101649445B1 (ko) | 2015-03-17 | 2016-08-18 | 포항공과대학교 산학협력단 | 비접촉식 심전도 측정 시스템 및 이를 이용한 심전도 측정 방법 |
| KR20170027589A (ko) * | 2015-09-02 | 2017-03-10 | 삼성전자주식회사 | 기능 제어 방법 및 그 방법을 처리하는 전자 장치 |
| KR20170123133A (ko) * | 2016-04-28 | 2017-11-07 | 클라트 주식회사 | 생체정보를 이용한 감성 인식 시스템 및 방법 |
-
2020
- 2020-08-10 KR KR1020200100122A patent/KR102517366B1/ko active IP Right Grant
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013182493A (ja) * | 2012-03-02 | 2013-09-12 | Nec Corp | メンタルケア支援システム、装置、方法およびプログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20220019558A (ko) | 2022-02-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Canento et al. | Multimodal biosignal sensor data handling for emotion recognition | |
| KR102517366B1 (ko) | 비접촉식 생체센서 기반의 행동 추천 시스템 및 그 방법 | |
| Paiva et al. | Beat-ID: Towards a computationally low-cost single heartbeat biometric identity check system based on electrocardiogram wave morphology | |
| JP2009521246A (ja) | 精神状態の検出およびそれを用いる対話 | |
| KR20030061157A (ko) | 생리신호획득 및 해석을 이용한 동물의 상태 파악 방법 및장치 | |
| KR102277811B1 (ko) | 생체신호를 이용한 딥러닝 기반 실시간 감정인식 시스템 및 이를 이용한 방법 | |
| US11295858B2 (en) | Health data collection device, health evaluation method using the same, and health evaluation system including the health data collection device | |
| JP7045405B2 (ja) | センサの動作ステータスを検出するための方法および状態機械システム | |
| KR20140029332A (ko) | 생체신호를 이용한 보안 서비스 제공 방법 및 장치 | |
| CN105792887B (zh) | 通过ecg对患者年龄的自动检测 | |
| CN115329818A (zh) | 基于vr的多模态融合注意力评估方法、系统及存储介质 | |
| Temko et al. | An SVM-based system and its performance for detection of seizures in neonates | |
| CN117457229A (zh) | 基于人工智能的麻醉深度监测系统及方法 | |
| van den Broek et al. | Unobtrusive sensing of emotions (USE) | |
| Fiacconi et al. | A role for visceral feedback and interoception in feelings-of-knowing | |
| KR102534822B1 (ko) | 건강 데이터 수집 장치, 이를 이용한 건강 평가 방법, 및 건강 데이터 수집 장치를 포함하는 건강 평가 시스템 | |
| EP4332849A1 (en) | A method performed by an information processing device, a program product, and a system for acquiring artificial intelligence from processing context related operational, human bio-signal and human conduct data | |
| EP3407228B1 (en) | Wearable sensors for inputting a command | |
| KR102373496B1 (ko) | 스마트밴드 생체정보 기반 우울도 예측 모델 생성 시스템 및 방법 | |
| Vadivu et al. | An Novel Versatile Inspiring Wavelet Transform and Resilient Direct Neural Network Classification Techniques for Monitoring Brain Activity System Based on EEG Signal | |
| Kang | Emotion Recognition using Short-Term Multi-Physiological Signals | |
| Hernandez et al. | A tolerant algorithm for cardiac pulses characterization in ballistocardiography signals in a non-invasive system | |
| Heskebeck | On Calibration Algorithms for Real-Time Brain-Computer Interfaces | |
| Therior | The Measure of Affective Decision Making: Modulatory Circuitry as Interface between Emotion and Decision | |
| Nasrat | Emotion Recognition from Long-Term Physiological Signals using Wearables |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |