KR20190136706A - 개인 관심상황 발생 예측/인지 장치 및 방법 - Google Patents
개인 관심상황 발생 예측/인지 장치 및 방법 Download PDFInfo
- Publication number
- KR20190136706A KR20190136706A KR1020180062753A KR20180062753A KR20190136706A KR 20190136706 A KR20190136706 A KR 20190136706A KR 1020180062753 A KR1020180062753 A KR 1020180062753A KR 20180062753 A KR20180062753 A KR 20180062753A KR 20190136706 A KR20190136706 A KR 20190136706A
- Authority
- KR
- South Korea
- Prior art keywords
- interest
- situation
- occurrence
- physiological response
- user
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 230000008451 emotion Effects 0.000 claims abstract description 35
- 230000002996 emotional effect Effects 0.000 claims abstract description 35
- 230000011514 reflex Effects 0.000 claims abstract description 15
- 230000008569 process Effects 0.000 claims abstract description 9
- 230000008859 change Effects 0.000 claims abstract description 7
- 230000006461 physiological response Effects 0.000 claims description 123
- 230000004044 response Effects 0.000 claims description 77
- 230000006399 behavior Effects 0.000 claims description 38
- 239000013598 vector Substances 0.000 claims description 29
- 230000019771 cognition Effects 0.000 claims description 20
- 238000000605 extraction Methods 0.000 claims description 20
- 230000001149 cognitive effect Effects 0.000 claims description 11
- 230000008909 emotion recognition Effects 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 9
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 claims description 8
- 239000000284 extract Substances 0.000 claims description 5
- 230000009471 action Effects 0.000 abstract description 6
- 238000010586 diagram Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 6
- 230000036760 body temperature Effects 0.000 description 4
- 210000005079 cognition system Anatomy 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000029058 respiratory gaseous exchange Effects 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000036387 respiratory rate Effects 0.000 description 2
- 230000036558 skin tension Effects 0.000 description 2
- 206010020772 Hypertension Diseases 0.000 description 1
- 206010049816 Muscle tightness Diseases 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 230000000747 cardiac effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005281 excited state Effects 0.000 description 1
- 230000012447 hatching Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000002250 progressing effect Effects 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 230000000241 respiratory effect Effects 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 231100000430 skin reaction Toxicity 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L17/00—Speaker identification or verification techniques
- G10L17/26—Recognition of special voice characteristics, e.g. for use in lie detectors; Recognition of animal voices
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves
- A61B5/053—Measuring electrical impedance or conductance of a portion of the body
- A61B5/0531—Measuring skin impedance
- A61B5/0533—Measuring galvanic skin response
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/0205—Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/01—Indexing scheme relating to G06F3/01
- G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
- G10L2015/226—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics
- G10L2015/228—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics of application context
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
- G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W88/00—Devices specially adapted for wireless communication networks, e.g. terminals, base stations or access point devices
- H04W88/18—Service support devices; Network management devices
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Dermatology (AREA)
- Biomedical Technology (AREA)
- Human Computer Interaction (AREA)
- Psychiatry (AREA)
- Medical Informatics (AREA)
- Heart & Thoracic Surgery (AREA)
- Theoretical Computer Science (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Multimedia (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Pathology (AREA)
- Biophysics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Engineering & Computer Science (AREA)
- Child & Adolescent Psychology (AREA)
- Hospice & Palliative Care (AREA)
- Acoustics & Sound (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Psychology (AREA)
- Social Psychology (AREA)
- Neurology (AREA)
- Neurosurgery (AREA)
- Educational Technology (AREA)
- Developmental Disabilities (AREA)
- Signal Processing (AREA)
- Oral & Maxillofacial Surgery (AREA)
- User Interface Of Digital Computer (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
본 발명은 사용자의 생체신호(생리반응) 변화에 주의가 필요하거나 감정 조절이 필요한 상황을 예측 또는 인지하기 위하여, 사용자 자신의 생리반응의 범위, 감정 상태, 그리고 시간·장소·행위 등 상황정보를 지정하여 관심상황으로 등록하고, 등록된 관심상황의 발생이 예측 또는 인지될 때에 사용자에게 다양한 기기 또는 서비스를 통해 UI/UX를 제공하는 기술이다. 본 발명을 통하여 사용자는 주의를 기울이고자 하는 상황에 대하여 자신의 생리반응 범위나 감정 상태를 지정하고, 시간, 장소, 행위, 기온 등 상황정보의 요소 속성을 선택적으로 지정하여 관심상황을 등록한다. 또한, 상기 관심상황 발생이 예측되거나 인지될 때에 제공받고자 하는 피드백 및 인터페이스 하려는 외부 기기/서비스를 등록한다. 등록된 관심상황 내에 지정된 상황정보의 속성에 따라 사용자 경험데이터가 수집되고 관리되는 시점이 자동으로 결정되어 사용자 경험데이터가 유용한 정보로 가공되어 관리된다.
Description
본 발명은 사용자가 자신의 생리반응, 감정상태, 그리고 상황정보(시간·장소·행위 등)의 속성을 지정하여 주의가 필요하거나 감정 조절이 필요하다고 생각하는 관심상황을 등록하면, 등록된 관심상황의 발생이 예측 또는 인지될 때에 사용자에게 다양한 기기 또는 서비스를 통해 피드백 하는 기술에 관한 것이다.
개인의 일상 경험데이터를 저장하고 분석하여 사용자에게 유용한 서비스를 제공하기 위한 라이프로깅(life-logging) 관련 연구개발이 꾸준히 진행되고 있다. 라이프로깅 기반 서비스는, 사용자에게 단순한 행위 모니터링이나 알람 기능을 제공하는 것을 넘어, 최근에는 사용자의 경험 데이터를 기반으로 사용자의 신체 및 정서적인 삶의 질을 능동적으로 향상시킬 수 있는 기능이 요구되고 있다. 즉, 사용자의 감정 조절이 필요한 상황이나 사용자 생리반응(가령, 생체신호)의 변화에 주의가 필요한 상황에서, 사용자가 처해 있는 시공간에 적합한 방식으로 적절한 UI/UX를 제공할 수 있는 방법이 필요하다. 또한, 경험데이터 처리의 적절한 시점을 판단하여 지속적으로 발생하는 경험데이터로부터 개인의 특성을 파악할 수 있는 유용한 정보를 추출하고 관리하는 방법이 필요하다.
사람의 감정은 그의 음성 및/또는 생리반응과 밀접한 관계가 있다. 일 예로, 화가 나는 상황과 같은 부정적인 정서 상태의 경우에는, 평상시의 상태에 비해 음성이 커지거나 톤이 높아지고, 심박수가 올라가고 호흡이 빨라지거나 체온이 상승하고 근육 긴장감이 상승한다. 또한, 우울감과 같은 부정적 정서 상태일 경우에는 일반적으로, 사용자 음성 특징에서 발화 속도는 늦어지고, 휴지 시간은 길어지고 주파수의 변화(pitch variation)가 줄어들고 세기(amplitude)가 낮아지는 특성을 갖는다.
또한, 음성 및/또는 생리반응은 사용자의 앉기, 걷기, 서기, 뛰기, 수면, 사용자의 특정 발화와 같은 사용자의 특정 행위와 주변의 기온과도 밀접한 연관관계를 갖는다. 일 예로, 사용자가 앉거나 서 있는 상황 등의 정적 상태와 비교하여, 걷거나 뛰는 상황의 동적 상태에서 사용자의 심박수와 호흡수가 빨라지고 음성 특징에도 변화가 생긴다. 일 예로, 사용자의 맥박은 감정적으로 흥분한 상태에서 평상시보다 높게 관측될 수 있지만, 격렬한 운동이나 높은 외부 기온과 같은 상황에서도 높아질 수 있다. 또한 기온과 생리반응의 연관관계의 일례로, 고온에서는 사람의 피부혈관의 확대 현상이 발생하여 피부 온도가 높아지게 되고 이로 인해 체열을 방출하려는 생체반응이 나타난다. 즉, 심장이 피부 표면의 순환 혈액량을 증가시켜서 맥박이 빨라지고 심박출량이 증가되어 심장 박동이 빨라지는 현상이 나타난다.
따라서, 사용자가 등록한 관심상황의 정보 요소 중 감정 상태를 정확하게 인식하기 위해서는 감정과 음성 및/또는 생리반응의 연관관계뿐만 아니라 사용자 행위 및 기온과 음성 및/또는 생리반응과의 연관관계도 고려되어야 한다. 또한, 이러한 특징은 개인별로 차별성이 크게 때문에 개인의 경험정보를 기반으로 추출 및 관리되어야 한다.
본 발명의 목적은 사용자의 실생활 환경에서 사용자의 경험데이터를 기반으로 사용자가 등록한 신체적 또는 감정적 주의가 필요한 상황을 학습기반으로 예측 또는 인지하여, 사용자가 원하는 방식의 피드백을 통해 적절한 UI/UX를 제공할 수 있도록 하는 것이다.
상기 과제의 해결을 위해 본 발명은 사용자의 생체신호(생리반응) 변화에 주의가 필요하거나 감정 조절이 필요한 상황을 예측 또는 인지하기 위하여, 사용자 자신의 생리반응의 범위, 감정 상태, 그리고 시간·장소·행위 등 상황정보를 지정하여 관심상황으로 등록하고, 등록된 관심상황의 발생이 예측 또는 인지될 때에 사용자에게 다양한 기기 또는 서비스를 통해 UI/UX(User Interface/User experience)를 제공하는 기술을 제안한다.
본 발명의 개인 관심상황 발생 예측/인지 장치 및 방법을 통하여 사용자는 주의를 기울이고자 하는 상황에 대하여 자신의 생리반응 범위나 감정 상태를 지정하고, 시간, 장소, 행위, 기온 등 상황정보의 요소 속성을 선택적으로 지정하여 관심상황을 등록한다. 또한, 상기 관심상황 발생이 예측(predict)되거나 인지(recognize)될 때에 제공받고자 하는 피드백 및 인터페이스 하려는 외부 기기/서비스를 등록한다. 등록된 관심상황 내에 지정된 상황정보의 속성과 현재의 상황정보와의 일치 여부에 따라 사용자 경험데이터가 수집되고 관리되는 시점이 자동으로 결정되어 사용자 경험데이터가 유용한 정보로 가공되어 관리된다. 또한, 본 발명의 개인 감정-생리반응 모델은 사용자의 생리반응 범위 및 감정 상태를 인식함에 있어서 사용자의 행위 및 기온의 영향에 강인하도록 구성되어, 등록된 관심상황의 발생을 예측 및 인지할 수 있는 개인 감정-생리반응 모델 생성 구성 및 관리 기능을 포함한다.
또한, 수집된 음성 및 생리반응(=생리신호)의 경험데이터 특징정보를 기반으로 사용자의 생리반응 범위 및 감정이 자동으로 인식되어 관심상황의 발생 확률을 계산하여, 계산된 발생 확률에 따라 관심상황 발생 예측 또는 인지에 대한 이벤트를 생성하여 인터페이스 하는 개인 관심상황 발생 예측/인지 방식을 포함한다.
본 발명의 한 측면에 따른 개인 관심상황 발생 예측/인지 장치는, 사용자가 생리반응, 감정, 그리고 상황정보를 지정하여 본인의 생리반응의 변화 또는 감정 상태에 관한 관심상황을 등록하는 관심상황 정의부를 포함하는 사용자 인터페이스 기기와;
사용자가 등록한 관심상황 정보를 감정-생리반응 모델에 반영하고, 사용자의 음성/생리반응 특징의 사용자 행위 및 기온에 따른 참조 통계치와 사용자의 음성/생리반응 특징을 통해 감정-생리반응 모델을 학습시키고 이 모델을 관리하는 감정-생리반응 모델 관리부와, 상기 사용자 인터페이스 기기의 관심상황 정의부에 등록된 관심상황의 발생을 예측 또는 인지하여 관심상황 발생예측 이벤트 또는 관심상황 발생인지 이벤트를 생성하는 관심상황 이벤트 생성부를 포함하는 감정-생리반응 모델 관리모듈을 포함한다. 사용자 행위 및 기온에 따른 음성 특징에 대한 참조치의 실시예로서 피치(pitch)와 같은 주파수 도메인의 특징, 속도(tempo)와 에너지 크기(amplitude) 변화와 같은 시간 도메인에서 추출된 음성/생리반응 특징에 대한 최소, 최대, 평균, 분산 등의 정보가 포함될 수 있다.
사용자는 "생리반응(biological information)"의 변화, "감정(emotion)" 상태, 및 시간·장소·사용자 행위·기온 등 "상황정보(circumstance)"의 속성을 지정하여 본인이 주의하고자 하는 또는 컨트롤하고자 하는 특정 관심상황(concerned context: ck)을 등록하고 이를 수정, 관리할 수 있다. 예컨대, 사용자는 자신이 등록하는 관심상황을 '사람이 많은 장소에서 심박수가 올라가는 상황', '대화 시 화가 나는 상황' 등과 같은 관심상황 레이블(label)(사용자가 설정하는 설명문 형태)로 지정할 수 있다.
예를 들어, 표 1(관심상황의 분류, 정보요소, 및 사용자 지정 속성의 예시)에서 보는 것과 같이, 관심상황(ck) 중의 "상황" 정보에 속하는 정보요소(element)인 시간 요소의 속성으로, 세계 표준시각에 근거한 절대시간의 범위 또는 '아침', '점심', '저녁'같은 의미적(semantic) 속성을 지정할 수 있다. 상황정보 중의 장소 요소의 속성으로는 절대주소를 지정할 수도 있고 '집', '거리', '공공장소'같은 의미적 속성을 지정할 수도 있다. 사용자 행위 요소의 속성으로는 '앉기', '눕기', '걷기', '뛰기' 등의 일반적인 행위나 '수면', '대화', 특정 단어의 '발화'와 같은 특정 상황의 행위를 속성으로 지정할 수 있다.
"생리반응" 정보에 속하는 각 정보요소에는 심박수(HR; Heart Rate), 심박 정보를 통해 계산되는 심박변이도(심박변화)(HRV: Heart Rate Variation), 피부 긴장도(GSR: Galvanic Skin Response), 호흡량(respiration volume), 체온 등이 있는데, 이들 정보요소에 대해서 '평상', '이상 저'(lower), '이상 상'(higher), '규칙', '불규칙' 등의 속성을 지정할 수 있다.
또한 "감정" 정보에 속하는 정보요소에는 오디오(음성) 특징과 생리반응 특징이 포함될 수 있는데, 각각에 대해 '평상'(neutral), '긍정', '부정'의 속성을 지정할 수 있다. 나아가, '부정'의 세부 속성으로 슬픔, 분노 등의 감정 분류에 해당하는 속성을 지정할 수 있다.
한편, 관심상황의 등록과 개인 감정-생리반응 모델의 구성을 위해 사용자가 등록한 관심상황(ck)의 집합(C), 상황정보의 각 구성요소(sn)의 집합(S), 생리반응(=생체신호)(bm)의 집합(B), 및 인식되는 감정 레이블(ej)의 집합(E)은 표 2와 같이 정의될 수 있다.
사용자가 관심상황 등록시 각 정보요소에 대한 세부 속성 지정의 방식에는 제한이 없다. 일 예로서, 사용자는 장소나 특정 생리반응 범위의 속성을 지정하지 않고, 관심상황의 시간 요소에 '오전'이라는 속성, 사용자 행위 요소에 '대화'라는 속성, 감정 요소에 '부정적'이라는 속성을 지정하여 "회의시에 일어나는 부정적 감정"과 같은 관심상황 레이블을 정해서 관심상황을 등록할 수 있다.
본 발명의 한 실시예에서, 상기 사용자 인터페이스 기기는,
사용자 인터페이스 기기 자체로부터 또는 사용자 착용형 정보수집 장치로부터 수신한 상황정보로부터 현재 상황정보를 추출하고, 이 추출된 현재 상황정보와 일치하는 상황정보가 지정된 관심상황이 등록되어 있는지 여부를 인식하는 상황정보 추출 및 인식부,
상기 상황정보 추출 및 인식부를 통해 현재 상황정보가 등록 관심상황의 상황정보와 일치한다고 인식될 경우, 현재의 사용자 음성/생리반응으로부터 음성/생리반응 특징을 추출하여 상기 상황정보와 함께 상기 감정-생리반응 모델 관리모듈에 전달하는 음성/생리반응 특징 추출부를 추가로 포함할 수 있다.
본 발명의 한 실시예에서, 상기 사용자 인터페이스 기기는
관심상황의 발생 예측 또는 인지 이벤트 생성시에 제공받을 피드백 유형을 등록하는 피드백 등록부,
상기 감정-생리반응 모델 관리모듈로부터 관심상황 발생 예측 또는 인지 이벤트를 수신시에 상기 등록된 피드백을 실행하는 피드백 수행부를 추가로 포함할 수 있다.
본 발명의 한 실시예에서, 상기 사용자 인터페이스 기기는
관심상황 발생의 예측 또는 인지 이벤트 생성시 제공받는 피드백을 인터페이스 하는 외부 기기 및 서비스를 등록하는 외부 기기/서비스 등록부를 추가로 포함할 수 있다.
본 발명의 한 실시예에서, 상기 감정-생리반응 모델 관리모듈은
상기 사용자 인터페이스 기기로부터 수신한 음성/생리반응 특징으로부터 사용자의 감정을 인식하는 데 활용하기 위한 특징벡터를 추출하는 감정 인식부,
감정-생리반응 모델과 상기 추출된 음성/생리반응 특징벡터를 활용하여 관심상황 발생의 확률을 계산하는 관심상황 발생확률 계산부를 추가로 포함할 수 있다.
본 발명의 한 실시예에서, 상기 감정-생리반응 모델 관리모듈의 관심상황 이벤트 생성부는 관심상황 발생예측 및 관심상황 발생인지 중 하나를 결정하기 위하여 발생예측을 결정하기 위한 임계값과 발생인지를 결정하기 위한 임계값을 사용할 수 있다.
또한, 본 발명의 다른 측면에 따른 개인 관심상황 발생 예측/인지 장치는,
사용자가 생리반응, 감정, 및 상황정보를 지정하여 본인의 생리반응의 변화 또는 감정 상태에 관한 관심상황을 등록하는 관심상황 정의부,
사용자가 등록한 관심상황 정보를 감정-생리반응 모델에 반영하고, 사용자의 행위 및 기온에 따른 음성/생리반응의 참조 통계치와, 사용자의 음성/생리반응 특징을 통해 감정-생리반응 모델을 학습시키고 이 모델을 관리하는 감정-생리반응 모델 관리부,
상기 관심상황 정의부에 등록된 관심상황의 발생을 예측 또는 인지하여 관심상황 발생예측 이벤트 또는 관심상황 발생인지 이벤트를 생성하는 관심상황 이벤트 생성부를 포함한다.
또한, 본 발명의 다른 측면에 따른 개인 관심상황 발생 예측/인지 방법은
사용자가 생리반응, 감정, 그리고 상황정보를 지정하여 본인의 생리반응의 변화 또는 감정 상태에 관한 관심상황을 등록하는 절차,
사용자가 등록한 관심상황 정보를 감정-생리반응 모델에 반영하고, 사용자의 생리반응 특징의 사용자 행위 상황 및 기온에 따른 참조 통계치와, 사용자의 음성 및 생리반응 특징 중 적어도 하나를 통해 감정-생리반응 모델을 학습시키고 이 모델을 관리하는 절차,
상기 등록된 관심상황의 발생을 예측 또는 인지하여 관심상황 발생예측 이벤트 또는 관심상황 발생인지 이벤트를 생성하는 절차를 포함한다.
이상에서 소개한 본 발명 사상의 구성과 효과는 이하에서 도면과 함께 설명하는 발명의 상세한 설명에 의해 보다 더 명확해질 것이다.
본 발명을 통해, 등록된 관심상황의 정보 요소들의 속성에 따라 사용자 경험데이터가 실제로 수집되고 가공되는 시점이 자동으로 결정된다. 즉, 등록된 관심상황의 상황정보가 일치되는 상황에서 사용자의 개입없이 사용자의 음성/생리반응 특징 추출이 시작되고, 관심상황 발생이 인지될 경우에 추출된 음성/생리반응 특징을 포함하는 특징 벡터가 감정-생리반응 모델에 추가된다.
또한 해당 관심상황의 발생이 예측되거나 인지될 때에 제공받고자 하는 피드백 및 해당 이벤트와 인터페이스 하고자 하는 외부 기기/서비스를 사용자가 원하는대로 등록할 수 있다.
결론적으로, 사용자의 특정 행위 및 기온의 영향에 강인한 감정 인식을 수행하고, 등록된 관심상황 발생발생 예측 또는 인지에 대한 이벤트가 생성되어, 사용자는 다양한 기기 및 서비스로부터 적절한 UI/UX를 제공받을 수 있다.
도 1: 개인 관심상황 발생 예측/인지 시스템의 개념도
도 2: 개인 관심상황 발생 예측/인지 시스템의 서비스 개념도
도 3: 개인 관심상황 발생 예측/인지 시스템의 기능 구성도
도 4: 음성 및 생리반응 특징벡터를 학습시키기 위하여 모델에 실제로 입력하는 방식의 예
도 5: 관심상황 등록 및 수정을 위한 사용자 인터페이스 화면
도 6: 관심상황 발생 예측/인지 시스템의 동작 순서도
도 7: 감정-생리반응 모델의 구성도
도 2: 개인 관심상황 발생 예측/인지 시스템의 서비스 개념도
도 3: 개인 관심상황 발생 예측/인지 시스템의 기능 구성도
도 4: 음성 및 생리반응 특징벡터를 학습시키기 위하여 모델에 실제로 입력하는 방식의 예
도 5: 관심상황 등록 및 수정을 위한 사용자 인터페이스 화면
도 6: 관심상황 발생 예측/인지 시스템의 동작 순서도
도 7: 감정-생리반응 모델의 구성도
도 1은 본 발명의 개인 관심상황 발생 예측/인지 장치 및 방법의 구체적인 실시예를 설명하기 위한 개요 구성도이다. 본 실시예는, 사용자(100)가 부착 또는 착용하거나 소지하는 정보수집 장치(110-1, 110-2), 스마트폰 등의 사용자 인터페이스 기기(120), 별도의 독립된 서버(클라우드 포함) 내에 구성될 수 있고 상기 사용자 인터페이스 기기(120) 내에도 설치가능한 감정-생리반응 모델 관리모듈(130)을 포함한다.
사용자(100)는 사용자 인터페이스 기기(120)를 통하여, 앞에서 언급한 것과 같이 관심상황 레이블, 특정 생리반응의 범위, 감정 상태, 그리고 시간·장소·사용자 행위 등 상황정보의 속성을 지정하여 레이블(설명문) 형태로 관심상황을 등록하고 이를 수정 및 관리할 수 있다.
사용자(100)가 등록하는 관심상황 중에서 정보수집 장치(110-1, 110-2)를 통해 수집가능한 정보는 심박, 심박변이도, 피부긴장도, 호흡량, 체온 등의 생리반응 정보와, 사용자 행위 등의 상황정보 등이다(정보수집 장치로 가속도센서 등을 사용해서 사용자의 행위 정보 수집이 가능함). 또한, 정보수집 장치(110-1, 110-2)로서 무선마이크를 사용한다면 사용자의 음성 수집이 가능할 것이다(사실, 음성 수집은 사용자 인터페이스 기기(120)에서 자체적으로 수집가능함). 정보수집 장치(110-1, 110-2)는 하나 또는 복수개가 이용될 수 있으며, 따라서 각 장치(110-1, 110-2)에서 수집되는 사용자(100)의 음성, 생리반응, 상황정보 등도 역시 하나 또는 복수의 신호(가령, 음성 신호, 생체 신호, 움직임 신호 등)로 수집될 수 있다. 본 발명에서 정보수집 장치의 정보취득 위치, 디바이스 수, 피수집 정보의 종류에는 제한이 없다.
사용자 인터페이스 기기(120)는, 정보수집 장치(110-1, 110-2)로부터 받은 데이터로부터 추출한 또는 사용자 인터페이스 기기(120)가 자체적으로 검출한 시간, 장소, 사용자 행위, 기온 등의 상황정보와, 사용자(100)가 등록해놓은 관심상황 중의 상황정보 요소의 속성과의 일치 여부를 판단한다.
또한, 사용자 인터페이스 기기(120)는 정보수집 장치(110-1, 110-2)로부터 받은 데이터로부터 추출한 또는 사용자 인터페이스 기기(120)가 자체적으로 검출한 사용자의 음성 및 생리반응 정보 중 적어도 하나(이하, '음성/생리반응 정보'로 약칭함)부터 '음성 특징(feature)'과 '생리반응 특징(feature)' 중 적어도 하나(이하, '음성/생리반응 특징'으로 약칭함)를 추출하여 상기 추출 또는 검출된 상황정보와 함께 감정-생리반응 모델 관리모듈(130)로 전달한다. 이때, 사용자 인터페이스 기기(120)에서 추출된 사용자의 음성/생리반응 특징은 소정의 윈도우(Winthr) 단위로 샘플링된다(도 4에 관한 설명 참조). 예를 들어, 음성 특징에는 MFCC(Mel-frequency cepstrum coefficients)와 같은 주파수 영역(frequency domain)에서의 특징, 및 시간 영역(time domain)에서의 음성의 크기(amplitude), 속도(speaking rate), 강세(emphasis), 높낮이 변화(pitch variability), 발화 시간(utterance duration), 휴지 시간(pause time) 등의 특징이 포함될 수 있다. 마찬가지로 각 생리반응 특징도 윈도우(Winthr) 단위로 샘플링된다(도 4에 관한 설명 참조). 예를 들어, 생리반응 특징에는 시간구간에서의 최대(maximum), 최소(minimum), 평균(average), 분산(deviation)과 같은 특징들이 포함될 수 있다.
감정-생리반응 모델 관리모듈(130)에서는 사용자 인터페이스 기기(120)에서 전달받은 상황정보 및 음성/생리반응 특징으로부터, 이미 학습되어 있는 감정-생리반응 모델을 이용하여 사용자 생리반응 범위 및 감정 상태를 자동으로 인식하고(사용자의 감정 상태는 사용자 음성, 생리반응, 상황정보에 의해 학습된 감정-생리반응 모델로부터 추론 가능함), 등록된 관심상황의 발생을 인지(관심상황이 발생완료된 것으로 간주함) 또는 예측(발생일로에 있음, 즉, 점차 발생완료 쪽으로 접근하는 상태임)하기 위하여 관심상황 발생 확률을 계산한다. 이에, 등록된 관심상황의 발생이 예측되거나 인지되면, 해당 관심상황의 발생예측 이벤트 또는 발생인지 이벤트(이하, 이들을 '관심상황 발생 이벤트'라는 총괄명칭과 혼용함)가 생성되어 상기 사용자 인터페이스 기기(120) 및/또는 해당 관심상황에 대해 사용자가 등록한 PC, AI 기기, IoT 기기, 기타 전용장치, 소셜미디어 서비스 등의 외부 기기/서비스(140)로 해당 이벤트를 전송하거나, 등록된 서비스 인터페이스를 호출한다. 관심상황 발생 이벤트에는 해당 관심상황의 식별자, 발생 예측 또는 인지 시간, 발생 예측 이벤트/발생 인지 이벤트의 유형 식별자가 포함된다
도 2는 본 발명의 실시예에 따른 개인 관심상황 발생 예측/인지 장치 및 방법의 서비스 개념을 설명한다. 기본적으로, 사용자는 본 발명의 개인 관심상황 발생 예측/인지 장치 및 방법을 통해 관심상황을 등록하고 학습된 감정-생리반응 모델을 이용하여 관심상황의 발생 예측 또는 인지 이벤트가 발생시에 본인의 인터페이스 기기(스마트폰 등) 또는 본인이 등록한 외부 기기/서비스를 통해 관심상황의 발생을 피드백 받는다.
도 2를 참조하여 본 발명의 실시예의 서비스 시나리오를 구체적으로 설명한다. 먼저, 사용자는 '밤' 시간에, '실내' 장소에서, 심박 생리반응 범위가 평상시보다 높고 감정 상태가 '부정적'인 상황을 '심박과 감정에 대한 주의상황'이라는 관심상황 레이블로 등록하고, 발생예측 또는 발생인지 이벤트 생성시에 받을 피드백으로는, 사용자 인터페이스 기기(120)에서의 진동 및 텍스트 표시와 함께 특정 소셜미디어 서비스(외부 기기/서비스(140)에 해당됨)의 정보게시 인터페이스로의 게시를 지정/등록하였다고 가정한다.
감정-생리반응 모델을 관리하는 모듈(도 1의 130)의 특정 구성부(예를 들어, 관심상황 이벤트 생성부(234))에서 관심상황 발생 예측 또는 인지 이벤트가 생성되면, 이 이벤트는 사용자 인터페이스 기기(120)로 전달되어, 사용자는 자신이 등록해 놓은 진동 및 텍스트 형태의 피드백을 사용자 인터페이스 기기(120)를 통하여 (또는 정보수집 장치(110)를 통하여) 제공받아 해당 관심상황의 발생예측 또는 발생사실을 알 수 있게 된다. 또한, 등록된 외부 서비스 인터페이스(예를 들어, 소셜미디어 서비스 정보게시판)가 호출되어 관심상황의 발생을 외부 기기(140)에서 확인할 수도 있다.
이와 같은 방식으로 사용자는 감정-생리반응 모델 관리모듈(130)에서 발생하는 관심상황 이벤트의 유형(발생 예측 또는 인지)에 따라 사용자 인터페이스 기기(120) 및/또는 외부 기기/서비스(140)를 통해 사용자가 처해 있는 시공간에 적합한 피드백의 UI/UX를 제공받을 수 있다.
도 3은 본 발명의 개인 관심상황 발생 예측/인지 장치 및 방법의 한 실시예의 구성도이다. 도 3 및 이하의 도면 및 그 설명에 나타낸 각 구성요소들은 방법 발명 측면에서의 프로세스 처리단계를 의미하기도 하지만, 물건 발명 측면에서의 프로세스 실행부를 의미하기도 함을 밝혀둔다.
정보수집 장치(110)는 사용자의 신체로부터 심박, 심박변이도, 피부 긴장도, 호흡량, 체온 등의 생체신호를 검출하여 생리반응을 수집하기 위한 생리반응 수집부(211)를 포함한다. 다른 실시예에 따르면, 정보수집 장치(110)에는 사용자의 걷기, 뛰기, 눕기, 수면, 특정 발화 등의 행위가 포함되는 상황정보를 수집하는 상황정보 수집부(212)가 추가로 포함된다.
사용자 인터페이스 기기(120)(가령, 스마트폰 등 개인휴대 단말)의 관심상황 정의부(221)를 통하여 사용자는 관심상황의 등록, 수정, 삭제 기능을 수행할 수 있다. 또한, 사용자는 외부 기기/서비스 등록부(222)를 통해 해당 관심상황 발생의 예측 또는 인지 이벤트 생성시에 받게 될 피드백을 인터페이스 하는 외부 기기/서비스(140)를 등록하고 관리할 수 있다. 등록시에는 외부 기기의 주소나, 소셜미디어 등 외부 서비스의 API 주소를 지정할 수 있다. 사용자는 외부 기기/서비스 등록부(222)를 통하여 관심상황 발생 예측 또는 인지시에 자신의 사용자 인터페이스 기기(120)를 통해 그리고/또는 다양한 외부 기기 및/또는 서비스(140)로부터 적절한 UI/UX 서비스를 피드백받을 수 있다.
또한, 사용자 인터페이스 기기(120)는 해당 관심상황의 발생 예측 또는 인지 이벤트 생성시에 제공받고자 하는 텍스트, 사운드, 진동, 빛 등의 피드백 유형을 등록하는 피드백 등록부(223)와, 감정-생리반응 모델 관리모듈(130)로부터 관심상황 발생 예측 또는 인지 이벤트를 수신시에 해당 등록된 피드백을 실행하는(가령, 텍스트 표시, 소리/진동 발생, LED 점등 등) 피드백 수행부(224)를 포함한다.
또, 사용자 인터페이스 기기(120)의 상황정보 추출 및 인식부(225)는 사용자 인터페이스 기기(120) 자체로부터 시간대, 장소, 사용자 행위, 기온 등의 현재 상황정보를 추출하고, 이 추출된 현재 상황정보와 일치하는 상황정보가 지정된 관심상황이 등록되어 있는지 여부를 인식한다. 장소, 시간, 및 행위의 의미적 속성값을 추출하기 위해 사용자 인터페이스 기기(120)는 자체 설치된 타이머, 센서, 또는 기기(120)에서 구동되는 다른 서비스(날씨 앱, 주소변환 앱 등)에 의해 제공되는 정보를 활용할 수 있다. 사용자 착용형 정보수집 장치(110)에 별도의 상황정보 수집부(212)가 포함된 실시예의 경우에는 이 상황정보 수집부(212)로부터 특정의 상황정보를 입력받을 수 있을 것이다.
의미적 속성값을 판단(예를 들어, 사용자가 '시간'을 저녁 시간대, 새벽 시간대 등과 같이 설정한 경우에 이들 설정 정보를 절대 시간의 의미적 속성으로 매핑하는 것)하기 위하여 규칙기반 또는 확률적 추론기반의 기법을 활용할 수 있다.
사용자 인터페이스 기기(120)의 음성/생리반응 특징 추출부(226)는 상기 상황정보 추출 및 인식부(225)를 통해 현재 상황정보가 등록 관심상황의 상황정보와 일치한다고 인식할 경우, (기기(120)에 내장된 마이크로폰을 자동으로 활성화하여 취득 가능한) 현재의 사용자 음성과 (생리반응 수집부(211)로부터 수신한) 현재의 사용자 생리반응으로부터 음성/생리반응 특징을 추출하여 상기 상황정보와 함께 감정-생리반응 모델 인터페이스부(227)를 통해 감정-생리반응 모델 관리모듈(130)로 전달한다.
한편, 감정-생리반응 모델 관리모듈(130)은, 사용자가 등록한 관심상황 정보를 감정-생리반응 모델에 반영하고 사용자 행위와 기온에 따른 사용자의 생리반응특징의 사용자 행위 상황 및 기온에 따른 참조 통계치와 생성된 감정별 음성/생리반응 특징 정보를 감정-생리반응 모델이 학습하도록 관리하는 감정-생리반응 모델 관리부(231)를 포함한다. 또한, 상기 사용자 인터페이스 기기(120)로부터 수신한 음성/생리반응 정보로부터, 사용자의 행위/기온별 생리반응의 참조 통계치를 반영해 사용자의 현재 감정 상태를 인식하는 데 활용하기 위한 특징벡터를 생성하는 감정 인식부(232)를 포함한다. 그리고 관심상황 발생확률 계산부(233)에서는 인식된 생리반응 범위 및 인식된 감정 속성으로부터 그에 상응하는 관심상황의 발생 확률을 계산한다.
상기 감정 인식부(232) 및 관심상황 발생확률 계산부(233)는 이미 학습되어 있는 감정-생리반응 모델과 생성된 음성/생리반응 특징 정보를 활용하여 사용자의 생리반응 범위를 결정하여 감정 상태를 인식하고 관심상황의 발생확률을 계산한다. 이때, 관심상황 발생 확률에는 감정 인식 과정에서 특정 감정 레이블로 인식될 수 있는 확률이 반영될 수 있다.
관심상황 이벤트 생성부(234)에서는 상기 계산된 관심상황 발생확률을 소정의 임계값과의 비교를 통해 '관심상황 발생예측' 혹은 '관심상황 발생인지'를 결정하여 각 해당 이벤트를 생성한다. 결정 방식은 다양할 수 있는데, 한 가지 예로는 '발생예측'을 결정하기 위한 임계값1(thr1)과 '발생인지'를 결정하기 위한 임계값2(thr2)와의 비교를 통해 관심상황의 발생을 예측하거나 발생을 인지할 수 있다. 가령, 관심상황 발생확률이 임계값1보다 크되 임계값2보다 작으면 발생이 예측되고, 임계값2보다 크면 발생이 인지되는 것으로 설계할 수 있다. 다른 예로는, 확률계산 주기(가령, 1초, 5초, 10초, ...)를 고려하여, 임계값1과 임계값2 사이에서 소정의 패턴으로 확률의 상승 추이가 감지될 때에는 발생예측으로 결정하지 않고 발생인지로 결정하도록 설계할 수 있다. 이 밖에 다양한 방식으로 소정의 기준을 수립하여 관심상황의 발생예측 또는 발생인지를 결정할 수 있을 것이다.
한편, 앞에서도 언급한 것과 같이, 감정-생리반응 모델 관리모듈(130)(감정-생리반응 모델 포함)은 인터넷 등의 망으로 연결된 별도의 독립된 서버(클라우드 포함) 내에 구성될 수도 있고, 상기 사용자 인터페이스 기기(120) 내에 설치되어 기기(120) 내에서 구동될 수도 있다.
도 4는 음성/생리반응 특징벡터를 학습시키기 위하여 이들 특징벡터가 감정-생리반응 모델에 어떻게 입력되는지를 설명한다. 개략적으로 살펴보면, '특징 벡터의 추출'은 등록 관심상황에서 상황정보(행위, 시간 등)가 일치할 때에 시작되고, '생성된 특징벡터를 감정-생리반응 모델에 추가'하는 것은 관심상황의 발생이 인지될 때에 실행된다. 구체적으로 설명한다.
사용자가 등록한 관심상황(ck)의 지정된 상황정보 요소의 속성과 사용자 인터페이스 기기(120)에서 추출된 상황정보 요소의 속성이 일치한다고 인식되면, 사용자 경험데이터는 슬라이딩윈도우(sliding window; Winthr) 단위로 상황정보 및 음성/생리반응 특징벡터로 추출되어 감정-생리반응 모델 관리모듈(130)로 전달된다. 이에, 감정-생리반응 모델 관리모듈(130)에서는 기존에 학습되어 있는 감정-생리반응 모델과, 상황정보, 행위 및 기온과의 연관관계를 고려하여 재구성된 음성/생리반응 특징벡터를 기반으로 현재의 생리반응 범위를 판단하고 사용자의 감정 상태를 인식한다. 등록된 관심상황의 발생 확률을 계산하여 해당 관심상황의 발생이 예측 또는 인지된 때에 해당 관심사항 이벤트를 생성하는데, 수집된 음성/생리반응 특징벡터 Vn+2와 Vn+3는 관심상황 발생의 인지시에 감정-생리반응 모델의 학습을 위해 모델에 추가되어 관리된다. 즉, 도 4에서 감정-생리반응 모델에 추가되는 음성/생리반응 특징벡터는 빗금쳐서 표현한 Vn+2와 Vn+3이고, Vn+1은 아직 관심상황 발생이 인지된 것이 아니므로 감정-생리반응 모델에 추가되지 않는다. 이러한 도 4의 설명은 하나의 설계 예시일 뿐, 당업자의 의도에 의해 다른 방안으로 실시가능하다.
다시, 도 3을 참조하면 감정-생리반응 모델 관리모듈(130)의 관심상황 이벤트 생성부(234)는 도 4와 같은 방식으로 발생 예측 또는 인지 이벤트를 생성하고, 해당 이벤트는 사용자 인터페이스 기기(120) 및/또는 해당 관심상황에 대해 사용자가 등록한 외부 기기/서비스(도 1의 140)로 전달된다. 이벤트는 해당 관심상황에 대한 식별자, 발생 예측 또는 인지 시간, 예측 이벤트 또는 인지 이벤트의 유형이 식별되도록 구성된다.
도 5는 사용자 인터페이스 기기(120)에 설치(예컨대 관심상황 정의부(221)에 설치)되어 관심상황을 등록하거나 수정하기 위한 사용자 인터페이스 화면의 예시도이다. 이 관심상황 관리용 사용자 인터페이스는 상기 감정-생리반응 모델 관리모듈(130)과 동기화될 수 있다.
도 5의 인터페이스를 통해 사용자는 등록 및 수정하려는 관심상황 레이블(가령, 사용자 본인의 감정이나 생리반응 등에 관한 관심상황, 예를 들어 '회의시에 화가 난다', '아침에 혈압이 많이 오른다' 등)을 설정할 수 있다(310). 또한, 해당 관심상황의 상황정보 중 시간대와 장소(320), 사용자 행위(330), 각 생리반응(생체신호)의 범위 및 감정(340)에 대한 속성을 지정할 수 있다. 또한, 감정-생리반응 모델을 통해 사용자는 등록 관심상황 발생의 예측시(예측 이벤트 생성시)에 실행되어야 할 피드백1 및 등록 관심상황의 발생인지시(인지 이벤트 생성시)에 실행되어야 할 피드백2를 등록(350)하고, 발생예측 또는 발생인지 이벤트 생성시에 피드백을 받기 위해 인터페이스 하고자 하는 외부 기기/서비스를 등록(360)할 수 있다.
도 6은 본 발명의 실시예에 따른 개인 관심상황 발생 예측/인지 장치 및 방법의 사용자 인터페이스 기기(120)와 감정-생리반응 모델 관리모듈(130) 간의 기능 흐름도이다. 또한 앞에서 언급한 것과 같이 도 6은 방법적 측면에서의 프로세스 흐름뿐만 아니라, 장치적 측면에서의 하드웨어 또는 소프트웨어의 기능실행 블록들을 보여주기도 한다.
사용자는 사용자 인터페이스 기기(120)의 관심상황 UI(예를 들어 도 5의 인터페이스 참조)를 통해 관심상황의 등록/수정, 삭제 기능을 수행할 수 있다(421). 사용자가 관심상황 정보를 등록/수정, 삭제하면 감정-생리반응 모델 관리모듈(130)에서는 감정-생리반응 모델에서 해당 관심상황 정보를 갱신한다(431).
사용자 인터페이스 기기(120)는 시간, 장소, 사용자 행위, 기온 등 현재의 상황정보를 추출(422)하여 지정된 상황정보와 일치하는 관심상황이 등록되어 있는지 여부를 판단한다(423). 앞에서 언급한 것과 같이 상황정보의 추출은 사용자 인터페이스 기기(120) 내의 센서와 각종 앱을 통해서 이루어질 수도 있고, 사용자 착용형 장치(예컨대, 도 3의 상황정보 수집부(212))로부터 취득할 수도 있다.
등록된 관심상황 속에 지정된 상황정보와 추출된 현재 상황정보가 일치되는 것으로 인식(판단)된 경우, 사용자 음성 특징 그리고/또는 생리반응 특징을 추출(424)한다. 앞에서 언급한 것과 같이, 사용자의 음성 특징은 사용자 인터페이스 기기(120)의 마이크로폰을 통해 취득한 음성에서 추출가능하고, 생리반응 특징은 사용자 착용형 장치(예컨대, 도 3의 생리반응 수집부(211))로부터 취득된 생체신호에서 추출가능하다. 상기 상황정보와 함께, 추출된 음성 특징 및/또는 생리반응 특징을 감정-생리반응 모델 관리모듈(130)로 전달한다(425).
감정-생리반응 모델 관리모듈(130)에서는 사용자 인터페이스 기기(120)로부터 수신한 상황정보 및 음성/생리반응 특징(425)과 기존에 기온 및 행위와 관련된 사용자 음성/생리반응 특징이 축적되어 있는 정보의 참조 통계치를 사용하여, 사용자의 각 생리반응의 속성 범위를 결정하고(432), 현재의 사용자 감정상태를 인식하고, 관심상황 발생 확률을 계산한다(433). 이 사용자 감정인식 및 관심상황 발생 확률 계산(433) 단계(또는 실행부)에서는, 감정-생리반응 모델 관리모듈(130)에서 기온 및 행위에 따라 관리되는 각 생리반응의 참조 통계치를 활용한 부가정보를 포함하도록 음성/생리반응 특징벡터를 구성한다. 일 예로, 사용자 인터페이스 기기(120)로부터 수신한 음성/생리반응 특징을, 음성/생리반응 참조 통계치와 비교하여 차이(difference), 최대(max), 및 최소(min) 등의 부가정보가 포함되도록, 특징벡터로 재구성할 수 있다. 재구성된 특징벡터와 이미 학습되어 있는 감정-생리반응 모델의 특징 정보를 활용하여 해당 관심상황에서의 사용자 감정의 인식을 수행하여 관심상황의 감정 정보요소의 속성을 결정한다. 이 감정인식 과정에서 계산되는 특정 감정으로 분류될 확률정보는 상기 관심상황에 대한 발생 확률값에 반영될 수 있다. 이때, 특징벡터 및 기존에 학습된 모델을 통한 감정 인식 및 확률값을 계산하는 구체적인 방법으로는 기계학습, 지식베이스 그래프 모델, 또는 이의 혼합 형태가 사용될 수 있다.
감정-생리반응 모델 관리모듈(130)이 상황정보 및 사용자 음성/생리반응 특징벡터와 기존에 학습된 감정-생리반응 모델에 기반한 생리반응의 범위 및 인식된 감정 상태 정보를 통하여 관심상황(ck)의 발생 확률 
를 계산하는 것은, 아래와 같은 수학식 1을 이용하여 행할 수 있다.
수학식 1의 의미를 간단하게 설명하자면, 1) 특정의 감정 정보요소가 지정된 관심상황이 발생할 확률 
와, 2) 사용자가 지정한 관심상황 중의 상황정보 속성과, 추출된 상황정보 속성의 일치 여부를 반영하는 함수값 
과, 3) 사용자가 지정한 관심상황 중의 생리정보 속성과, 추출된 생리정보 속성의 일치 여부를 반영하는 함수값 
을 모두 고려하여 특정 관심상황의 발생확률 
를 계산한다. 첫 번째 항에서 
은 사용자가 관심상황에 감정 속성을 지정하였는지를 나타내고(가령, 0은 무지정, 1은 지정), 
는 감정 속성의 중요도를 나타내는 가중치이다. 두 번째 항에서 
은 사용자가 관심상황에 상황정보를 지정하였는지를 나타내고(가령, 0은 무지정, 1은 지정), 
은 상황정보의 중요도를 나타내는 가중치이다. 상황정보 속성은 다수 개가 있기 때문에, 모든 상황정보에 관한 변수들을 합산(Σ)한다. 세 번째 항에서 
은 사용자가 관심상황에 생리반응 정보를 지정하였는지를 나타내고(가령, 0은 무지정, 1은 지정), 
은 생리반응의 중요도를 나타내는 가중치이다. 생리반응 정보의 속성도 다수개가 있기 때문에, 모든 생리반응 정보에 관한 변수들을 합산(Σ)한다.
수학식 1에 의해 관심상황(ck)의 발생 확률 
계산을 위해 사용된 변수명을 표 3에 정리해 나타내었다.
다시 도 6으로 돌아가면, 감정-생리반응 모델 관리모듈(130)은 또한, 사용자 인터페이스 기기(120)로부터 관심상황 내의 상황정보가 일치할 때 수신한 음성/생리반응 특징을 이용하여 자신이(감정-생리반응 모델 관리모듈(130)이) 관리하는 기온 및 행위에 따른 음성/생리반응 특징에 대한 참조 통계치를 갱신한다(434).
다음에, 상기 사용자 감정인식 및 관심상황 발생 확률 계산(433) 단계(또는 실행부)에서 계산된 관심상황 발생 확률이 해당 관심상황의 발생이 예측될 정도의 임계값(thr1) 이상이거나, 상기 관심상황이 발생되었다고 인지될 정도의 임계값(thr2) 이상인지 판단한다(435). 그러하다고 판단되면, 관심상황 이벤트(즉, 관심상황 발생예측 이벤트 또는 관심상황 발생인지 이벤트)를 생성하고, 사용자 인터페이스 기기(120)로 전달 및/또는 등록된 외부 기기/서비스(도 1의 140)에 인터페이싱한다(436).
한편, 관심상황 발생 인지 이벤트가 생성되면, 앞서 추출된 음성/생리반응 특징벡터가 해당 관심상황의 상황정보의 행위에 따른 생리반응 범위 및 인식된 감정 레이블에 상응하는 음성/생리반응 특징벡터로서 감정-생리반응 모델에 추가되어 모델의 재학습에 사용되고(437), 재학습 결과는 사용자 인터페이스 기기(120)에 전달되어 사용자가 등록해놓은 다양한 유형의 피드백이 사용자 인터페이스 기기(120)에서 또는 사용자가 착용한 장치(가령, 도 2의 정보수집 장치(110))에서 실행된다(426).
도 7은 본 발명에 사용되는 감정-생리반응 모델의 의미적 구성도이다. 도 7에 나타낸 감정-생리반응 모델은 기계학습 기술로 구현가능한 학습모델의 의미 내지는 기능을 설명하기 위한 의미적 구성으로, 구체적인(tangible) 물리적 구성을 나타내는 것은 아니다. 당업자는 도 7의 의미적 구성을 통하여 CNN, RNN, 딥러닝, 서포트벡터 머신 등 다양한 아키텍쳐의 감정-생리반응 학습모델을 구성할 수 있을 것이다.
이 감정-생리반응 모델은 등록된 다수의 관심상황(510)에 따라 시간대, 장소, 기온, 사용자 행위의 상황정보(520), 생리반응 범위 및 인식된 감정 레이블(540), 음성/생리반응 특징벡터들의 집합(550)과의 연관관계를 갖도록 구성된다. 상기 모델은 상황정보, 음성/생리반응 특징 기반의 정확한 감정 인식을 위하여 사용자 행위 및 기온과의 연관성 정보를 반영하기 위하여 행위/기온에 따른 참조 음성/생리반응 특징의 통계값(530)을 관리한다. 단말(예를 들어, 사용자 인터페이스 기기(120))로부터 수신한 상황정보(행위 등) 및 음성/생리반응 특징(560)은 상기 생리반응 참조 통계치(530)를 활용하여 다시 특징벡터(550)로 구성되고, 기존에 학습되어 있는 본 모델을 기반으로 사용자 감정상태의 인식을 수행한다.
사용자 감정상태의 인식은 음성과 생리반응 정보로부터 감정-생리반응 모델에서 판단하는데, 사용자는 특정 관심상황에서의 감정 요소의 감정 속성을 분노, 기쁨과 같이 지정하면, 감정-생리반응 모델을 통하여 실제 감정 상태가 인식된다. 더불어, 감정-생리반응 모델에서는 해당 사용자의 행동과 기온에 따른 해당 사용자의 평상시의 감정 변화 특징을 레프런스 데이터로 갖고 있다가 실제 데이터, 행동, 기온, 생리반응 정보가 입력시에 이 사용자에 대한 데이터를 참조하여 감정 상태를 참조하여 예측한다. 따라서 사용자 행위 등의 상황정보에 강인한(robust) 감정 상태 인식이 가능하다.
이상에서, 본 발명을 구체적인 실시예로 예로 들어 설명하였다. 그러나 본 발명의 기술적 범위는 이러한 실시예에 의해 제한되는 것이 아니라, 이하의 특허청구범위의 합리적 해석에 의해 정해지는 것이다.
Claims (19)
- 사용자가 생리반응, 감정, 그리고 상황정보를 지정하여 본인의 생리반응의 변화 또는 감정 상태에 관한 관심상황을 등록하는 관심상황 정의부를 포함하는 사용자 인터페이스 기기,
사용자가 등록한 관심상황 정보를 감정-생리반응 모델에 반영하고, 사용자의 음성/생리반응 특징의 사용자 행위 상황 및 기온에 따른 참조 통계치와 사용자의 음성/생리반응 특징을 통해 감정-생리반응 모델을 학습시키고 이 모델을 관리하는 감정-생리반응 모델 관리부와, 상기 사용자 인터페이스 기기의 관심상황 정의부에 등록된 관심상황의 발생을 예측 또는 인지하여 관심상황 발생예측 이벤트 또는 관심상황 발생인지 이벤트를 생성하는 관심상황 이벤트 생성부를 포함하는 감정-생리반응 모델 관리모듈을 포함하는 개인 관심상황 발생 예측/인지 장치. - 제1항에서, 상기 사용자 인터페이스 기기는
사용자 인터페이스 기기 자체로부터 현재 상황정보를 추출하고, 이 추출된 현재 상황정보와 일치하는 상황정보가 지정된 관심상황이 등록되어 있는지 여부를 인식하는 상황정보 추출 및 인식부,
상기 상황정보 추출 및 인식부를 통해 현재 상황정보가 등록 관심상황의 상황정보와 일치한다고 인식될 경우, 현재의 사용자 음성/생리반응으로부터 음성/생리반응 특징을 추출하여 상기 상황정보와 함께 상기 감정-생리반응 모델 관리모듈에 전달하는 음성/생리반응 특징 추출부를 추가로 포함하는 개인 관심상황 발생 예측/인지 장치. - 제1항에서, 상기 사용자 인터페이스 기기는
사용자 착용형 정보수집 장치로부터 수신한 상황정보로부터 현재 상황정보를 추출하고, 이 추출된 현재 상황정보와 일치하는 상황정보가 지정된 관심상황이 등록되어 있는지 여부를 인식하는 상황정보 추출 및 인식부,
상기 상황정보 추출 및 인식부를 통해 현재 상황정보가 등록 관심상황의 상황정보와 일치한다고 인식될 경우, 현재의 사용자 음성/생리반응으로부터 음성/생리반응 특징을 추출하여 상기 상황정보와 함께 상기 감정-생리반응 모델 관리모듈에 전달하는 음성/생리반응 특징 추출부를 추가로 포함하는 개인 관심상황 발생 예측/인지 장치. - 제1항에서, 상기 사용자 인터페이스 기기는
관심상황의 발생 예측 또는 인지 이벤트 생성시에 제공받을 피드백 유형을 등록하는 피드백 등록부,
상기 감정-생리반응 모델 관리모듈로부터 관심상황 발생 예측 또는 인지 이벤트를 수신시에 상기 등록된 피드백을 실행하는 피드백 수행부를 추가로 포함하는 개인 관심상황 발생 예측/인지 장치. - 제4항에서, 상기 사용자 인터페이스 기기는
관심상황 발생의 예측 또는 인지 이벤트 생성시 제공받는 피드백을 인터페이스 하는 외부 기기 및 서비스를 등록하는 외부 기기/서비스 등록부를 추가로 포함하는 개인 관심상황 발생 예측/인지 장치. - 제2항 또는 제3항에서, 상기 감정-생리반응 모델 관리모듈은
상기 사용자 인터페이스 기기로부터 수신한 음성/생리반응 특징으로부터 사용자의 감정을 인식하는 데 활용하기 위한 특징벡터를 추출하는 감정 인식부,
감정-생리반응 모델과 상기 추출된 음성/생리반응 특징벡터를 활용하여 관심상황 발생의 확률을 계산하는 관심상황 발생확률 계산부를 추가로 포함하는 개인 관심상황 발생 예측/인지 장치. - 제1항에서, 상기 감정-생리반응 모델 관리모듈의 관심상황 이벤트 생성부는
관심상황 발생예측 및 관심상황 발생인지 중 하나를 결정하기 위하여 발생예측을 결정하기 위한 임계값과 발생인지를 결정하기 위한 임계값을 사용하는 개인 관심상황 발생 예측/인지 장치. - 사용자가 생리반응, 감정, 및 상황정보를 지정하여 본인의 생리반응의 변화 또는 감정 상태에 관한 관심상황을 등록하는 관심상황 정의부,
사용자가 등록한 관심상황 정보를 감정-생리반응 모델에 반영하고, 사용자의 음성/생리반응 특징의 사용자 행위 상황 및 기온에 따른 참조 통계치와, 사용자의 음성/생리반응 특징을 통해 감정-생리반응 모델을 학습시키고 이 모델을 관리하는 감정-생리반응 모델 관리부,
상기 관심상황 정의부에 등록된 관심상황의 발생을 예측 또는 인지하여 관심상황 발생예측 이벤트 또는 관심상황 발생인지 이벤트를 생성하는 관심상황 이벤트 생성부를 포함하는 개인 관심상황 발생 예측/인지 장치. - 제8항에서,
사용자의 현재 상황정보를 추출하고, 이 추출된 현재 상황정보와 일치하는 상황정보가 지정된 관심상황이 등록되어 있는지 여부를 인식하는 상황정보 추출 및 인식부,
상기 상황정보 추출 및 인식부를 통해 현재 상황정보가 등록 관심상황의 상황정보와 일치한다고 인식될 경우, 현재의 사용자 음성/생리반응으로부터 음성/생리반응 특징을 추출하는 음성/생리반응 특징 추출부를 추가로 포함하는 개인 관심상황 발생 예측/인지 장치. - 제8항에서,
사용자 착용형 정보수집 장치로부터 수신한 상황정보로부터 현재 상황정보를 추출하고, 이 추출된 현재 상황정보와 일치하는 상황정보가 지정된 관심상황이 등록되어 있는지 여부를 인식하는 상황정보 추출 및 인식부,
상기 상황정보 추출 및 인식부를 통해 현재 상황정보가 등록 관심상황의 상황정보와 일치한다고 인식될 경우, 현재의 사용자 음성/생리반응으로부터 음성/생리반응 특징을 추출하는 음성/생리반응 특징 추출부를 추가로 포함하는 개인 관심상황 발생 예측/인지 장치. - 제8항에서,
관심상황의 발생 예측 또는 인지 이벤트 생성시에 제공받을 피드백 유형을 등록하는 피드백 등록부,
상기 관심상황 이벤트 생성부에서 관심상황 발생 예측 또는 인지 이벤트 생성시에 상기 등록된 피드백을 실행하는 피드백 수행부를 추가로 포함하는 개인 관심상황 발생 예측/인지 장치. - 제11항에서, 관심상황 발생의 예측 또는 인지 이벤트 생성시 제공받는 피드백을 인터페이스 하는 외부 기기 및 서비스를 등록하는 외부 기기/서비스 등록부를 추가로 포함하는 개인 관심상황 발생 예측/인지 장치.
- 제9항 또는 제10항에서,
음성/생리반응 특징으로부터 사용자의 감정을 인식하는 데 활용하기 위한 특징벡터를 추출하는 감정 인식부,
감정-생리반응 모델과 상기 추출된 음성/생리반응 특징벡터를 활용하여 관심상황 발생의 확률을 계산하는 관심상황 발생확률 계산부를 추가로 포함하는 개인 관심상황 발생 예측/인지 장치. - 제8항에서, 상기 관심상황 이벤트 생성부는
관심상황 발생예측 및 관심상황 발생인지 중 하나를 결정하기 위하여, 발생예측을 결정하기 위한 임계값과 발생인지를 결정하기 위한 임계값을 사용하는 개인 관심상황 발생 예측/인지 장치. - 사용자가 생리반응, 감정, 그리고 상황정보를 지정하여 본인의 생리반응의 변화 또는 감정 상태에 관한 관심상황을 등록하는 절차,
사용자가 등록한 관심상황 정보를 감정-생리반응 모델에 반영하고, 사용자의 음성/생리반응 특징의 참조 통계치와, 사용자의 음성 및 생리반응 특징 중 적어도 하나를 통해 감정-생리반응 모델을 학습시키고 이 모델을 관리하는 절차,
상기 등록된 관심상황의 발생을 예측 또는 인지하여 관심상황 발생예측 이벤트 또는 관심상황 발생인지 이벤트를 생성하는 절차를 포함하는 개인 관심상황 발생 예측/인지 방법. - 제15항에서,
사용자의 현재 상황정보를 추출하고, 이 추출된 현재 상황정보와 일치하는 상황정보가 지정된 관심상황이 등록되어 있는지 여부를 인식하는 절차,
상기 상황정보 추출 및 인식 절차를 통해 현재 상황정보가 등록 관심상황의 상황정보와 일치한다고 인식될 경우, 현재의 사용자 음성/생리반응으로부터 음성/생리반응 특징을 추출하는 절차를 추가로 포함하는 개인 관심상황 발생 예측/인지 방법. - 제16항에서,
상기 음성/생리반응 특징으로부터 사용자의 감정을 인식하는 데 활용하기 위한 특징벡터를 추출하는 절차,
상기 감정-생리반응 모델과 상기 추출된 음성/생리반응 특징벡터를 활용하여 관심상황 발생의 확률을 계산하는 절차를 추가로 포함하는 개인 관심상황 발생 예측/인지 방법. - 제15항에서, 상기 관심상황 이벤트 생성 절차에서 관심상황 발생 예측 또는 인지 이벤트 생성시에 사용자에게 피드백을 제공하는 절차를 추가로 포함하는 개인 관심상황 발생 예측/인지 방법.
- 제15항에서, 상기 관심상황 이벤트 생성 절차에서 관심상황 발생예측 및 관심상황 발생인지 중 하나를 결정하기 위하여, 발생예측을 결정하기 위한 임계값과 발생인지를 결정하기 위한 임계값을 사용하는 개인 관심상황 발생 예측/인지 방법.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180062753A KR102276415B1 (ko) | 2018-05-31 | 2018-05-31 | 개인 관심상황 발생 예측/인지 장치 및 방법 |
| US16/219,443 US10789961B2 (en) | 2018-05-31 | 2018-12-13 | Apparatus and method for predicting/recognizing occurrence of personal concerned context |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180062753A KR102276415B1 (ko) | 2018-05-31 | 2018-05-31 | 개인 관심상황 발생 예측/인지 장치 및 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20190136706A true KR20190136706A (ko) | 2019-12-10 |
| KR102276415B1 KR102276415B1 (ko) | 2021-07-13 |
Family
ID=68694142
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020180062753A KR102276415B1 (ko) | 2018-05-31 | 2018-05-31 | 개인 관심상황 발생 예측/인지 장치 및 방법 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US10789961B2 (ko) |
| KR (1) | KR102276415B1 (ko) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11410686B2 (en) * | 2018-07-03 | 2022-08-09 | Voece, Inc. | Methods and systems for voice and acupressure-based lifestyle management with smart devices |
| CN111230872B (zh) * | 2020-01-31 | 2021-07-20 | 武汉大学 | 一种基于多传感器的物体递交意图识别系统及方法 |
| US11170800B2 (en) * | 2020-02-27 | 2021-11-09 | Microsoft Technology Licensing, Llc | Adjusting user experience for multiuser sessions based on vocal-characteristic models |
| EP3892185A1 (en) * | 2020-04-08 | 2021-10-13 | Siemens Healthcare GmbH | Method, apparatus and system for predicting emotional response of individuals |
| CN111899717A (zh) * | 2020-07-29 | 2020-11-06 | 北京如影智能科技有限公司 | 一种语音回复方法及装置 |
| KR20220098970A (ko) * | 2021-01-05 | 2022-07-12 | 한국전자통신연구원 | 심리 안정 서비스 제공 서버, 사용자 디바이스 및 이를 위한 멀티모달 사용자 경험데이터 분석 방법 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20110052783A (ko) * | 2009-11-13 | 2011-05-19 | 삼성전자주식회사 | 생체 정보 획득 방법 및 장치 |
| KR20110065954A (ko) * | 2009-12-10 | 2011-06-16 | 한국전자통신연구원 | 감성 변화에 따른 감성지수 결정 장치 및 그 방법 |
| JP2017167752A (ja) * | 2016-03-15 | 2017-09-21 | ヤフー株式会社 | 決定装置、決定方法及び決定プログラム |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100425342B1 (ko) | 2000-09-02 | 2004-03-30 | 삼성전자주식회사 | 신체 및 감정 상태 인식 장치 및 방법 |
| KR101299220B1 (ko) * | 2010-01-08 | 2013-08-22 | 한국전자통신연구원 | 감성 신호 감지 장치와 감성 서비스 제공 장치 간의 감성 통신 방법 |
| KR20120045415A (ko) | 2010-10-29 | 2012-05-09 | 삼성에스디에스 주식회사 | 지능형서비스제공 라이프로깅장치 및 방법 |
| KR20140104537A (ko) * | 2013-02-18 | 2014-08-29 | 한국전자통신연구원 | 생체 신호 기반의 감성 인터랙션 장치 및 방법 |
| US20140280296A1 (en) * | 2013-03-14 | 2014-09-18 | Google Inc. | Providing help information based on emotion detection |
| US20150182130A1 (en) * | 2013-12-31 | 2015-07-02 | Aliphcom | True resting heart rate |
| US9953041B2 (en) * | 2014-09-12 | 2018-04-24 | Verily Life Sciences Llc | Long-term data storage service for wearable device data |
| US10318958B2 (en) * | 2015-07-28 | 2019-06-11 | Jong Ho Kim | Smart watch and operating method using the same |
| US20180249966A1 (en) * | 2017-02-28 | 2018-09-06 | Orreco Ltd | Systems and methods to track and manage individualized redox homeostasis |
-
2018
- 2018-05-31 KR KR1020180062753A patent/KR102276415B1/ko active IP Right Grant
- 2018-12-13 US US16/219,443 patent/US10789961B2/en active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20110052783A (ko) * | 2009-11-13 | 2011-05-19 | 삼성전자주식회사 | 생체 정보 획득 방법 및 장치 |
| KR20110065954A (ko) * | 2009-12-10 | 2011-06-16 | 한국전자통신연구원 | 감성 변화에 따른 감성지수 결정 장치 및 그 방법 |
| JP2017167752A (ja) * | 2016-03-15 | 2017-09-21 | ヤフー株式会社 | 決定装置、決定方法及び決定プログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| US10789961B2 (en) | 2020-09-29 |
| KR102276415B1 (ko) | 2021-07-13 |
| US20190371344A1 (en) | 2019-12-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR20190136706A (ko) | 개인 관심상황 발생 예측/인지 장치 및 방법 | |
| CN103650035B (zh) | 经由社交图谱、语音模型和用户情境识别接近移动装置用户的人 | |
| US10916245B2 (en) | Intelligent hearing aid | |
| EP4173275A1 (en) | Detecting user identity in shared audio source contexts | |
| US20180101776A1 (en) | Extracting An Emotional State From Device Data | |
| CN112513833A (zh) | 用于基于预先合成的对话提供人工智能服务的电子设备和方法 | |
| KR101749706B1 (ko) | 사용자 장치를 사용하여 획득된 상황 정보 및 생체 정보를 기반으로 사용자의 감정을 예측하는 방법 및 시스템 | |
| CN109243432A (zh) | 话音处理方法以及支持该话音处理方法的电子设备 | |
| CN108899037A (zh) | 动物声纹特征提取方法、装置及电子设备 | |
| CN107003723A (zh) | 用于会话系统中的响应选择和组成的自动化的方法和系统 | |
| WO2016089594A2 (en) | Conversation agent | |
| KR102343084B1 (ko) | 전자 장치 및 전자 장치의 기능 실행 방법 | |
| CN109460752A (zh) | 一种情绪分析方法、装置、电子设备及存储介质 | |
| WO2015091223A1 (en) | System and method for assessing the cognitive style of a person | |
| US20190019509A1 (en) | Voice data processing method and electronic device for supporting the same | |
| US11386804B2 (en) | Intelligent social interaction recognition and conveyance using computer generated prediction modeling | |
| Palaghias et al. | A survey on mobile social signal processing | |
| CN110480656A (zh) | 一种陪护机器人、陪护机器人控制方法及装置 | |
| CN111149172B (zh) | 情绪管理方法、设备及计算机可读存储介质 | |
| US11443738B2 (en) | Electronic device processing user utterance and control method thereof | |
| Lietz et al. | Survey of mood detection through various input modes | |
| CN109427332A (zh) | 使用语音命令执行操作的电子设备及其操作方法 | |
| US20220215932A1 (en) | Server for providing psychological stability service, user device, and method of analyzing multimodal user experience data for the same | |
| US20240038222A1 (en) | System and method for consent detection and validation | |
| JP2018073151A (ja) | 学習装置、回答装置、学習情報の生産方法、回答方法、およびプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |