KR102011495B1 - 사용자의 심리 상태 판단 장치 및 방법 - Google Patents
사용자의 심리 상태 판단 장치 및 방법 Download PDFInfo
- Publication number
- KR102011495B1 KR102011495B1 KR1020120126804A KR20120126804A KR102011495B1 KR 102011495 B1 KR102011495 B1 KR 102011495B1 KR 1020120126804 A KR1020120126804 A KR 1020120126804A KR 20120126804 A KR20120126804 A KR 20120126804A KR 102011495 B1 KR102011495 B1 KR 102011495B1
- Authority
- KR
- South Korea
- Prior art keywords
- user
- mental state
- data
- feature data
- information
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/02—Knowledge representation; Symbolic representation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N7/00—Computing arrangements based on specific mathematical models
- G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
- A61B5/6887—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
- A61B5/6898—Portable consumer electronic devices, e.g. music players, telephones, tablet computers
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
- A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
- H04L51/21—Monitoring or handling of messages
- H04L51/222—Monitoring or handling of messages using geographical location information, e.g. messages transmitted or received in proximity of a certain spot or area
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Physics & Mathematics (AREA)
- Psychiatry (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Heart & Thoracic Surgery (AREA)
- Biophysics (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Animal Behavior & Ethology (AREA)
- Child & Adolescent Psychology (AREA)
- Developmental Disabilities (AREA)
- Educational Technology (AREA)
- Hospice & Palliative Care (AREA)
- Psychology (AREA)
- Social Psychology (AREA)
- Surgery (AREA)
- Molecular Biology (AREA)
- Pathology (AREA)
- Biomedical Technology (AREA)
- Medical Informatics (AREA)
- Probability & Statistics with Applications (AREA)
- Pure & Applied Mathematics (AREA)
- Algebra (AREA)
- Computational Mathematics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Computational Linguistics (AREA)
- Databases & Information Systems (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
단말에서 사용자의 심리 상태를 판단하는 장치에 관한 것으로, 그 장치는 사용자가 단말에서 텍스트를 입력할 때 발생하는 센서 데이터를 수집하는 데이터수집부, 센서 데이터로부터 텍스트 입력 습관에 관한 정보 및 상황 정보 중의 하나 이상을 포함하는 특징 데이터를 추출하는 데이터처리부 및 특징 데이터를 미리 구축된 추론 모델에 적용하여 사용자의 심리 상태를 판단하는 심리상태판단부를 포함할 수 있다.
Description
단말에서 사용자의 심리 상태를 판단하는 장치 및 방법과 관련된다.
최근 출시되는 스마트폰, 태블릿 PC 등의 단말은 강력한 하드웨어 성능을 바탕으로 다양한 기능들을 제공하고 있다. 특히, 사용자가 처한 상황을 인식하여 그에 맞는 기능을 제공하는 상황 인식 서비스(context aware service)들이 활발히 시도되고 있다. 현재까지는 사용자의 위치 정보를 활용하여 제공하는 서비스, 예를 들어, 사용자들이 특정 음식점 앞에 가면 사용할 수 있는 쿠폰을 자동으로 제시하는 서비스 등이 주류를 이루고 있으며, 미래에는 사용자의 심리 상태 등과 같이 보다 의미 있는 사용자 정보에 기반한 지능형 서비스가 제공될 것으로 예상되고 있다.
그러나, 사용자의 심리 상태 중 감정을 인식하는 기술과 관련하여 아직까지는 사용자의 안면 영상을 분석하여 특정 얼굴 근육의 움직임을 특정 감정으로 매핑하는 기술 또는 사용자의 음성의 특징을 분석하여 특정 감정으로 매핑하는 기술 또는 사용자의 생체 신호의 특징을 분석하여 특정 감정으로 매핑하는 기술 등과 같이 주로 사용자의 신체적 반응을 분석대상으로 하는 수준에 머무르고 있다. 이와 같은, 사용자의 신체적 반응을 분석하는 감정 인식 기술은 사용자가 의도적으로 신체적 반응을 숨길 경우(무표정 등), 사용자 내면의 숨겨진 감정을 파악하기 쉽지 않고, 신체적 반응을 측정하기 위해 별도의 센서(피부전도도 센서 등)를 신체에 부착해야 하는 불편함을 초래하여 사용상 제약이 존재한다.
사용자가 단말을 통해 텍스트를 입력할 때 발생하는 데이터를 분석해 사용자의 심리 상태를 판단하는 장치 및 방법이 제시된다.
일 양상에 따르면, 사용자의 심리 상태 판단 장치는 사용자가 단말에서 텍스트를 입력할 때 발생하는 센서 데이터를 수집하는 데이터수집부, 센서 데이터로부터 텍스트 입력 습관에 관한 정보 및 상황 정보 중의 하나 이상을 포함하는 특징 데이터를 추출하는 데이터처리부 및 특징 데이터를 미리 구축된 추론 모델에 적용하여 사용자의 심리 상태를 판단하는 심리상태판단부를 포함할 수 있다.
이때, 센서 데이터는 단말에 내장된 터치스크린, 가속도센서, 방향센서, GPS, 조도 센서, 마이크로폰 및 소프트웨어 센서 중의 하나 이상을 포함하는 센서를 통해 측정될 수 있다.
또한, 텍스트 입력 습관에 관한 정보는, 키보드 입력 정보, 필기 입력 정보 및 단말 상태 정보 중의 하나 이상을 포함하고, 상황 정보는 위치, 날씨, 불쾌지수, 시간 및 평균 조도 중의 하나 이상을 포함할 수 있다.
추가적인 양상에 따르면, 사용자의 심리 상태 판단 장치는 특징 데이터가 추출되면 학습 데이터의 생성 단계인지 여부를 판단하고, 학습 데이터의 생성 단계라 판단되면 그 특징 데이터를 이용하여 학습 데이터를 생성하는 학습데이터생성부를 더 포함할 수 있고, 심리상태판단부는 학습데이터를 이용하여 추론 모델을 구축하고 학습시킬 수 있다.
학습데이터생성부는 추출된 특징 데이터에서 적어도 일부의 특징 데이터를 선택하고, 그 선택된 특징 데이터에 대하여 사용자에게 심리 상태를 질의하여 그 질의에 대한 사용자의 응답을 기초로 학습 데이터를 생성할 수 있다.
학습데이터생성부는 특징 선택 알고리즘 중의 어느 하나를 이용하여 추출된 특징 데이터에 대한 중요도를 계산하고, 그 중요도를 기초로 일부의 특징 데이터를 선택할 수 있다.
이때, 특징 선택 알고리즘은 정보 이득(Information Gain), 카이제곱분포(Chi-Sqaured Distribution) 및 상호정보(Mutual Information) 알고리즘을 포함할 수 있다.
이때, 심리 상태는 감정, 기분 및 스트레스 중의 하나 이상으로 분류되고, 분류된 각 심리 상태는 하나 이상의 하위 레벨로 분류될 수 있다.
심리상태판단부는 특징 데이터를 결정트리(Decision Tree) 및 나이브 베이즈 분류(Navie Bayes Classification) 알고리즘을 포함하는 지도학습(Supervised Learning) 알고리즘 중의 어느 하나를 이용하여 추론 모델에 적용할 수 있다.
또한, 사용자 심리 상태 판단 장치는 판단된 심리 상태에 기초하여 소정의 조치를 실행하는 조치실행부를 더 포함할 수 있다.
이때, 소정의 조치는 단말을 통해 사용자에게 판단된 심리 상태와 관련된 정보 제공, 심리 상태에 기초한 단말의 유저 인터페이스 제어 및 심리 상태의 판단 결과를 이용한 학습 데이터 갱신 중의 하나 이상을 포함할 수 있다.
일 양상에 따르면, 사용자의 심리 상태 판단 방법은 사용자가 단말에서 텍스트를 입력할 때 발생하는 센서 데이터를 수집하는 단계, 센서 데이터로부터 텍스트 입력 습관에 관한 정보 및 상황 정보 중의 하나 이상을 포함하는 특징 데이터를 추출하는 단계, 특징 데이터를 미리 구축된 추론 모델에 적용하여 사용자의 심리 상태를 판단하는 단계 및 판단된 심리 상태에 기초하여 소정의 조치를 실행하는 단계를 포함할 수 있다.
이때, 센서 데이터는 상기 단말에 내장된 터치스크린, 가속도센서, 방향센서, GPS, 조도 센서, 마이크로폰 및 소프트웨어 센서 중의 하나 이상을 포함하는 센서를 통해 측정될 수 있다.
텍스트 입력 습관에 관한 정보는 키보드 입력 정보, 필기 입력 정보 및 단말 상태 정보 중의 하나 이상을 포함하고, 상황 정보는 위치, 날씨, 불쾌지수, 시간 및 평균 조도 중의 하나 이상을 포함할 수 있다.
추가적인 양상에 따르면, 사용자의 심리 상태 판단 방법은 특징 데이터가 추출되면 학습 데이터의 생성 단계인지 여부를 판단하고, 학습 데이터의 생성 단계라 판단되면 그 특징 데이터를 이용하여 학습 데이터를 생성하는 단계를 더 포함할 수 있고, 심리 상태 판단 단계는 학습데이터를 이용하여 추론 모델을 구축하고 학습시킬 수 있다.
학습 데이터 생성 단계는 추출된 특징 데이터에서 적어도 일부의 특징 데이터를 선택하는 단계, 그 선택된 특징 데이터에 대하여 사용자에게 심리 상태를 질의하는 단계 및 그 질의에 대한 사용자의 응답을 기초로 학습 데이터를 생성하는 단계를 포함할 수 있다.
일부의 특징 데이터 선택 단계는 특징 선택 알고리즘 중의 어느 하나를 이용하여 추출된 특징 데이터에 대한 중요도를 계산하고, 그 중요도를 기초로 일부의 특징 데이터를 선택할 수 있다.
이때, 특징 선택 알고리즘은 정보 이득(Information Gain), 카이제곱분포(Chi-Sqaured Distribution) 및 상호정보(Mutual Information) 알고리즘을 포함할 수 있다.
이때, 심리 상태는 감정, 기분 및 스트레스 중의 하나 이상으로 분류되고, 분류된 각 심리 상태는 하나 이상의 하위 레벨로 분류될 수 있다.
심리 상태 판단 단계는 특징 데이터를 결정트리(Decision Tree) 및 나이브 베이즈 분류(Navie Bayes Classification) 알고리즘을 포함하는 지도학습(Supervised Learning) 알고리즘 중의 어느 하나를 이용하여 추론 모델에 적용할 수 있다.
또한, 사용자 심리 상태 판단 방법은 판단된 심리 상태에 기초하여 소정의 조치를 실행하는 단계를 더 포함할 수 있다.
이때, 소정의 조치는 단말을 통해 사용자에게 상기 판단된 심리 상태와 관련된 정보 제공, 심리 상태에 기초한 단말의 유저 인터페이스 제어 및 심리 상태의 판단 결과를 이용한 학습 데이터 갱신 중의 하나 이상을 포함할 수 있다.
일 양상에 따른 사용자 심리 상태 판단 방법은 사용자가 단말에 텍스트를 입력하는 속도를 추출하는 단계, 텍스트 입력 속도를 추론 모델에 적용하여 사용자의 심리 상태를 판단하는 단계 및 판단된 심리 상태에 기초하여 소정의 조치를 실행하는 단계를 포함할 수 있다.
추가적인 양상에 따르면, 사용자 심리 상태 판단 방법은 텍스트 입력 속도에 추가하여 사용자가 텍스트를 입력할 때 발생하는 다른 정보를 추출하고 추론 모델에 적용할 수 있다.
이때, 다른 정보는 단말의 위치 정보를 포함할 수 있다.
또한, 다른 정보는 날씨 정보를 포함할 수 있다.
또한, 다른 정보는 단말의 상태 정보를 포함할 수 있다.
이때, 단말의 상태 정보는 단말의 흔들림 횟수를 포함할 수 있다.
도 1은 일 실시예에 따른 사용자 심리 상태 판단 장치의 블록도이다.
도 2는 특징 데이터의 일 예이다.
도 3은 특징 데이터를 이용한 심리 상태 판단 결과의 일 예이다.
도 4는 학습 데이터 생성을 위한 질의의 예이다.
도 5는 일 실시예에 따른 사용자 심리 상태 판단 방법의 흐름도이다.
도 6은 다른 실시예에 따른 사용자 심리 상태 판단 방법의 흐름도이다.
도 2는 특징 데이터의 일 예이다.
도 3은 특징 데이터를 이용한 심리 상태 판단 결과의 일 예이다.
도 4는 학습 데이터 생성을 위한 질의의 예이다.
도 5는 일 실시예에 따른 사용자 심리 상태 판단 방법의 흐름도이다.
도 6은 다른 실시예에 따른 사용자 심리 상태 판단 방법의 흐름도이다.
기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다. 기재된 기술의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
이하, 사용자 심리 상태 판단 장치 및 방법의 실시예들을 도면들을 참고하여 자세히 설명하도록 한다.
도 1은 일 실시예에 따른 사용자 심리 상태 판단 장치의 블록도이다. 도 1을 참조하면, 사용자 심리 상태 판단 장치(100)는 데이터수집부(110), 데이터처리부(120), 심리상태판단부(150) 및 조치실행부(160)를 포함한다.
데이터수집부(110)는 사용자가 단말에서 텍스트를 입력할 때 발생하는 센서 데이터를 수집한다. 여기서, 단말은 스마트폰, 태블릿PC, PDA 등의 이동 단말이 될 수 있으며, 사용자는 이동 단말을 이용하여 메일 확인, SNS(Social Network Service) 활동, 인터넷 검색, 모바일 메신저 등의 각종 작업들을 수행한다. 사용자가 이동 단말에서 이러한 작업들을 수행할 때 메시지 작성과 같은 텍스트 입력 행위가 이루어진다. 데이터수집부(110)는 이동 단말에 내장된 각종 센서, 예를 들어, 터치스크린, 가속도센서, 방향센서, GPS, 조도 센서, 마이크로폰 및 소프트웨어 센서 등을 통해 사용자가 메시지 작성 등과 같이 텍스트를 입력하는 도중에 발생되는 각종 센서 데이터를 수집한다.
데이터처리부(120)는 수집된 센서 데이터로부터 사용자 심리 상태 분석을 위한 특징 데이터를 추출한다. 사용자가 키보드 또는 스타일러스 펜 등을 이용하여 텍스트를 입력할 때 사용자의 심리 상태와 관련된 다양한 버릇이나 특징이 내포되어 있을 수 있다. 데이터처리부(120)는 센서 데이터로부터 사용자의 심리 상태에 따라 무의식적으로 달라질 수 있는 텍스트 입력 습관에 관한 정보를 특징 데이터로서 추출할 수 있다. 또한, 데이터처리부(120)는 텍스트를 입력할 때의 주변 상황에 따라 사용자의 심리 상태가 달라질 수 있는 점을 고려하여 주변 상황에 관한 정보 를 특징 데이터로서 추출할 수 있다. 다만, 특징 데이터는 이에 한정되는 것은 아니며, 사용자의 심리 상태를 반영할 수 있는 어떠한 센서 데이터들도 특징데이터로서 이용될 수 있다.
도 2는 특징 데이터의 일 예이다. 도 1 및 도 2를 참조하면, 데이터처리부(120)는 사용자가 텍스트(예: 메시지)를 입력하는 도중에 지속적으로 수집되는 센서 데이터 중에서 습관 정보로서 키보드 입력 정보, 필기 입력 정보 및 단말 상태 정보 중의 하나 이상을 특징 데이터로 추출할 수 있다. 키보드 입력 정보는 이동 단말의 전자 키보드 등을 통해 텍스트를 입력할 때 발생하는 데이터로서 도 2에 예시된 바와 같이 타자 속도, 가장 긴 텍스트의 길이, 백스페이스키 사용 빈도 등이 될 수 있다. 필기 입력 정보는 스타일러스 펜 등을 이용하여 텍스트를 입력할 때 발생하는 데이터로서 필기 입력 속도, 평균 필압, 문자획의 직진도의 평균 등을 포함할 수 있다. 단말 상태 정보는 기기 흔들림 횟수, 평균 기기 기울임 정도, 평균 배터리 잔량 및 평균 음량 등을 포함할 수 있다.
또한, 데이터처리부(120)는 텍스트 입력 도중의 특정 시점에 1회 이상 수집되는 상황 정보를 특징 데이터로서 추출할 수 있다. 상황 정보는 위치, 날씨, 불쾌지수, 시간, 평균 조도 및 메시지 수신자 정보 등을 포함할 수 있으며, 상황 정보 중의 적어도 일부(예: 위치, 날씨, 불쾌지수)는 소정 기준에 따라 1회 이상 추출될 수 있다. 예를 들어, 사용자가 이동하면서 텍스트를 입력하고 있는 경우 일정 거리만큼(예: 10M) 이동할 때마다 추출할 수 있다. 또는, 일정시간(예: 1분)이 경과할 때마다 추출하는 것도 가능하다. 메시지 수신자 정보는 사용자의 심리 상태에 따라 특정 수신자에 메시지를 송신하는 횟수 혹은 빈도가 증가할 가능성이 있음을 반영하기 위함이다.
심리상태판단부(150)는 추출된 특징 데이터를 추론 모델에 적용하여 사용자의 심리 상태를 판단할 수 있다. 심리상태판단부(150)는 미리 생성되어 있는 학습 데이터를 이용하여 추론 모델을 구축하고 학습시키며, 그 특징 데이터를 구축된 추론 모델에 적용하여 사용자의 심리 상태를 판단할 수 있다. 이때, 심리상태판단부(150)는 특징 데이터를 지도학습(Supervised Learning) 알고리즘 중의 어느 하나를 이용하여 추론 모델에 적용하여 심리 상태를 판단할 수 있다. 이때, 지도학습 알고리즘은 결정트리(Decision Tree), 나이브 베이즈 분류(Navie Bayes Classification) 알고리즘 등을 포함한다.
도 3은 특징 데이터를 이용한 심리 상태 판단 결과의 일 예이다. 도 1 및 도 3을 참조하면, 심리상태판단부(150)는 도 3에 예시된 바와 같이, 특징 데이터를 이용하여 사용자의 심리 상태를 분류할 수 있다. 이때, 심리 상태는 감정, 기분, 스트레스 중의 하나 이상을 포함할 수 있으며, 각 심리 상태는 다양한 하위 레벨로 분류될 수 있다. 예를 들어, 감정의 경우 행복, 기쁨, 슬픔, 놀람 등으로 분류될 수 있으며, 기분은 좋음, 보통, 우울 등으로 분류될 수 있다. 또한, 스트레스는 상, 중, 하로 분류될 수 있다. 심리상태판단부(150)는 도 3(a)에 예시된 바와 같이, 특징 데이터를 이용하여 하나의 심리 상태를 판단할 수 있다. 또는 도 3(b)에 예시된 바와 같이 둘 이상의 심리 상태를 판단할 수 있다.
도 3(a)는 키보드를 통한 타자 입력 속도가 분당 23타, 메시지를 작성하는 동안 백스페이스키 사용 빈도 3회, 특수 기호 사용 빈도 5회, 기기 흔들림 횟수 10회, 평균 조도 150Lux, 특정 위치(예: 도로)를 수치화한 값 3으로 특징 데이터가 추출된 경우, 이 특징 데이터를 추론 모델에 적용하여 분류한 감정 상태가 '놀람'인 것을 예시한 것이다. 도 3(b)는 스타일러스 펜 등을 통하여 텍스트를 입력할 때 추출되는 필기 속도, 평균 필압, 필기 입력 규칙성 등의 필기 입력 정보를 이용하여 심리 상태 중 감정 상태를 판단하고, 평균 배터리 잔량, 평균 음량 등의 단말 상태 정보를 이용하여 스트레스를 판단한 것을 예시한 것이다.
한편, 도 1을 참조하면, 사용자 심리 상태 판단 장치(100)는 학습데이터생성부(130) 및 학습데이터DB(140)를 더 포함할 수 있다.
학습데이터생성부(130)는 특징 데이터가 추출되면 학습 데이터의 생성 단계인지 여부를 판단하고, 학습 데이터 생성 단계라 판단되면 그 특징 데이터를 이용하여 학습데이터를 생성할 수 있다. 이때, 학습데이터생성부(130)는 사용자에게 학습 데이터 생성 여부를 질의하고 그 질의에 대하여 사용자가 학습 데이터를 생성하도록 요청하는 경우 또는 미리 설정된 소정 기준(예: 저장된 학습 데이터의 수가 일정값 이하인 경우)을 만족하는 경우 학습 데이터 생성 단계로 판단할 수 있다.
도 4는 학습 데이터 생성을 위한 질의의 예이다. 도 1 및 도 4를 참조하면, 학습데이터생성부(130)는 학습데이터 생성 단계라 판단되면, 추출된 특징 데이터에서 적어도 일부의 특징 데이터를 선택하고, 그 선택된 특징 데이터에 대하여 사용자에게 심리 상태를 질의하여 사용자의 응답을 기초로 학습 데이터를 생성할 수 있다.
좀 더 구체적으로, 학습데이터생성부(130)는 먼저 추출된 특징 데이터 중에서 추론 모델 구축에 필요한 의미 있는 특징 데이터들을 선택할 수 있다. 학습데이터생성부(130)는 추출된 특징 데이터에서 노이즈를 제거할 수 있다. 예를 들어, 추출된 특징 데이터를 수치화한 값의 대다수가 0 또는 Null인 경우 해당 특징 데이터를 노이즈로 판단할 수 있다. 또는 특징 데이터의 변화(예: 표준편차)가 소정 임계치에 미달하는 경우 해당 특징 데이터를 노이즈로 판단할 수 있다. 이때, 특징 데이터의 형태가 숫자가 아닌 명목형(Nominal)인 경우 해당 특징 데이터를 임의의 숫자로 변환하고 그 수치를 이용할 수 있다. 예를 들어, 현재 위치가 집이면 1, 회사이면 2, 도로이면 3과 같이 변환할 수 있다.
그 다음, 노이즈가 제거된 특징 데이터에서 중요도가 높은 일부의 특징 데이터를 선택할 수 있다. 이때, 학습데이터생성부(130)는 정보 이득(Information Gain), 카이제곱분포(Chi-Sqaured Distribution) 및 상호정보(Mutual Information) 알고리즘 등의 특징 선택 알고리즘을 이용하여 추출된 특징 데이터에 대한 중요도를 계산할 수 있으며, 계산된 중요도를 기초로 높은 중요도를 가지는 일부의 특징 데이터를 선택할 수 있다.
그 다음, 일부의 특징 데이터가 선택되면 도 4에 예시된 바와 같이 사용자에게 심리 상태를 질의하고, 사용자가 자신의 심리 상태를 선택하면 그 심리 상태를 특징 데이터에 색인 처리하여 학습 데이터를 생성하고 학습데이터DB(140)에 저장할 수 있다. 즉, 도 4에 예시된 바와 같이, 사용자가 단말에서 "오늘은 날씨가 좋구나!"와 같은 메시지를 작성하면 현재의 감정 상태를 선택할 수 있는 이모티콘을 단말에 표시하고, 사용자가 선택하는 이모티콘에 대응되는 감정 상태를 특징 데이터에 색인 처리하여 학습 데이터를 생성할 수 있다.
학습데이터생성부(130)는 사용자가 심리 상태를 용이하게 입력할 수 있도록 심리 상태에 대응되는 이모티콘 등을 단말을 통해 제공할 수 있으며, 사용자가 직접 자신의 심리 상태를 텍스트로 입력할 수 있도록 텍스트 입력 창을 제공할 수 있다. 학습데이터생성부(130)는 사용자가 이동 단말을 통해 텍스트를 입력한 직후의 심리 상태, 사용자가 이동을 잠시 멈춘 경우의 심리상태, 사용자가 복수의 메시지를 입력하는 경우 메시지 작성시 느꼈던 심리 상태에 대해 질의할 수 있다.
심리상태판단부(150)는 학습데이터생성부(130)에 의해 생성되어 학습데이터DB(140)에 저장된 학습 데이터를 이용하여 추론 모델을 구축하고 학습시킬 수 있다.
조치실행부(160)는 심리상태판단부(150)에 의해 심리 상태가 판단되면, 그 심리 상태에 따라 적절한 조치를 실행할 수 있다. 이때, 실행될 수 있는 조치는 단말을 통해 사용자에게 판단된 심리 상태와 관련된 정보를 제공하거나, 그 판단된 심리 상태에 기초하여 단말의 유저 인터페이스를 제어할 수 있다.
예를 들어, 사용자 본인, 지인 또는 의료진 등에게 현재의 심리 상태를 알려 주거나, 최근 한 달 동안 '행복' 감정을 느낀 횟수, 시간대, 장소 등을 그래프로 표시하는 것과 같이 누적된 심리 상태의 통계정보를 제공할 수 있다. 즉, 사용자가 문자 메시지, 이메일, SNS 게시물 작성시 느꼈던 심리 상태를 자동으로 기록하고, 이에 대한 정보를 적절히 가공하여 제공할 수 있다.
또는, 사용자의 심리 상태에 따라 단말의 유저인터페이스 테마(예: 글꼴, 색깔 등)를 자동으로 변경하거나, 사용자의 심리 상태에 적절한 컨텐츠(예: 음악, 게임, 영화 등)를 추천할 수 있다. 또는 사용자의 현재 감정이 슬픔인 경우 "모든 것은 마음 먹기 마련입니다. 힘내세요!"와 같이 현재 심리 상태에 적절한 대응 메시지를 표시할 수 있다. 이와 같은 조치가 대화형 소프트웨어 에이전트에 탑재되는 경우, 단말이 사용자의 심리 상태에 적절히 반응해 대화를 시도하는 것이 가능해진다.
또한, 사용자의 심리 상태가 판단되고, 그 진위 결과가 참인 경우 추출된 특징 데이터에 판단된 심리 상태를 색인 처리하여 학습 데이터를 갱신할 수 있다.
한편, 사용자 심리 상태 판단 장치(100)는 조치DB(170)를 더 포함할 수 있으며, 조치DB(170)는 심리 상태 판단시 실행할 각종 조치에 대한 정보를 저장할 수 있다. 예를 들어, 심리 상태에 따른 적절한 유저 인터페이스 구성방법, 심리상태별 추천 컨텐츠의 목록, 대응 메시지 등의 정보가 저장될 수 있다.
한편, 추가적인 양상에 따르면, 사용자 심리 상태 판단 장치(100)는 사용자인증부(미도시)를 더 포함할 수 있다. 즉, 사용자인증부(미도시)는 아이디/비밀번호, 공인인증서 등을 통한 로그인, 얼굴 인식 등을 통해 사용자 인증을 수행한다. 이때, 학습데이터는 각 사용자별로 생성되며, 추론 모델 역시 각 사용자별로 구축될 수 있다. 이를 통해, 하나의 이동 단말을 다수의 사용자가 사용하는 경우에도 각 사용자에 따른 최적화된 심리 상태 정보 제공이 가능해진다.
도 5는 일 실시예에 따른 사용자 심리 상태 판단 방법의 흐름도이다. 도 5를 참조하여 도 1의 사용자 심리 상태 판단 장치(100)를 통해 사용자의 심리 상태를 판단하는 방법의 일 실시예를 설명한다.
먼저, 사용자가 단말에서 텍스트를 입력할 때 발생하는 센서 데이터를 수집한다(단계 301). 사용자가 이동 단말을 이용하여 메일 확인, SNS(Social Network Service) 활동, 인터넷 검색, 모바일 메신저 등의 각종 작업들을 수행하면, 이동 단말에 내장된 각종 센서를 통해 텍스트 입력 시의 각종 센서 데이터를 수집한다.
그 다음, 수집된 센서 데이터로부터 사용자 심리 상태 분석을 위한 특징 데이터를 추출한다(단계 302). 특징 데이터는 사용자의 텍스트 입력 습관에 관한 정보, 주변 상황에 관한 정보 등이 될 수 있다. 텍스트 입력 습관 정보는 사용자가 텍스트를 입력하는 도중에 지속적으로 수집되는 센서 데이터 중에서 추출될 수 있으며, 예컨대 키보드 입력 정보, 필기 입력 정보 및 단말 상태 정보 중의 하나 이상을 포함할 수 있다. 또한, 상황정보는 위치, 날씨, 불쾌지수, 시간, 평균 조도 및 메시지 수신자 정보 등을 포함할 수 있으며, 텍스트 입력 도중의 특정 시점에 1회 이상 수집되는 센서 데이터로부터 추출될 수 있다.
그 다음, 특징 데이터가 추출되면 학습 데이터의 생성 단계인지 여부를 판단할 수 있다(단계 303). 예를 들어, 특징 데이터가 추출되면 미리 설정된 소정 기준(예: 저장된 학습 데이터의 수가 일정 값 이하인 경우)을 만족하는 경우 또는 사용자에게 학습 데이터 생성 여부를 질의하고 그 질의에 대하여 사용자가 학습 데이터를 생성하도록 요청하는 경우 학습 데이터 생성 단계로 판단할 수 있다.
그 다음, 학습 데이터 생성 단계라고 판단이 되면 추출된 특징 데이터를 이용하여 학습데이터를 생성할 수 있다(단계 304). 일 예로, 추출된 특징 데이터 또는 그 특징 데이터에서 노이즈를 제거하고 남은 특징 데이터에 대해 사용자에게 심리 상태를 질의하여 사용자가 입력한 심리 상태를 특징 데이터에 색인 처리함으로써 학습 데이터를 생성할 수 있다. 이때, 추출된 특징 데이터 또는 추출된 특징 데이터에서 노이즈가 제거되고 남은 특징 데이터 중에서 중요도를 기초로 적어도 일부의 특징 데이터를 선택하고, 그 선택된 일부의 특징 데이터에 대하여 학습 데이터를 생성하는 것도 가능하다. 특징 데이터의 중요도는 정보 이득(Information Gain), 카이제곱분포(Chi-Sqaured Distribution) 및 상호정보(Mutual Information) 알고리즘 등의 특징 선택 알고리즘을 이용하여 계산될 수 있다.
한편, 학습 데이터가 생성되면 다시 센서 데이터를 수집하는 단계(301)로 돌아갈 수 있다. 즉, 생성된 학습 데이터의 수가 미리 설정된 기준 값 이하이거나 또는 사용자의 개입에 의해 추론 모델을 구축하도록 설정된 경우 사용자의 추론 모델 구축 요청이 입력되지 않으면 생성된 학습 데이터가 아직 추론 모델을 구축하기에 충분하지 않다고 판단하고 다시 센서 데이터를 수집할 수 있다. 만약, 생성된 학습 데이터의 수가 미리 설정된 기준 값을 초과하거나 사용자의 요청이 입력되면 생성된 학습 데이터로 추론 모델을 구축하고 학습할 수 있다(단계 305).
그 다음, 특징 데이터를 구축된 추론 모델에 적용하여 심리 상태를 판단할 수 있다(단계 306). 이때, 결정트리(Decision Tree), 나이브 베이즈 분류(Naive Bayes Classification) 알고리즘 등의 지도학습(Supervised Learning) 알고리즘을 이용하여 특징 데이터를 추론 모델에 적용하여 심리 상태를 판단할 수 있다.
마지막으로, 심리 상태가 판단되면 그 심리 상태에 따라 적절한 조치를 실행할 수 있다(단계 307). 예를 들어, 단말을 통해 사용자 본인, 지인 또는 의료진 등에게 판단된 심리 상태와 관련된 정보를 제공할 수 있다. 즉, 사용자 본인에게 판단된 현재 심리 상태 및 현재 심리 상태에 적절한 대응 메시지를 표시할 수 있다. 또한, 지인 또는 의료진 등에게 사용자의 현재 심리 상태를 알려 주거나 누적된 심리 상태의 통계정보를 제공할 수 있다. 이러한 정보들은 사용자가 문자 메시지, 이메일, SNS 게시물 작성시 자동으로 기록되어 제공될 수 있다.
또 다른 예로, 판단된 심리 상태에 기초하여 단말의 유저 인터페이스를 제어할 수 있다. 즉, 사용자의 심리 상태에 따라 단말의 유저인터페이스 테마(예: 글꼴, 색깔 등)를 자동으로 변경하거나, 사용자의 심리 상태에 적절한 컨텐츠(예: 음악, 게임, 영화 등)를 추천할 수 있다.
또는, 판단된 심리 상태의 진위 결과가 참인 경우 추출된 특징 데이터에 판단된 심리 상태를 색인 처리하여 학습 데이터를 갱신할 수도 있다.
도 6은 다른 실시예에 따른 사용자 심리 상태 판단 방법의 흐름도이다. 도 5를 참조하여 도 1의 사용자 심리 상태 판단 장치(100)를 통해 사용자의 심리 상태를 판단하는 방법의 다른 실시예를 설명한다.
사용자가 단말에 텍스트를 입력하면 텍스트 입력 속도를 추출하고(단계 401), 텍스트 입력 속도를 추론 모델에 적용하여 사용자의 심리 상태를 판단할 수 있다(단계 402). 사용자가 메시지, 메모 등을 작성할 때 텍스트 입력 속도는 감정 상태에 따라 달라질 수 있으며, 추출된 텍스트 입력 속도 즉 타자 속도를 통해 나타나는 사용자의 심리 상태를 판단할 수 있다. 한편, 사용자의 심리 상태 판단시 텍스트 입력 속도에 추가하여 사용자가 텍스트를 입력할 때 발생하는 다른 정보를 더 추출할 수 있으며, 그 다른 정보를 추론 모델에 적용하여 사용자의 심리 상태를 판단할 수 있다. 이때, 다른 정보는 단말의 위치 정보, 날씨 정보 및 단말의 흔들림 횟수와 같은 단말의 상태 정보 등이 될 수 있다.
사용자의 심리 상태가 판단되면 판단된 심리 상태에 기초하여 소정의 조치를 실행할 수 있다(단계 403). 소정의 조치는 앞에서도 언급한 바와 같이 사용자 본인, 지인 또는 의료진 등에게 현재의 심리 상태를 알려 주거나, 누적된 심리 상태의 통계정보를 제공하는 것 등이 될 수 있다. 이러한 정보들은 사용자가 문자 메시지, 이메일, SNS 게시물 작성시 자동으로 기록되어 제공될 수 있다. 또는, 사용자의 심리 상태에 따라 단말의 유저인터페이스 테마(예: 글꼴, 색깔 등)를 자동으로 변경하거나, 사용자의 심리 상태에 적절한 컨텐츠(예: 음악, 게임, 영화 등)를 추천하는 것 또는 사용자의 현재 심리 상태에 적절한 대응 메시지를 표시하는 것이 될 수 있다.
한편, 본 실시 예들은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.
컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현하는 것을 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 실시예들을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술 분야의 프로그래머들에 의하여 용이하게 추론될 수 있다.
본 개시가 속하는 기술분야의 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.
100: 사용자 심리 상태 판단 장치 110: 데이터수집부
120: 데이터처리부 130: 학습데이터생성부
140: 학습데이터DB 150: 심리상태판단부
160: 조치실행부 170: 조치DB
120: 데이터처리부 130: 학습데이터생성부
140: 학습데이터DB 150: 심리상태판단부
160: 조치실행부 170: 조치DB
Claims (28)
- 사용자가 단말에서 텍스트를 입력할 때 발생하는 센서 데이터를 수집하는 데이터수집부;
상기 센서 데이터로부터 특징 데이터를 추출하는 데이터처리부; 및
상기 특징 데이터를 구축된 추론 모델에 적용하여 사용자의 심리 상태를 판단하는 심리상태판단부;를 포함하고,
상기 특징 데이터는 텍스트 입력 습관에 관한 정보 및 상황 정보를 포함하고, 상기 상황 정보는 위치, 날씨, 불쾌지수, 평균 조도 및 메시지 수신자 정보 중 하나 이상을 포함하는 사용자의 심리 상태 판단 장치. - 제1항에 있어서, 상기 센서 데이터는,
상기 단말에 내장된 터치스크린, 가속도센서, 방향센서, GPS, 조도 센서, 마이크로폰 및 소프트웨어 센서 중의 하나 이상을 포함하는 센서를 통해 측정되는 사용자의 심리 상태 판단 장치. - 제1항에 있어서, 상기 텍스트 입력 습관에 관한 정보는,
키보드 입력 정보, 필기 입력 정보 및 단말 상태 정보 중의 하나 이상을 포함하는 사용자의 심리 상태 판단 장치. - 제1항에 있어서,
특징 데이터가 추출되면 학습 데이터의 생성 단계인지 여부를 판단하고, 학습 데이터의 생성 단계라 판단되면 그 특징 데이터를 이용하여 학습 데이터를 생성하는 학습데이터생성부;를 더 포함하고,
상기 심리상태판단부는,
상기 학습데이터를 이용하여 상기 추론 모델을 구축하고 학습시키는 사용자의 심리 상태 판단 장치. - 제4항에 있어서, 상기 학습데이터생성부는,
상기 추출된 특징 데이터에서 적어도 일부의 특징 데이터를 선택하고, 그 선택된 특징 데이터에 대하여 사용자에게 심리 상태를 질의하여 그 질의에 대한 사용자의 응답을 기초로 학습 데이터를 생성하는 사용자의 심리 상태 판단 장치. - 제5항에 있어서, 상기 학습데이터생성부는,
특징 선택 알고리즘 중의 어느 하나를 이용하여 상기 추출된 특징 데이터에 대한 중요도를 계산하고, 그 중요도를 기초로 상기 적어도 일부의 특징 데이터를 선택하는 사용자의 심리 상태 판단 장치. - 제6항에 있어서, 상기 특징 선택 알고리즘은,
정보 이득(Information Gain), 카이제곱분포(Chi-Sqaured Distribution) 및 상호정보(Mutual Information) 알고리즘을 포함하는 사용자의 심리 상태 판단 장치. - 제5항에 있어서, 상기 심리 상태는,
감정, 기분 및 스트레스 중의 하나 이상으로 분류되고, 상기 분류된 각 심리 상태는 하나 이상의 하위 레벨로 분류되는 사용자의 심리 상태 판단 장치. - 제1항에 있어서, 상기 심리상태판단부는,
상기 특징 데이터를 결정트리(Decision Tree) 및 나이브 베이즈 분류(Navie Bayes Classification) 알고리즘을 포함하는 지도학습(Supervised Learning) 알고리즘 중의 어느 하나를 이용하여 상기 추론 모델에 적용하는 사용자의 심리 상태 판단 장치. - 제1항에 있어서,
상기 판단된 심리 상태에 기초하여 소정의 조치를 실행하는 조치실행부;를 더 포함하는 사용자의 심리 상태 판단 장치. - 제10항에 있어서, 상기 소정의 조치는,
단말을 통해 사용자에게 상기 판단된 심리 상태와 관련된 정보 제공, 상기 심리 상태에 기초한 단말의 유저 인터페이스 제어 및 상기 심리 상태의 판단 결과를 이용한 학습 데이터 갱신 중의 하나 이상을 포함하는 사용자의 심리 상태 판단 장치. - 사용자가 단말에서 텍스트를 입력할 때 발생하는 센서 데이터를 수집하는 단계;
상기 센서 데이터로부터 특징 데이터를 추출하는 단계; 및
상기 특징 데이터를 구축된 추론 모델에 적용하여 사용자의 심리 상태를 판단하는 단계;를 포함하고,
상기 특징 데이터는 텍스트 입력 습관에 관한 정보 및 상황 정보를 포함하고, 상기 상황 정보는 위치, 날씨, 불쾌지수, 평균 조도 및 메시지 수신자 정보 중의 하나 이상을 포함하는 사용자의 심리 상태 판단 방법. - 제12항에 있어서, 상기 센서 데이터는,
상기 단말에 내장된 터치스크린, 가속도센서, 방향센서, GPS, 조도 센서, 마이크로폰 및 소프트웨어 센서 중의 하나 이상을 포함하는 센서를 통해 측정되는 사용자의 심리 상태 판단 방법. - 제12항에 있어서, 상기 텍스트 입력 습관에 관한 정보는,
키보드 입력 정보, 필기 입력 정보 및 단말 상태 정보 중의 하나 이상을 포함하는 사용자의 심리 상태 판단 방법. - 제12항에 있어서,
특징 데이터가 추출되면 학습 데이터의 생성 단계인지 여부를 판단하고, 학습 데이터의 생성 단계라 판단되면 그 특징 데이터를 이용하여 학습 데이터를 생성하는 단계;를 더 포함하고,
상기 심리 상태 판단 단계는,
상기 학습데이터를 이용하여 상기 추론 모델을 구축하고 학습시키는 사용자의 심리 상태 판단 방법. - 제15항에 있어서, 상기 학습 데이터 생성 단계는,
상기 추출된 특징 데이터에서 적어도 일부의 특징 데이터를 선택하는 단계;
그 선택된 특징 데이터에 대하여 사용자에게 심리 상태를 질의하는 단계; 및
그 질의에 대한 사용자의 응답을 기초로 학습 데이터를 생성하는 단계;를 포함하는 사용자의 심리 상태 판단 방법. - 제16항에 있어서, 상기 일부의 특징 데이터 선택 단계는,
특징 선택 알고리즘 중의 어느 하나를 이용하여 상기 추출된 특징 데이터에 대한 중요도를 계산하고, 그 중요도를 기초로 상기 일부의 특징 데이터를 선택하는 사용자의 심리 상태 판단 방법. - 제17항에 있어서, 상기 특징 선택 알고리즘은,
정보 이득(Information Gain), 카이제곱분포(Chi-Sqaured Distribution) 및 상호정보(Mutual Information) 알고리즘을 포함하는 사용자의 심리 상태 판단 방법. - 제15항에 있어서, 상기 심리 상태는,
감정, 기분 및 스트레스 중의 하나 이상으로 분류되고, 상기 분류된 각 심리 상태는 하나 이상의 하위 레벨로 분류되는 사용자의 심리 상태 판단 방법. - 제12항에 있어서, 상기 심리 상태 판단 단계는,
상기 특징 데이터를 결정트리(Decision Tree) 및 나이브 베이즈 분류(Navie Bayes Classification) 알고리즘을 포함하는 지도학습(Supervised Learning) 알고리즘 중의 어느 하나를 이용하여 상기 추론 모델에 적용하는 사용자의 심리 상태 판단 방법. - 제12항에 있어서,
상기 판단된 심리 상태에 기초하여 소정의 조치를 실행하는 단계;를 더 포함하는 사용자의 심리 상태 판단 방법. - 제21항에 있어서, 상기 소정의 조치는,
단말을 통해 사용자에게 상기 판단된 심리 상태와 관련된 정보 제공, 상기 심리 상태에 기초한 단말의 유저 인터페이스 제어 및 상기 심리 상태의 판단 결과를 이용한 학습 데이터 갱신 중의 하나 이상을 포함하는 사용자의 심리 상태 판단 방법. - 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
Priority Applications (7)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020120126804A KR102011495B1 (ko) | 2012-11-09 | 2012-11-09 | 사용자의 심리 상태 판단 장치 및 방법 |
EP13192095.1A EP2730223B1 (en) | 2012-11-09 | 2013-11-08 | Apparatus and method for determining user's mental state |
US14/075,391 US9928462B2 (en) | 2012-11-09 | 2013-11-08 | Apparatus and method for determining user's mental state |
JP2013233195A JP6571310B2 (ja) | 2012-11-09 | 2013-11-11 | ユーザの心理状態判断装置及び方法 |
CN201310556675.XA CN103809746B (zh) | 2012-11-09 | 2013-11-11 | 确定用户的精神状态的设备和方法 |
US15/882,135 US10803389B2 (en) | 2012-11-09 | 2018-01-29 | Apparatus and method for determining user's mental state |
JP2018146119A JP6761837B2 (ja) | 2012-11-09 | 2018-08-02 | ユーザの心理状態判断装置及び方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020120126804A KR102011495B1 (ko) | 2012-11-09 | 2012-11-09 | 사용자의 심리 상태 판단 장치 및 방법 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20140060112A KR20140060112A (ko) | 2014-05-19 |
KR102011495B1 true KR102011495B1 (ko) | 2019-08-16 |
Family
ID=49552226
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020120126804A KR102011495B1 (ko) | 2012-11-09 | 2012-11-09 | 사용자의 심리 상태 판단 장치 및 방법 |
Country Status (5)
Country | Link |
---|---|
US (2) | US9928462B2 (ko) |
EP (1) | EP2730223B1 (ko) |
JP (2) | JP6571310B2 (ko) |
KR (1) | KR102011495B1 (ko) |
CN (1) | CN103809746B (ko) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20210048369A (ko) * | 2019-10-23 | 2021-05-03 | 주식회사 라라랩스 | 컨텐츠 추천 시스템 및 이를 이용한 컨텐츠 추천 방법 |
Families Citing this family (53)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102011495B1 (ko) * | 2012-11-09 | 2019-08-16 | 삼성전자 주식회사 | 사용자의 심리 상태 판단 장치 및 방법 |
KR102063766B1 (ko) * | 2013-09-17 | 2020-01-08 | 엘지전자 주식회사 | 이동 단말기 및 그것의 제어방법 |
US20170188927A1 (en) * | 2014-05-27 | 2017-07-06 | Nec Corporation | Emotion recognition device, emotion recognition method, and storage medium for storing emotion recognition program |
US9600743B2 (en) | 2014-06-27 | 2017-03-21 | International Business Machines Corporation | Directing field of vision based on personal interests |
US9471837B2 (en) | 2014-08-19 | 2016-10-18 | International Business Machines Corporation | Real-time analytics to identify visual objects of interest |
JP6727774B2 (ja) * | 2014-10-15 | 2020-07-22 | オムロン株式会社 | 特性評価装置、特性評価システム、特性評価方法、および特性評価プログラム |
WO2016071659A1 (en) * | 2014-11-06 | 2016-05-12 | Ieso Digital Health Limited | Analysing text-based messages sent between patients and therapists |
JP2016110631A (ja) | 2014-12-02 | 2016-06-20 | 三星電子株式会社Samsung Electronics Co.,Ltd. | 状態推定装置、状態推定方法およびプログラム |
EP3072446A1 (en) * | 2015-03-26 | 2016-09-28 | Digital for Mental Health | Mental suffering monitoring system |
US10902526B2 (en) * | 2015-03-30 | 2021-01-26 | Twiin, LLC | Systems and methods of generating consciousness affects |
CA2988416A1 (en) | 2015-06-15 | 2016-12-22 | Medibio Limited | Method and system for assessing mental state |
CN108135548A (zh) | 2015-06-15 | 2018-06-08 | Medibio有限公司 | 用于监测压力状态的方法和系统 |
JP6276895B2 (ja) | 2015-06-17 | 2018-02-07 | 株式会社日立製作所 | 気分スコア計算システム |
KR101726562B1 (ko) * | 2015-06-30 | 2017-04-13 | 주학진 | 감정 메시지 전달의 소셜 네트워크 서비스 방법 |
US10878308B2 (en) * | 2015-12-02 | 2020-12-29 | Abhishek Biswas | Method and system for detecting emotions based on typing behaviour |
EP3188039A1 (en) * | 2015-12-31 | 2017-07-05 | Dassault Systèmes | Recommendations based on predictive model |
US10332031B2 (en) | 2016-03-01 | 2019-06-25 | Wipro Limited | Method and system for recommending one or more events based on mood of a person |
KR102081220B1 (ko) * | 2016-08-10 | 2020-02-25 | 라인 가부시키가이샤 | 출력 효과를 제공하는 메신저 서비스 방법, 시스템 및 기록 매체 |
US10732722B1 (en) * | 2016-08-10 | 2020-08-04 | Emaww | Detecting emotions from micro-expressive free-form movements |
TWI764906B (zh) * | 2016-09-01 | 2022-05-21 | 日商和冠股份有限公司 | 座標輸入處理裝置、情感推定裝置、情感推定系統及情感推定用資料庫之構築裝置 |
JP2018055422A (ja) * | 2016-09-29 | 2018-04-05 | 株式会社東芝 | 情報処理システム、情報処理装置、情報処理方法、及びプログラム |
JP6781460B2 (ja) * | 2016-11-18 | 2020-11-04 | 国立大学法人電気通信大学 | 遠隔遊び支援システム、方法およびプログラム |
JP6551376B2 (ja) * | 2016-12-07 | 2019-07-31 | トヨタ自動車株式会社 | 負担感推定装置及び負担感推定プログラム |
US20180235540A1 (en) | 2017-02-21 | 2018-08-23 | Bose Corporation | Collecting biologically-relevant information using an earpiece |
DE102017205878A1 (de) * | 2017-04-06 | 2018-10-11 | Bundesdruckerei Gmbh | Verfahren und System zur Authentifizierung |
US10484320B2 (en) * | 2017-05-10 | 2019-11-19 | International Business Machines Corporation | Technology for multi-recipient electronic message modification based on recipient subset |
US10213157B2 (en) * | 2017-06-09 | 2019-02-26 | Bose Corporation | Active unipolar dry electrode open ear wireless headset and brain computer interface |
CN113974626B (zh) * | 2017-08-24 | 2023-03-10 | 华为技术有限公司 | 一种心理压力评估方法及设备 |
US10410655B2 (en) * | 2017-09-18 | 2019-09-10 | Fujitsu Limited | Estimating experienced emotions |
CN107704542B (zh) * | 2017-09-25 | 2020-08-25 | 联想(北京)有限公司 | 一种标记方法、装置及存储介质 |
JP7085331B2 (ja) * | 2017-10-17 | 2022-06-16 | 株式会社日立製作所 | 気分スコア計算装置および気分スコア計算方法 |
US10379535B2 (en) | 2017-10-24 | 2019-08-13 | Lear Corporation | Drowsiness sensing system |
US10836403B2 (en) | 2017-12-04 | 2020-11-17 | Lear Corporation | Distractedness sensing system |
US10867218B2 (en) | 2018-04-26 | 2020-12-15 | Lear Corporation | Biometric sensor fusion to classify vehicle passenger state |
US20190385711A1 (en) | 2018-06-19 | 2019-12-19 | Ellipsis Health, Inc. | Systems and methods for mental health assessment |
JP2021529382A (ja) | 2018-06-19 | 2021-10-28 | エリプシス・ヘルス・インコーポレイテッド | 精神的健康評価のためのシステム及び方法 |
KR102186059B1 (ko) * | 2019-04-22 | 2020-12-03 | 한국과학기술원 | 웨어러블 기기를 위한 상황 적응형 개인화 심리상태 표집 방법 및 장치 |
US11524691B2 (en) | 2019-07-29 | 2022-12-13 | Lear Corporation | System and method for controlling an interior environmental condition in a vehicle |
JP6840811B1 (ja) * | 2019-09-17 | 2021-03-10 | 三菱電機インフォメーションシステムズ株式会社 | アンケート入力装置、アンケート入力方法及びアンケート入力プログラム |
KR102354964B1 (ko) * | 2019-10-11 | 2022-01-24 | 주식회사 케이티앤지 | 교체 가능한 카트리지를 추천하는 에어로졸 생성 장치 및 에어로졸 생성 시스템 |
KR102427508B1 (ko) * | 2019-11-14 | 2022-08-01 | 주식회사 셀바스에이아이 | 인공 지능 기반의 정신 건강 관리를 위한 장치 및 방법 |
US11517233B2 (en) * | 2019-12-02 | 2022-12-06 | Navigate Labs, LLC | System and method for using computational linguistics to identify and attenuate mental health deterioration |
US11006877B1 (en) * | 2019-12-02 | 2021-05-18 | Navigate Labs, LLC | System and method for identifying and attenuating mental health deterioration |
US20220057218A1 (en) * | 2020-08-19 | 2022-02-24 | Here Global B.V. | Method and apparatus for automatic generation of context-based guidance information from behavior and context-based machine learning models |
KR102378412B1 (ko) * | 2020-09-01 | 2022-03-25 | 주식회사 인생노트에이아이 | 날씨 기반의 감정 지수 제공 방법 및 이를 위한 장치 |
KR102413181B1 (ko) * | 2020-09-23 | 2022-06-27 | (주)알에프캠프 | 모바일 디바이스, 사용자에 의해 발생된 드로잉 데이터를 이용하여 사용자와 관련된 정보를 판별하는 방법 및 컴퓨터 프로그램 |
KR102610787B1 (ko) * | 2020-12-28 | 2023-12-06 | 주식회사 텐덤 | 사용자의 성향 분석을 위한 설문 조사 데이터 분석 방법 및 시스템 |
KR102510023B1 (ko) * | 2021-01-21 | 2023-03-15 | (주)알에프캠프 | 사용자의 행동 데이터 또는 입력 데이터를 이용하여 사용자의 심리 상태를 판별하는 방법 및 컴퓨터 프로그램 |
US11944436B2 (en) | 2021-04-10 | 2024-04-02 | Koa Health Digital Solutions S. L. U. | Determining a stress level of a smartphone user based on the user's touch interactions and motion sensor data |
US11429188B1 (en) * | 2021-06-21 | 2022-08-30 | Sensie, LLC | Measuring self awareness utilizing a mobile computing device |
EP4198948A1 (en) * | 2021-12-20 | 2023-06-21 | BIC Violex Single Member S.A. | Personalized lecture generator |
KR102463875B1 (ko) * | 2022-10-11 | 2022-11-04 | 한동균 | 빅데이터를 활용한 사용자 맞춤 심리 치료 콘텐츠 제공 방법, 장치 및 시스템 |
KR102624653B1 (ko) | 2023-06-30 | 2024-01-15 | 주식회사 글로랑 | 대규모 언어 모델 기반 심리 상태 판단 방법 및 시스템 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010017451A (ja) * | 2008-07-14 | 2010-01-28 | Namco Bandai Games Inc | 情報提供装置 |
JP2010131280A (ja) * | 2008-12-08 | 2010-06-17 | Hitachi Ltd | 精神状態判定支援方法および装置 |
JP2012075708A (ja) * | 2010-10-01 | 2012-04-19 | Sharp Corp | ストレス状態推定装置、ストレス状態推定方法、プログラム、および記録媒体 |
Family Cites Families (39)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8364136B2 (en) * | 1999-02-01 | 2013-01-29 | Steven M Hoffberg | Mobile system, a method of operating mobile system and a non-transitory computer readable medium for a programmable control of a mobile system |
US6731307B1 (en) | 2000-10-30 | 2004-05-04 | Koninklije Philips Electronics N.V. | User interface/entertainment device that simulates personal interaction and responds to user's mental state and/or personality |
US7853863B2 (en) | 2001-12-12 | 2010-12-14 | Sony Corporation | Method for expressing emotion in a text message |
JP2003216294A (ja) | 2002-01-25 | 2003-07-31 | Victor Co Of Japan Ltd | ユーザインタフェース装置 |
KR100471669B1 (ko) | 2004-05-10 | 2005-03-14 | 에스케이 텔레콤주식회사 | 이동 통신 단말의 진동 장치를 이용한 감정 표현 방법 및이를 위한 이동 통신 단말 |
WO2005088993A1 (en) | 2004-03-17 | 2005-09-22 | Sk Telecom Co., Ltd. | Method and system for providing contents service to instant messenger program installed mobile communication terminal by using virtual talking companions |
JP2006130121A (ja) | 2004-11-08 | 2006-05-25 | Univ Nihon | 生体情報に基づく感情認識方法 |
KR100763238B1 (ko) * | 2006-05-26 | 2007-10-04 | 삼성전자주식회사 | 모바일 디바이스를 위한 특이성 탐지 장치 및 방법 |
JP2008205861A (ja) | 2007-02-20 | 2008-09-04 | Matsushita Electric Ind Co Ltd | 視聴質判定装置、視聴質判定方法、視聴質判定プログラム、および記録媒体 |
US20090002178A1 (en) | 2007-06-29 | 2009-01-01 | Microsoft Corporation | Dynamic mood sensing |
US8081164B2 (en) * | 2007-07-02 | 2011-12-20 | Research In Motion Limited | Controlling user input devices based upon detected attitude of a handheld electronic device |
KR101027406B1 (ko) | 2008-04-07 | 2011-04-11 | 가부시키가이샤 엔.티.티.도코모 | 감정 인식 메시지 시스템과, 이 시스템의 모바일 통신 단말및 메시지 기억 서버 |
KR101458139B1 (ko) * | 2008-09-18 | 2014-11-05 | 삼성전자 주식회사 | 연출규칙을 이용한 카메라웍 제어장치 및 그 제어방법 |
US20100223341A1 (en) * | 2009-02-27 | 2010-09-02 | Microsoft Corporation | Electronic messaging tailored to user interest |
CN101853259A (zh) | 2009-03-31 | 2010-10-06 | 国际商业机器公司 | 添加和处理带有情感数据的标签的方法和设备 |
US20100292545A1 (en) * | 2009-05-14 | 2010-11-18 | Advanced Brain Monitoring, Inc. | Interactive psychophysiological profiler method and system |
KR20090063202A (ko) | 2009-05-29 | 2009-06-17 | 포항공과대학교 산학협력단 | 감정 인식 장치 및 방법 |
EP3220180A1 (en) | 2009-06-16 | 2017-09-20 | INTEL Corporation | Camera applications in a handheld device |
CN201504263U (zh) | 2009-09-14 | 2010-06-09 | 幻音科技(深圳)有限公司 | 健康手机 |
US8500635B2 (en) * | 2009-09-17 | 2013-08-06 | Blife Inc. | Mobile system and method for addressing symptoms related to mental health conditions |
KR101654008B1 (ko) * | 2009-10-09 | 2016-09-09 | 삼성전자주식회사 | 음향신호 처리를 이용한 모바일 기기 및 상기 모바일 기기에서 수행되는 음향 신호 처리 방법 |
KR101678549B1 (ko) * | 2010-02-02 | 2016-11-23 | 삼성전자주식회사 | 표면 음향 신호를 이용한 유저 인터페이스 제공 장치 및 방법, 유저 인터페이스를 구비한 디바이스 |
EP2580732A4 (en) | 2010-06-07 | 2013-12-25 | Affectiva Inc | ANALYSIS OF A PSYCHIC CONDITION WITH THE HELP OF WEB SERVICES |
US20120011477A1 (en) | 2010-07-12 | 2012-01-12 | Nokia Corporation | User interfaces |
KR101726849B1 (ko) * | 2010-08-06 | 2017-04-13 | 삼성전자주식회사 | 휴대 단말, 휴대 단말을 이용한 위험 감지 장치 및 방법 |
AU2012200812B2 (en) * | 2011-05-04 | 2016-12-08 | National Ict Australia Limited | Measuring cognitive load |
KR101824388B1 (ko) * | 2011-06-10 | 2018-02-01 | 삼성전자주식회사 | 사용자의 신체특성을 고려한 동적 사용자 인터페이스 제공 장치 및 방법 |
KR101830767B1 (ko) * | 2011-07-14 | 2018-02-22 | 삼성전자주식회사 | 사용자의 감정 인식 장치 및 방법 |
KR101868597B1 (ko) * | 2011-09-20 | 2018-06-19 | 삼성전자 주식회사 | 올바른 기기사용자세 유도 장치 및 방법 |
US8873813B2 (en) * | 2012-09-17 | 2014-10-28 | Z Advanced Computing, Inc. | Application of Z-webs and Z-factors to analytics, search engine, learning, recognition, natural language, and other utilities |
KR101971715B1 (ko) * | 2012-06-21 | 2019-04-23 | 삼성전자 주식회사 | 모바일 단말 사용자의 몰입 위험 판단 장치 및 방법 |
US20140107531A1 (en) * | 2012-10-12 | 2014-04-17 | At&T Intellectual Property I, Lp | Inference of mental state using sensory data obtained from wearable sensors |
KR102011495B1 (ko) | 2012-11-09 | 2019-08-16 | 삼성전자 주식회사 | 사용자의 심리 상태 판단 장치 및 방법 |
US9781118B2 (en) * | 2013-03-14 | 2017-10-03 | Intel Corporation | Differentiated containerization and execution of web content based on trust level and other attributes |
KR20150010255A (ko) * | 2013-07-18 | 2015-01-28 | 삼성전자주식회사 | 습관을 이용한 진단 장치 및 진단 관리 장치와 그를 이용한 진단 방법 |
KR20150021842A (ko) * | 2013-08-21 | 2015-03-03 | 삼성전자주식회사 | 시스템 사용성 증진 장치, 방법 및 휴대 기기 |
KR102257910B1 (ko) * | 2014-05-02 | 2021-05-27 | 삼성전자주식회사 | 음성 인식 장치 및 방법, 잡음-음성 인식 모델 생성 장치 및 방법 |
KR20150144031A (ko) * | 2014-06-16 | 2015-12-24 | 삼성전자주식회사 | 음성 인식을 이용하는 사용자 인터페이스 제공 방법 및 사용자 인터페이스 제공 장치 |
WO2016006727A1 (ko) * | 2014-07-08 | 2016-01-14 | 삼성전자 주식회사 | 인지기능 검사 장치 및 방법 |
-
2012
- 2012-11-09 KR KR1020120126804A patent/KR102011495B1/ko active IP Right Grant
-
2013
- 2013-11-08 EP EP13192095.1A patent/EP2730223B1/en active Active
- 2013-11-08 US US14/075,391 patent/US9928462B2/en active Active
- 2013-11-11 JP JP2013233195A patent/JP6571310B2/ja active Active
- 2013-11-11 CN CN201310556675.XA patent/CN103809746B/zh active Active
-
2018
- 2018-01-29 US US15/882,135 patent/US10803389B2/en active Active
- 2018-08-02 JP JP2018146119A patent/JP6761837B2/ja active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010017451A (ja) * | 2008-07-14 | 2010-01-28 | Namco Bandai Games Inc | 情報提供装置 |
JP2010131280A (ja) * | 2008-12-08 | 2010-06-17 | Hitachi Ltd | 精神状態判定支援方法および装置 |
JP2012075708A (ja) * | 2010-10-01 | 2012-04-19 | Sharp Corp | ストレス状態推定装置、ストレス状態推定方法、プログラム、および記録媒体 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20210048369A (ko) * | 2019-10-23 | 2021-05-03 | 주식회사 라라랩스 | 컨텐츠 추천 시스템 및 이를 이용한 컨텐츠 추천 방법 |
KR102370688B1 (ko) * | 2019-10-23 | 2022-03-04 | 주식회사 라라랩스 | 컨텐츠 추천 시스템 및 이를 이용한 컨텐츠 추천 방법 |
Also Published As
Publication number | Publication date |
---|---|
JP6761837B2 (ja) | 2020-09-30 |
JP2014094291A (ja) | 2014-05-22 |
CN103809746A (zh) | 2014-05-21 |
EP2730223B1 (en) | 2022-04-06 |
US10803389B2 (en) | 2020-10-13 |
KR20140060112A (ko) | 2014-05-19 |
CN103809746B (zh) | 2018-06-22 |
US9928462B2 (en) | 2018-03-27 |
JP2018187441A (ja) | 2018-11-29 |
US20180150751A1 (en) | 2018-05-31 |
JP6571310B2 (ja) | 2019-09-04 |
US20140136450A1 (en) | 2014-05-15 |
EP2730223A1 (en) | 2014-05-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102011495B1 (ko) | 사용자의 심리 상태 판단 장치 및 방법 | |
KR102370261B1 (ko) | 가속화된 태스크 수행 | |
KR102452258B1 (ko) | 자연스러운 어시스턴트 상호작용 | |
CN106464758B (zh) | 利用用户信号来发起通信 | |
US20170132821A1 (en) | Caption generation for visual media | |
US20160063874A1 (en) | Emotionally intelligent systems | |
KR20130009123A (ko) | 사용자의 감정 인식 장치 및 방법 | |
Jain et al. | Gender recognition in smartphones using touchscreen gestures | |
CN105493187A (zh) | 用于动态调整视频回放速度的技术 | |
CN102160794A (zh) | 引起人类生理特征的变化的系统 | |
US11436265B2 (en) | System for presenting tailored content based on user sensibilities | |
Yu et al. | Inferring user profile attributes from multidimensional mobile phone sensory data | |
US10685650B2 (en) | Mobile terminal and method of controlling the same | |
Bakhtiyari et al. | Fuzzy model of dominance emotions in affective computing | |
CN111314771B (zh) | 一种视频播放方法及相关设备 | |
CN107562917B (zh) | 用户推荐方法及装置 | |
KR101567154B1 (ko) | 다중 사용자 기반의 대화 처리 방법 및 이를 수행하는 장치 | |
CN112995757A (zh) | 视频剪裁方法及装置 | |
CN115526602A (zh) | 备忘提醒方法、装置、终端及存储介质 | |
CN105515938B (zh) | 生成通信信息的方法和装置 | |
CN114816036A (zh) | 一种情绪处理方法、装置和介质 | |
Balducci et al. | Touch dynamics for affective states recognition: your smartphone knows how you feel since you unlock it. | |
US11295121B2 (en) | Context-based shape extraction and interpretation from hand-drawn ink input | |
KR102413181B1 (ko) | 모바일 디바이스, 사용자에 의해 발생된 드로잉 데이터를 이용하여 사용자와 관련된 정보를 판별하는 방법 및 컴퓨터 프로그램 | |
KR101374283B1 (ko) | 위치·시간·사용자별로 적용 가중치를 달리한 스와이프 패턴정보의 관계형 메타db 생성방법, 관계형 메타db에서 추출된 스와이프 패턴정보의 위치·시간의 가중치를 달리한 맞춤식 의미제공시스템 및 맞춤식 스와이프 사전제공시스템 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right |