KR102011495B1 - 사용자의 심리 상태 판단 장치 및 방법 - Google Patents

사용자의 심리 상태 판단 장치 및 방법 Download PDF

Info

Publication number
KR102011495B1
KR102011495B1 KR1020120126804A KR20120126804A KR102011495B1 KR 102011495 B1 KR102011495 B1 KR 102011495B1 KR 1020120126804 A KR1020120126804 A KR 1020120126804A KR 20120126804 A KR20120126804 A KR 20120126804A KR 102011495 B1 KR102011495 B1 KR 102011495B1
Authority
KR
South Korea
Prior art keywords
user
mental state
data
feature data
method
Prior art date
Application number
KR1020120126804A
Other languages
English (en)
Other versions
KR20140060112A (ko
Inventor
이호섭
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to KR1020120126804A priority Critical patent/KR102011495B1/ko
Publication of KR20140060112A publication Critical patent/KR20140060112A/ko
Application granted granted Critical
Publication of KR102011495B1 publication Critical patent/KR102011495B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06NCOMPUTER SYSTEMS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00Computer systems using knowledge-based models
    • G06N5/02Knowledge representation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Detecting, measuring or recording for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165Evaluating the state of mind, e.g. depression, anxiety
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06NCOMPUTER SYSTEMS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00Computer systems based on specific mathematical models
    • G06N7/005Probabilistic networks
    • G06N99/005
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Detecting, measuring or recording for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6887Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
    • A61B5/6898Portable consumer electronic devices, e.g. music players, telephones, tablet computers
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Detecting, measuring or recording for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7264Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00Arrangements for user-to-user messaging in packet-switching networks, e.g. e-mail or instant messages
    • H04L51/20Messaging using geographical location information

Abstract

단말에서 사용자의 심리 상태를 판단하는 장치에 관한 것으로, 그 장치는 사용자가 단말에서 텍스트를 입력할 때 발생하는 센서 데이터를 수집하는 데이터수집부, 센서 데이터로부터 텍스트 입력 습관에 관한 정보 및 상황 정보 중의 하나 이상을 포함하는 특징 데이터를 추출하는 데이터처리부 및 특징 데이터를 미리 구축된 추론 모델에 적용하여 사용자의 심리 상태를 판단하는 심리상태판단부를 포함할 수 있다.

Description

사용자의 심리 상태 판단 장치 및 방법{APPARATUS AND METHOD FOR DETERMINING USER'S MENTAL STATE}

단말에서 사용자의 심리 상태를 판단하는 장치 및 방법과 관련된다.

최근 출시되는 스마트폰, 태블릿 PC 등의 단말은 강력한 하드웨어 성능을 바탕으로 다양한 기능들을 제공하고 있다. 특히, 사용자가 처한 상황을 인식하여 그에 맞는 기능을 제공하는 상황 인식 서비스(context aware service)들이 활발히 시도되고 있다. 현재까지는 사용자의 위치 정보를 활용하여 제공하는 서비스, 예를 들어, 사용자들이 특정 음식점 앞에 가면 사용할 수 있는 쿠폰을 자동으로 제시하는 서비스 등이 주류를 이루고 있으며, 미래에는 사용자의 심리 상태 등과 같이 보다 의미 있는 사용자 정보에 기반한 지능형 서비스가 제공될 것으로 예상되고 있다.

그러나, 사용자의 심리 상태 중 감정을 인식하는 기술과 관련하여 아직까지는 사용자의 안면 영상을 분석하여 특정 얼굴 근육의 움직임을 특정 감정으로 매핑하는 기술 또는 사용자의 음성의 특징을 분석하여 특정 감정으로 매핑하는 기술 또는 사용자의 생체 신호의 특징을 분석하여 특정 감정으로 매핑하는 기술 등과 같이 주로 사용자의 신체적 반응을 분석대상으로 하는 수준에 머무르고 있다. 이와 같은, 사용자의 신체적 반응을 분석하는 감정 인식 기술은 사용자가 의도적으로 신체적 반응을 숨길 경우(무표정 등), 사용자 내면의 숨겨진 감정을 파악하기 쉽지 않고, 신체적 반응을 측정하기 위해 별도의 센서(피부전도도 센서 등)를 신체에 부착해야 하는 불편함을 초래하여 사용상 제약이 존재한다.

사용자가 단말을 통해 텍스트를 입력할 때 발생하는 데이터를 분석해 사용자의 심리 상태를 판단하는 장치 및 방법이 제시된다.

일 양상에 따르면, 사용자의 심리 상태 판단 장치는 사용자가 단말에서 텍스트를 입력할 때 발생하는 센서 데이터를 수집하는 데이터수집부, 센서 데이터로부터 텍스트 입력 습관에 관한 정보 및 상황 정보 중의 하나 이상을 포함하는 특징 데이터를 추출하는 데이터처리부 및 특징 데이터를 미리 구축된 추론 모델에 적용하여 사용자의 심리 상태를 판단하는 심리상태판단부를 포함할 수 있다.

이때, 센서 데이터는 단말에 내장된 터치스크린, 가속도센서, 방향센서, GPS, 조도 센서, 마이크로폰 및 소프트웨어 센서 중의 하나 이상을 포함하는 센서를 통해 측정될 수 있다.

또한, 텍스트 입력 습관에 관한 정보는, 키보드 입력 정보, 필기 입력 정보 및 단말 상태 정보 중의 하나 이상을 포함하고, 상황 정보는 위치, 날씨, 불쾌지수, 시간 및 평균 조도 중의 하나 이상을 포함할 수 있다.

추가적인 양상에 따르면, 사용자의 심리 상태 판단 장치는 특징 데이터가 추출되면 학습 데이터의 생성 단계인지 여부를 판단하고, 학습 데이터의 생성 단계라 판단되면 그 특징 데이터를 이용하여 학습 데이터를 생성하는 학습데이터생성부를 더 포함할 수 있고, 심리상태판단부는 학습데이터를 이용하여 추론 모델을 구축하고 학습시킬 수 있다.

학습데이터생성부는 추출된 특징 데이터에서 적어도 일부의 특징 데이터를 선택하고, 그 선택된 특징 데이터에 대하여 사용자에게 심리 상태를 질의하여 그 질의에 대한 사용자의 응답을 기초로 학습 데이터를 생성할 수 있다.

학습데이터생성부는 특징 선택 알고리즘 중의 어느 하나를 이용하여 추출된 특징 데이터에 대한 중요도를 계산하고, 그 중요도를 기초로 일부의 특징 데이터를 선택할 수 있다.

이때, 특징 선택 알고리즘은 정보 이득(Information Gain), 카이제곱분포(Chi-Sqaured Distribution) 및 상호정보(Mutual Information) 알고리즘을 포함할 수 있다.

이때, 심리 상태는 감정, 기분 및 스트레스 중의 하나 이상으로 분류되고, 분류된 각 심리 상태는 하나 이상의 하위 레벨로 분류될 수 있다.

심리상태판단부는 특징 데이터를 결정트리(Decision Tree) 및 나이브 베이즈 분류(Navie Bayes Classification) 알고리즘을 포함하는 지도학습(Supervised Learning) 알고리즘 중의 어느 하나를 이용하여 추론 모델에 적용할 수 있다.

또한, 사용자 심리 상태 판단 장치는 판단된 심리 상태에 기초하여 소정의 조치를 실행하는 조치실행부를 더 포함할 수 있다.

이때, 소정의 조치는 단말을 통해 사용자에게 판단된 심리 상태와 관련된 정보 제공, 심리 상태에 기초한 단말의 유저 인터페이스 제어 및 심리 상태의 판단 결과를 이용한 학습 데이터 갱신 중의 하나 이상을 포함할 수 있다.

일 양상에 따르면, 사용자의 심리 상태 판단 방법은 사용자가 단말에서 텍스트를 입력할 때 발생하는 센서 데이터를 수집하는 단계, 센서 데이터로부터 텍스트 입력 습관에 관한 정보 및 상황 정보 중의 하나 이상을 포함하는 특징 데이터를 추출하는 단계, 특징 데이터를 미리 구축된 추론 모델에 적용하여 사용자의 심리 상태를 판단하는 단계 및 판단된 심리 상태에 기초하여 소정의 조치를 실행하는 단계를 포함할 수 있다.

이때, 센서 데이터는 상기 단말에 내장된 터치스크린, 가속도센서, 방향센서, GPS, 조도 센서, 마이크로폰 및 소프트웨어 센서 중의 하나 이상을 포함하는 센서를 통해 측정될 수 있다.

텍스트 입력 습관에 관한 정보는 키보드 입력 정보, 필기 입력 정보 및 단말 상태 정보 중의 하나 이상을 포함하고, 상황 정보는 위치, 날씨, 불쾌지수, 시간 및 평균 조도 중의 하나 이상을 포함할 수 있다.

추가적인 양상에 따르면, 사용자의 심리 상태 판단 방법은 특징 데이터가 추출되면 학습 데이터의 생성 단계인지 여부를 판단하고, 학습 데이터의 생성 단계라 판단되면 그 특징 데이터를 이용하여 학습 데이터를 생성하는 단계를 더 포함할 수 있고, 심리 상태 판단 단계는 학습데이터를 이용하여 추론 모델을 구축하고 학습시킬 수 있다.

학습 데이터 생성 단계는 추출된 특징 데이터에서 적어도 일부의 특징 데이터를 선택하는 단계, 그 선택된 특징 데이터에 대하여 사용자에게 심리 상태를 질의하는 단계 및 그 질의에 대한 사용자의 응답을 기초로 학습 데이터를 생성하는 단계를 포함할 수 있다.

일부의 특징 데이터 선택 단계는 특징 선택 알고리즘 중의 어느 하나를 이용하여 추출된 특징 데이터에 대한 중요도를 계산하고, 그 중요도를 기초로 일부의 특징 데이터를 선택할 수 있다.

이때, 특징 선택 알고리즘은 정보 이득(Information Gain), 카이제곱분포(Chi-Sqaured Distribution) 및 상호정보(Mutual Information) 알고리즘을 포함할 수 있다.

이때, 심리 상태는 감정, 기분 및 스트레스 중의 하나 이상으로 분류되고, 분류된 각 심리 상태는 하나 이상의 하위 레벨로 분류될 수 있다.

심리 상태 판단 단계는 특징 데이터를 결정트리(Decision Tree) 및 나이브 베이즈 분류(Navie Bayes Classification) 알고리즘을 포함하는 지도학습(Supervised Learning) 알고리즘 중의 어느 하나를 이용하여 추론 모델에 적용할 수 있다.

또한, 사용자 심리 상태 판단 방법은 판단된 심리 상태에 기초하여 소정의 조치를 실행하는 단계를 더 포함할 수 있다.

이때, 소정의 조치는 단말을 통해 사용자에게 상기 판단된 심리 상태와 관련된 정보 제공, 심리 상태에 기초한 단말의 유저 인터페이스 제어 및 심리 상태의 판단 결과를 이용한 학습 데이터 갱신 중의 하나 이상을 포함할 수 있다.

일 양상에 따른 사용자 심리 상태 판단 방법은 사용자가 단말에 텍스트를 입력하는 속도를 추출하는 단계, 텍스트 입력 속도를 추론 모델에 적용하여 사용자의 심리 상태를 판단하는 단계 및 판단된 심리 상태에 기초하여 소정의 조치를 실행하는 단계를 포함할 수 있다.

추가적인 양상에 따르면, 사용자 심리 상태 판단 방법은 텍스트 입력 속도에 추가하여 사용자가 텍스트를 입력할 때 발생하는 다른 정보를 추출하고 추론 모델에 적용할 수 있다.

이때, 다른 정보는 단말의 위치 정보를 포함할 수 있다.

또한, 다른 정보는 날씨 정보를 포함할 수 있다.

또한, 다른 정보는 단말의 상태 정보를 포함할 수 있다.

이때, 단말의 상태 정보는 단말의 흔들림 횟수를 포함할 수 있다.

도 1은 일 실시예에 따른 사용자 심리 상태 판단 장치의 블록도이다.
도 2는 특징 데이터의 일 예이다.
도 3은 특징 데이터를 이용한 심리 상태 판단 결과의 일 예이다.
도 4는 학습 데이터 생성을 위한 질의의 예이다.
도 5는 일 실시예에 따른 사용자 심리 상태 판단 방법의 흐름도이다.
도 6은 다른 실시예에 따른 사용자 심리 상태 판단 방법의 흐름도이다.

기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다. 기재된 기술의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.

이하, 사용자 심리 상태 판단 장치 및 방법의 실시예들을 도면들을 참고하여 자세히 설명하도록 한다.

도 1은 일 실시예에 따른 사용자 심리 상태 판단 장치의 블록도이다. 도 1을 참조하면, 사용자 심리 상태 판단 장치(100)는 데이터수집부(110), 데이터처리부(120), 심리상태판단부(150) 및 조치실행부(160)를 포함한다.

데이터수집부(110)는 사용자가 단말에서 텍스트를 입력할 때 발생하는 센서 데이터를 수집한다. 여기서, 단말은 스마트폰, 태블릿PC, PDA 등의 이동 단말이 될 수 있으며, 사용자는 이동 단말을 이용하여 메일 확인, SNS(Social Network Service) 활동, 인터넷 검색, 모바일 메신저 등의 각종 작업들을 수행한다. 사용자가 이동 단말에서 이러한 작업들을 수행할 때 메시지 작성과 같은 텍스트 입력 행위가 이루어진다. 데이터수집부(110)는 이동 단말에 내장된 각종 센서, 예를 들어, 터치스크린, 가속도센서, 방향센서, GPS, 조도 센서, 마이크로폰 및 소프트웨어 센서 등을 통해 사용자가 메시지 작성 등과 같이 텍스트를 입력하는 도중에 발생되는 각종 센서 데이터를 수집한다.

데이터처리부(120)는 수집된 센서 데이터로부터 사용자 심리 상태 분석을 위한 특징 데이터를 추출한다. 사용자가 키보드 또는 스타일러스 펜 등을 이용하여 텍스트를 입력할 때 사용자의 심리 상태와 관련된 다양한 버릇이나 특징이 내포되어 있을 수 있다. 데이터처리부(120)는 센서 데이터로부터 사용자의 심리 상태에 따라 무의식적으로 달라질 수 있는 텍스트 입력 습관에 관한 정보를 특징 데이터로서 추출할 수 있다. 또한, 데이터처리부(120)는 텍스트를 입력할 때의 주변 상황에 따라 사용자의 심리 상태가 달라질 수 있는 점을 고려하여 주변 상황에 관한 정보 를 특징 데이터로서 추출할 수 있다. 다만, 특징 데이터는 이에 한정되는 것은 아니며, 사용자의 심리 상태를 반영할 수 있는 어떠한 센서 데이터들도 특징데이터로서 이용될 수 있다.

도 2는 특징 데이터의 일 예이다. 도 1 및 도 2를 참조하면, 데이터처리부(120)는 사용자가 텍스트(예: 메시지)를 입력하는 도중에 지속적으로 수집되는 센서 데이터 중에서 습관 정보로서 키보드 입력 정보, 필기 입력 정보 및 단말 상태 정보 중의 하나 이상을 특징 데이터로 추출할 수 있다. 키보드 입력 정보는 이동 단말의 전자 키보드 등을 통해 텍스트를 입력할 때 발생하는 데이터로서 도 2에 예시된 바와 같이 타자 속도, 가장 긴 텍스트의 길이, 백스페이스키 사용 빈도 등이 될 수 있다. 필기 입력 정보는 스타일러스 펜 등을 이용하여 텍스트를 입력할 때 발생하는 데이터로서 필기 입력 속도, 평균 필압, 문자획의 직진도의 평균 등을 포함할 수 있다. 단말 상태 정보는 기기 흔들림 횟수, 평균 기기 기울임 정도, 평균 배터리 잔량 및 평균 음량 등을 포함할 수 있다.

또한, 데이터처리부(120)는 텍스트 입력 도중의 특정 시점에 1회 이상 수집되는 상황 정보를 특징 데이터로서 추출할 수 있다. 상황 정보는 위치, 날씨, 불쾌지수, 시간, 평균 조도 및 메시지 수신자 정보 등을 포함할 수 있으며, 상황 정보 중의 적어도 일부(예: 위치, 날씨, 불쾌지수)는 소정 기준에 따라 1회 이상 추출될 수 있다. 예를 들어, 사용자가 이동하면서 텍스트를 입력하고 있는 경우 일정 거리만큼(예: 10M) 이동할 때마다 추출할 수 있다. 또는, 일정시간(예: 1분)이 경과할 때마다 추출하는 것도 가능하다. 메시지 수신자 정보는 사용자의 심리 상태에 따라 특정 수신자에 메시지를 송신하는 횟수 혹은 빈도가 증가할 가능성이 있음을 반영하기 위함이다.

심리상태판단부(150)는 추출된 특징 데이터를 추론 모델에 적용하여 사용자의 심리 상태를 판단할 수 있다. 심리상태판단부(150)는 미리 생성되어 있는 학습 데이터를 이용하여 추론 모델을 구축하고 학습시키며, 그 특징 데이터를 구축된 추론 모델에 적용하여 사용자의 심리 상태를 판단할 수 있다. 이때, 심리상태판단부(150)는 특징 데이터를 지도학습(Supervised Learning) 알고리즘 중의 어느 하나를 이용하여 추론 모델에 적용하여 심리 상태를 판단할 수 있다. 이때, 지도학습 알고리즘은 결정트리(Decision Tree), 나이브 베이즈 분류(Navie Bayes Classification) 알고리즘 등을 포함한다.

도 3은 특징 데이터를 이용한 심리 상태 판단 결과의 일 예이다. 도 1 및 도 3을 참조하면, 심리상태판단부(150)는 도 3에 예시된 바와 같이, 특징 데이터를 이용하여 사용자의 심리 상태를 분류할 수 있다. 이때, 심리 상태는 감정, 기분, 스트레스 중의 하나 이상을 포함할 수 있으며, 각 심리 상태는 다양한 하위 레벨로 분류될 수 있다. 예를 들어, 감정의 경우 행복, 기쁨, 슬픔, 놀람 등으로 분류될 수 있으며, 기분은 좋음, 보통, 우울 등으로 분류될 수 있다. 또한, 스트레스는 상, 중, 하로 분류될 수 있다. 심리상태판단부(150)는 도 3(a)에 예시된 바와 같이, 특징 데이터를 이용하여 하나의 심리 상태를 판단할 수 있다. 또는 도 3(b)에 예시된 바와 같이 둘 이상의 심리 상태를 판단할 수 있다.

도 3(a)는 키보드를 통한 타자 입력 속도가 분당 23타, 메시지를 작성하는 동안 백스페이스키 사용 빈도 3회, 특수 기호 사용 빈도 5회, 기기 흔들림 횟수 10회, 평균 조도 150Lux, 특정 위치(예: 도로)를 수치화한 값 3으로 특징 데이터가 추출된 경우, 이 특징 데이터를 추론 모델에 적용하여 분류한 감정 상태가 '놀람'인 것을 예시한 것이다. 도 3(b)는 스타일러스 펜 등을 통하여 텍스트를 입력할 때 추출되는 필기 속도, 평균 필압, 필기 입력 규칙성 등의 필기 입력 정보를 이용하여 심리 상태 중 감정 상태를 판단하고, 평균 배터리 잔량, 평균 음량 등의 단말 상태 정보를 이용하여 스트레스를 판단한 것을 예시한 것이다.

한편, 도 1을 참조하면, 사용자 심리 상태 판단 장치(100)는 학습데이터생성부(130) 및 학습데이터DB(140)를 더 포함할 수 있다.

학습데이터생성부(130)는 특징 데이터가 추출되면 학습 데이터의 생성 단계인지 여부를 판단하고, 학습 데이터 생성 단계라 판단되면 그 특징 데이터를 이용하여 학습데이터를 생성할 수 있다. 이때, 학습데이터생성부(130)는 사용자에게 학습 데이터 생성 여부를 질의하고 그 질의에 대하여 사용자가 학습 데이터를 생성하도록 요청하는 경우 또는 미리 설정된 소정 기준(예: 저장된 학습 데이터의 수가 일정값 이하인 경우)을 만족하는 경우 학습 데이터 생성 단계로 판단할 수 있다.

도 4는 학습 데이터 생성을 위한 질의의 예이다. 도 1 및 도 4를 참조하면, 학습데이터생성부(130)는 학습데이터 생성 단계라 판단되면, 추출된 특징 데이터에서 적어도 일부의 특징 데이터를 선택하고, 그 선택된 특징 데이터에 대하여 사용자에게 심리 상태를 질의하여 사용자의 응답을 기초로 학습 데이터를 생성할 수 있다.

좀 더 구체적으로, 학습데이터생성부(130)는 먼저 추출된 특징 데이터 중에서 추론 모델 구축에 필요한 의미 있는 특징 데이터들을 선택할 수 있다. 학습데이터생성부(130)는 추출된 특징 데이터에서 노이즈를 제거할 수 있다. 예를 들어, 추출된 특징 데이터를 수치화한 값의 대다수가 0 또는 Null인 경우 해당 특징 데이터를 노이즈로 판단할 수 있다. 또는 특징 데이터의 변화(예: 표준편차)가 소정 임계치에 미달하는 경우 해당 특징 데이터를 노이즈로 판단할 수 있다. 이때, 특징 데이터의 형태가 숫자가 아닌 명목형(Nominal)인 경우 해당 특징 데이터를 임의의 숫자로 변환하고 그 수치를 이용할 수 있다. 예를 들어, 현재 위치가 집이면 1, 회사이면 2, 도로이면 3과 같이 변환할 수 있다.

그 다음, 노이즈가 제거된 특징 데이터에서 중요도가 높은 일부의 특징 데이터를 선택할 수 있다. 이때, 학습데이터생성부(130)는 정보 이득(Information Gain), 카이제곱분포(Chi-Sqaured Distribution) 및 상호정보(Mutual Information) 알고리즘 등의 특징 선택 알고리즘을 이용하여 추출된 특징 데이터에 대한 중요도를 계산할 수 있으며, 계산된 중요도를 기초로 높은 중요도를 가지는 일부의 특징 데이터를 선택할 수 있다.

그 다음, 일부의 특징 데이터가 선택되면 도 4에 예시된 바와 같이 사용자에게 심리 상태를 질의하고, 사용자가 자신의 심리 상태를 선택하면 그 심리 상태를 특징 데이터에 색인 처리하여 학습 데이터를 생성하고 학습데이터DB(140)에 저장할 수 있다. 즉, 도 4에 예시된 바와 같이, 사용자가 단말에서 "오늘은 날씨가 좋구나!"와 같은 메시지를 작성하면 현재의 감정 상태를 선택할 수 있는 이모티콘을 단말에 표시하고, 사용자가 선택하는 이모티콘에 대응되는 감정 상태를 특징 데이터에 색인 처리하여 학습 데이터를 생성할 수 있다.

학습데이터생성부(130)는 사용자가 심리 상태를 용이하게 입력할 수 있도록 심리 상태에 대응되는 이모티콘 등을 단말을 통해 제공할 수 있으며, 사용자가 직접 자신의 심리 상태를 텍스트로 입력할 수 있도록 텍스트 입력 창을 제공할 수 있다. 학습데이터생성부(130)는 사용자가 이동 단말을 통해 텍스트를 입력한 직후의 심리 상태, 사용자가 이동을 잠시 멈춘 경우의 심리상태, 사용자가 복수의 메시지를 입력하는 경우 메시지 작성시 느꼈던 심리 상태에 대해 질의할 수 있다.

심리상태판단부(150)는 학습데이터생성부(130)에 의해 생성되어 학습데이터DB(140)에 저장된 학습 데이터를 이용하여 추론 모델을 구축하고 학습시킬 수 있다.

조치실행부(160)는 심리상태판단부(150)에 의해 심리 상태가 판단되면, 그 심리 상태에 따라 적절한 조치를 실행할 수 있다. 이때, 실행될 수 있는 조치는 단말을 통해 사용자에게 판단된 심리 상태와 관련된 정보를 제공하거나, 그 판단된 심리 상태에 기초하여 단말의 유저 인터페이스를 제어할 수 있다.

예를 들어, 사용자 본인, 지인 또는 의료진 등에게 현재의 심리 상태를 알려 주거나, 최근 한 달 동안 '행복' 감정을 느낀 횟수, 시간대, 장소 등을 그래프로 표시하는 것과 같이 누적된 심리 상태의 통계정보를 제공할 수 있다. 즉, 사용자가 문자 메시지, 이메일, SNS 게시물 작성시 느꼈던 심리 상태를 자동으로 기록하고, 이에 대한 정보를 적절히 가공하여 제공할 수 있다.

또는, 사용자의 심리 상태에 따라 단말의 유저인터페이스 테마(예: 글꼴, 색깔 등)를 자동으로 변경하거나, 사용자의 심리 상태에 적절한 컨텐츠(예: 음악, 게임, 영화 등)를 추천할 수 있다. 또는 사용자의 현재 감정이 슬픔인 경우 "모든 것은 마음 먹기 마련입니다. 힘내세요!"와 같이 현재 심리 상태에 적절한 대응 메시지를 표시할 수 있다. 이와 같은 조치가 대화형 소프트웨어 에이전트에 탑재되는 경우, 단말이 사용자의 심리 상태에 적절히 반응해 대화를 시도하는 것이 가능해진다.

또한, 사용자의 심리 상태가 판단되고, 그 진위 결과가 참인 경우 추출된 특징 데이터에 판단된 심리 상태를 색인 처리하여 학습 데이터를 갱신할 수 있다.

한편, 사용자 심리 상태 판단 장치(100)는 조치DB(170)를 더 포함할 수 있으며, 조치DB(170)는 심리 상태 판단시 실행할 각종 조치에 대한 정보를 저장할 수 있다. 예를 들어, 심리 상태에 따른 적절한 유저 인터페이스 구성방법, 심리상태별 추천 컨텐츠의 목록, 대응 메시지 등의 정보가 저장될 수 있다.

한편, 추가적인 양상에 따르면, 사용자 심리 상태 판단 장치(100)는 사용자인증부(미도시)를 더 포함할 수 있다. 즉, 사용자인증부(미도시)는 아이디/비밀번호, 공인인증서 등을 통한 로그인, 얼굴 인식 등을 통해 사용자 인증을 수행한다. 이때, 학습데이터는 각 사용자별로 생성되며, 추론 모델 역시 각 사용자별로 구축될 수 있다. 이를 통해, 하나의 이동 단말을 다수의 사용자가 사용하는 경우에도 각 사용자에 따른 최적화된 심리 상태 정보 제공이 가능해진다.

도 5는 일 실시예에 따른 사용자 심리 상태 판단 방법의 흐름도이다. 도 5를 참조하여 도 1의 사용자 심리 상태 판단 장치(100)를 통해 사용자의 심리 상태를 판단하는 방법의 일 실시예를 설명한다.

먼저, 사용자가 단말에서 텍스트를 입력할 때 발생하는 센서 데이터를 수집한다(단계 301). 사용자가 이동 단말을 이용하여 메일 확인, SNS(Social Network Service) 활동, 인터넷 검색, 모바일 메신저 등의 각종 작업들을 수행하면, 이동 단말에 내장된 각종 센서를 통해 텍스트 입력 시의 각종 센서 데이터를 수집한다.

그 다음, 수집된 센서 데이터로부터 사용자 심리 상태 분석을 위한 특징 데이터를 추출한다(단계 302). 특징 데이터는 사용자의 텍스트 입력 습관에 관한 정보, 주변 상황에 관한 정보 등이 될 수 있다. 텍스트 입력 습관 정보는 사용자가 텍스트를 입력하는 도중에 지속적으로 수집되는 센서 데이터 중에서 추출될 수 있으며, 예컨대 키보드 입력 정보, 필기 입력 정보 및 단말 상태 정보 중의 하나 이상을 포함할 수 있다. 또한, 상황정보는 위치, 날씨, 불쾌지수, 시간, 평균 조도 및 메시지 수신자 정보 등을 포함할 수 있으며, 텍스트 입력 도중의 특정 시점에 1회 이상 수집되는 센서 데이터로부터 추출될 수 있다.

그 다음, 특징 데이터가 추출되면 학습 데이터의 생성 단계인지 여부를 판단할 수 있다(단계 303). 예를 들어, 특징 데이터가 추출되면 미리 설정된 소정 기준(예: 저장된 학습 데이터의 수가 일정 값 이하인 경우)을 만족하는 경우 또는 사용자에게 학습 데이터 생성 여부를 질의하고 그 질의에 대하여 사용자가 학습 데이터를 생성하도록 요청하는 경우 학습 데이터 생성 단계로 판단할 수 있다.

그 다음, 학습 데이터 생성 단계라고 판단이 되면 추출된 특징 데이터를 이용하여 학습데이터를 생성할 수 있다(단계 304). 일 예로, 추출된 특징 데이터 또는 그 특징 데이터에서 노이즈를 제거하고 남은 특징 데이터에 대해 사용자에게 심리 상태를 질의하여 사용자가 입력한 심리 상태를 특징 데이터에 색인 처리함으로써 학습 데이터를 생성할 수 있다. 이때, 추출된 특징 데이터 또는 추출된 특징 데이터에서 노이즈가 제거되고 남은 특징 데이터 중에서 중요도를 기초로 적어도 일부의 특징 데이터를 선택하고, 그 선택된 일부의 특징 데이터에 대하여 학습 데이터를 생성하는 것도 가능하다. 특징 데이터의 중요도는 정보 이득(Information Gain), 카이제곱분포(Chi-Sqaured Distribution) 및 상호정보(Mutual Information) 알고리즘 등의 특징 선택 알고리즘을 이용하여 계산될 수 있다.

한편, 학습 데이터가 생성되면 다시 센서 데이터를 수집하는 단계(301)로 돌아갈 수 있다. 즉, 생성된 학습 데이터의 수가 미리 설정된 기준 값 이하이거나 또는 사용자의 개입에 의해 추론 모델을 구축하도록 설정된 경우 사용자의 추론 모델 구축 요청이 입력되지 않으면 생성된 학습 데이터가 아직 추론 모델을 구축하기에 충분하지 않다고 판단하고 다시 센서 데이터를 수집할 수 있다. 만약, 생성된 학습 데이터의 수가 미리 설정된 기준 값을 초과하거나 사용자의 요청이 입력되면 생성된 학습 데이터로 추론 모델을 구축하고 학습할 수 있다(단계 305).

그 다음, 특징 데이터를 구축된 추론 모델에 적용하여 심리 상태를 판단할 수 있다(단계 306). 이때, 결정트리(Decision Tree), 나이브 베이즈 분류(Naive Bayes Classification) 알고리즘 등의 지도학습(Supervised Learning) 알고리즘을 이용하여 특징 데이터를 추론 모델에 적용하여 심리 상태를 판단할 수 있다.

마지막으로, 심리 상태가 판단되면 그 심리 상태에 따라 적절한 조치를 실행할 수 있다(단계 307). 예를 들어, 단말을 통해 사용자 본인, 지인 또는 의료진 등에게 판단된 심리 상태와 관련된 정보를 제공할 수 있다. 즉, 사용자 본인에게 판단된 현재 심리 상태 및 현재 심리 상태에 적절한 대응 메시지를 표시할 수 있다. 또한, 지인 또는 의료진 등에게 사용자의 현재 심리 상태를 알려 주거나 누적된 심리 상태의 통계정보를 제공할 수 있다. 이러한 정보들은 사용자가 문자 메시지, 이메일, SNS 게시물 작성시 자동으로 기록되어 제공될 수 있다.

또 다른 예로, 판단된 심리 상태에 기초하여 단말의 유저 인터페이스를 제어할 수 있다. 즉, 사용자의 심리 상태에 따라 단말의 유저인터페이스 테마(예: 글꼴, 색깔 등)를 자동으로 변경하거나, 사용자의 심리 상태에 적절한 컨텐츠(예: 음악, 게임, 영화 등)를 추천할 수 있다.

또는, 판단된 심리 상태의 진위 결과가 참인 경우 추출된 특징 데이터에 판단된 심리 상태를 색인 처리하여 학습 데이터를 갱신할 수도 있다.

도 6은 다른 실시예에 따른 사용자 심리 상태 판단 방법의 흐름도이다. 도 5를 참조하여 도 1의 사용자 심리 상태 판단 장치(100)를 통해 사용자의 심리 상태를 판단하는 방법의 다른 실시예를 설명한다.

사용자가 단말에 텍스트를 입력하면 텍스트 입력 속도를 추출하고(단계 401), 텍스트 입력 속도를 추론 모델에 적용하여 사용자의 심리 상태를 판단할 수 있다(단계 402). 사용자가 메시지, 메모 등을 작성할 때 텍스트 입력 속도는 감정 상태에 따라 달라질 수 있으며, 추출된 텍스트 입력 속도 즉 타자 속도를 통해 나타나는 사용자의 심리 상태를 판단할 수 있다. 한편, 사용자의 심리 상태 판단시 텍스트 입력 속도에 추가하여 사용자가 텍스트를 입력할 때 발생하는 다른 정보를 더 추출할 수 있으며, 그 다른 정보를 추론 모델에 적용하여 사용자의 심리 상태를 판단할 수 있다. 이때, 다른 정보는 단말의 위치 정보, 날씨 정보 및 단말의 흔들림 횟수와 같은 단말의 상태 정보 등이 될 수 있다.

사용자의 심리 상태가 판단되면 판단된 심리 상태에 기초하여 소정의 조치를 실행할 수 있다(단계 403). 소정의 조치는 앞에서도 언급한 바와 같이 사용자 본인, 지인 또는 의료진 등에게 현재의 심리 상태를 알려 주거나, 누적된 심리 상태의 통계정보를 제공하는 것 등이 될 수 있다. 이러한 정보들은 사용자가 문자 메시지, 이메일, SNS 게시물 작성시 자동으로 기록되어 제공될 수 있다. 또는, 사용자의 심리 상태에 따라 단말의 유저인터페이스 테마(예: 글꼴, 색깔 등)를 자동으로 변경하거나, 사용자의 심리 상태에 적절한 컨텐츠(예: 음악, 게임, 영화 등)를 추천하는 것 또는 사용자의 현재 심리 상태에 적절한 대응 메시지를 표시하는 것이 될 수 있다.

한편, 본 실시 예들은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.

컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현하는 것을 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 실시예들을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술 분야의 프로그래머들에 의하여 용이하게 추론될 수 있다.

본 개시가 속하는 기술분야의 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.

100: 사용자 심리 상태 판단 장치 110: 데이터수집부
120: 데이터처리부 130: 학습데이터생성부
140: 학습데이터DB 150: 심리상태판단부
160: 조치실행부 170: 조치DB

Claims (28)

  1. 사용자가 단말에서 텍스트를 입력할 때 발생하는 센서 데이터를 수집하는 데이터수집부;
    상기 센서 데이터로부터 특징 데이터를 추출하는 데이터처리부; 및
    상기 특징 데이터를 구축된 추론 모델에 적용하여 사용자의 심리 상태를 판단하는 심리상태판단부;를 포함하고,
    상기 특징 데이터는 텍스트 입력 습관에 관한 정보 및 상황 정보를 포함하고, 상기 상황 정보는 위치, 날씨, 불쾌지수, 평균 조도 및 메시지 수신자 정보 중 하나 이상을 포함하는 사용자의 심리 상태 판단 장치.
  2. 제1항에 있어서, 상기 센서 데이터는,
    상기 단말에 내장된 터치스크린, 가속도센서, 방향센서, GPS, 조도 센서, 마이크로폰 및 소프트웨어 센서 중의 하나 이상을 포함하는 센서를 통해 측정되는 사용자의 심리 상태 판단 장치.
  3. 제1항에 있어서, 상기 텍스트 입력 습관에 관한 정보는,
    키보드 입력 정보, 필기 입력 정보 및 단말 상태 정보 중의 하나 이상을 포함하는 사용자의 심리 상태 판단 장치.
  4. 제1항에 있어서,
    특징 데이터가 추출되면 학습 데이터의 생성 단계인지 여부를 판단하고, 학습 데이터의 생성 단계라 판단되면 그 특징 데이터를 이용하여 학습 데이터를 생성하는 학습데이터생성부;를 더 포함하고,
    상기 심리상태판단부는,
    상기 학습데이터를 이용하여 상기 추론 모델을 구축하고 학습시키는 사용자의 심리 상태 판단 장치.
  5. 제4항에 있어서, 상기 학습데이터생성부는,
    상기 추출된 특징 데이터에서 적어도 일부의 특징 데이터를 선택하고, 그 선택된 특징 데이터에 대하여 사용자에게 심리 상태를 질의하여 그 질의에 대한 사용자의 응답을 기초로 학습 데이터를 생성하는 사용자의 심리 상태 판단 장치.
  6. 제5항에 있어서, 상기 학습데이터생성부는,
    특징 선택 알고리즘 중의 어느 하나를 이용하여 상기 추출된 특징 데이터에 대한 중요도를 계산하고, 그 중요도를 기초로 상기 적어도 일부의 특징 데이터를 선택하는 사용자의 심리 상태 판단 장치.
  7. 제6항에 있어서, 상기 특징 선택 알고리즘은,
    정보 이득(Information Gain), 카이제곱분포(Chi-Sqaured Distribution) 및 상호정보(Mutual Information) 알고리즘을 포함하는 사용자의 심리 상태 판단 장치.
  8. 제5항에 있어서, 상기 심리 상태는,
    감정, 기분 및 스트레스 중의 하나 이상으로 분류되고, 상기 분류된 각 심리 상태는 하나 이상의 하위 레벨로 분류되는 사용자의 심리 상태 판단 장치.
  9. 제1항에 있어서, 상기 심리상태판단부는,
    상기 특징 데이터를 결정트리(Decision Tree) 및 나이브 베이즈 분류(Navie Bayes Classification) 알고리즘을 포함하는 지도학습(Supervised Learning) 알고리즘 중의 어느 하나를 이용하여 상기 추론 모델에 적용하는 사용자의 심리 상태 판단 장치.
  10. 제1항에 있어서,
    상기 판단된 심리 상태에 기초하여 소정의 조치를 실행하는 조치실행부;를 더 포함하는 사용자의 심리 상태 판단 장치.
  11. 제10항에 있어서, 상기 소정의 조치는,
    단말을 통해 사용자에게 상기 판단된 심리 상태와 관련된 정보 제공, 상기 심리 상태에 기초한 단말의 유저 인터페이스 제어 및 상기 심리 상태의 판단 결과를 이용한 학습 데이터 갱신 중의 하나 이상을 포함하는 사용자의 심리 상태 판단 장치.
  12. 사용자가 단말에서 텍스트를 입력할 때 발생하는 센서 데이터를 수집하는 단계;
    상기 센서 데이터로부터 특징 데이터를 추출하는 단계; 및
    상기 특징 데이터를 구축된 추론 모델에 적용하여 사용자의 심리 상태를 판단하는 단계;를 포함하고,
    상기 특징 데이터는 텍스트 입력 습관에 관한 정보 및 상황 정보를 포함하고, 상기 상황 정보는 위치, 날씨, 불쾌지수, 평균 조도 및 메시지 수신자 정보 중의 하나 이상을 포함하는 사용자의 심리 상태 판단 방법.
  13. 제12항에 있어서, 상기 센서 데이터는,
    상기 단말에 내장된 터치스크린, 가속도센서, 방향센서, GPS, 조도 센서, 마이크로폰 및 소프트웨어 센서 중의 하나 이상을 포함하는 센서를 통해 측정되는 사용자의 심리 상태 판단 방법.
  14. 제12항에 있어서, 상기 텍스트 입력 습관에 관한 정보는,
    키보드 입력 정보, 필기 입력 정보 및 단말 상태 정보 중의 하나 이상을 포함하는 사용자의 심리 상태 판단 방법.
  15. 제12항에 있어서,
    특징 데이터가 추출되면 학습 데이터의 생성 단계인지 여부를 판단하고, 학습 데이터의 생성 단계라 판단되면 그 특징 데이터를 이용하여 학습 데이터를 생성하는 단계;를 더 포함하고,
    상기 심리 상태 판단 단계는,
    상기 학습데이터를 이용하여 상기 추론 모델을 구축하고 학습시키는 사용자의 심리 상태 판단 방법.
  16. 제15항에 있어서, 상기 학습 데이터 생성 단계는,
    상기 추출된 특징 데이터에서 적어도 일부의 특징 데이터를 선택하는 단계;
    그 선택된 특징 데이터에 대하여 사용자에게 심리 상태를 질의하는 단계; 및
    그 질의에 대한 사용자의 응답을 기초로 학습 데이터를 생성하는 단계;를 포함하는 사용자의 심리 상태 판단 방법.
  17. 제16항에 있어서, 상기 일부의 특징 데이터 선택 단계는,
    특징 선택 알고리즘 중의 어느 하나를 이용하여 상기 추출된 특징 데이터에 대한 중요도를 계산하고, 그 중요도를 기초로 상기 일부의 특징 데이터를 선택하는 사용자의 심리 상태 판단 방법.
  18. 제17항에 있어서, 상기 특징 선택 알고리즘은,
    정보 이득(Information Gain), 카이제곱분포(Chi-Sqaured Distribution) 및 상호정보(Mutual Information) 알고리즘을 포함하는 사용자의 심리 상태 판단 방법.
  19. 제15항에 있어서, 상기 심리 상태는,
    감정, 기분 및 스트레스 중의 하나 이상으로 분류되고, 상기 분류된 각 심리 상태는 하나 이상의 하위 레벨로 분류되는 사용자의 심리 상태 판단 방법.
  20. 제12항에 있어서, 상기 심리 상태 판단 단계는,
    상기 특징 데이터를 결정트리(Decision Tree) 및 나이브 베이즈 분류(Navie Bayes Classification) 알고리즘을 포함하는 지도학습(Supervised Learning) 알고리즘 중의 어느 하나를 이용하여 상기 추론 모델에 적용하는 사용자의 심리 상태 판단 방법.
  21. 제12항에 있어서,
    상기 판단된 심리 상태에 기초하여 소정의 조치를 실행하는 단계;를 더 포함하는 사용자의 심리 상태 판단 방법.
  22. 제21항에 있어서, 상기 소정의 조치는,
    단말을 통해 사용자에게 상기 판단된 심리 상태와 관련된 정보 제공, 상기 심리 상태에 기초한 단말의 유저 인터페이스 제어 및 상기 심리 상태의 판단 결과를 이용한 학습 데이터 갱신 중의 하나 이상을 포함하는 사용자의 심리 상태 판단 방법.
  23. 삭제
  24. 삭제
  25. 삭제
  26. 삭제
  27. 삭제
  28. 삭제
KR1020120126804A 2012-11-09 2012-11-09 사용자의 심리 상태 판단 장치 및 방법 KR102011495B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120126804A KR102011495B1 (ko) 2012-11-09 2012-11-09 사용자의 심리 상태 판단 장치 및 방법

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
KR1020120126804A KR102011495B1 (ko) 2012-11-09 2012-11-09 사용자의 심리 상태 판단 장치 및 방법
US14/075,391 US9928462B2 (en) 2012-11-09 2013-11-08 Apparatus and method for determining user's mental state
EP13192095.1A EP2730223A1 (en) 2012-11-09 2013-11-08 Apparatus and method for determining user's mental state
CN201310556675.XA CN103809746B (zh) 2012-11-09 2013-11-11 确定用户的精神状态的设备和方法
JP2013233195A JP6571310B2 (ja) 2012-11-09 2013-11-11 ユーザの心理状態判断装置及び方法
US15/882,135 US20180150751A1 (en) 2012-11-09 2018-01-29 Apparatus and method for determining user's mental state
JP2018146119A JP2018187441A (ja) 2012-11-09 2018-08-02 ユーザの心理状態判断装置及び方法

Publications (2)

Publication Number Publication Date
KR20140060112A KR20140060112A (ko) 2014-05-19
KR102011495B1 true KR102011495B1 (ko) 2019-08-16

Family

ID=49552226

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120126804A KR102011495B1 (ko) 2012-11-09 2012-11-09 사용자의 심리 상태 판단 장치 및 방법

Country Status (5)

Country Link
US (2) US9928462B2 (ko)
EP (1) EP2730223A1 (ko)
JP (2) JP6571310B2 (ko)
KR (1) KR102011495B1 (ko)
CN (1) CN103809746B (ko)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102011495B1 (ko) * 2012-11-09 2019-08-16 삼성전자 주식회사 사용자의 심리 상태 판단 장치 및 방법
KR102063766B1 (ko) * 2013-09-17 2020-01-08 엘지전자 주식회사 이동 단말기 및 그것의 제어방법
US20170188927A1 (en) * 2014-05-27 2017-07-06 Nec Corporation Emotion recognition device, emotion recognition method, and storage medium for storing emotion recognition program
US9600743B2 (en) 2014-06-27 2017-03-21 International Business Machines Corporation Directing field of vision based on personal interests
US9471837B2 (en) 2014-08-19 2016-10-18 International Business Machines Corporation Real-time analytics to identify visual objects of interest
JP2016081519A (ja) * 2014-10-15 2016-05-16 オムロン株式会社 特性評価装置、特性評価システム、特性評価方法、および特性評価プログラム
JP2016110631A (ja) * 2014-12-02 2016-06-20 三星電子株式会社Samsung Electronics Co.,Ltd. 状態推定装置、状態推定方法およびプログラム
EP3072446A1 (en) 2015-03-26 2016-09-28 Digital for Mental Health Mental suffering monitoring system
EP3307165A4 (en) 2015-06-15 2019-01-02 Medibio Limited Method and system for assessing mental state
AU2016278357A1 (en) 2015-06-15 2018-01-04 Medibio Limited Method and system for monitoring stress conditions
KR101726562B1 (ko) * 2015-06-30 2017-04-13 주학진 감정 메시지 전달의 소셜 네트워크 서비스 방법
US10332031B2 (en) 2016-03-01 2019-06-25 Wipro Limited Method and system for recommending one or more events based on mood of a person
KR102081220B1 (ko) * 2016-08-10 2020-02-25 라인 가부시키가이샤 출력 효과를 제공하는 메신저 서비스 방법, 시스템 및 기록 매체
DE102017205878A1 (de) * 2017-04-06 2018-10-11 Bundesdruckerei Gmbh Verfahren und System zur Authentifizierung
US10213157B2 (en) * 2017-06-09 2019-02-26 Bose Corporation Active unipolar dry electrode open ear wireless headset and brain computer interface
US10410655B2 (en) * 2017-09-18 2019-09-10 Fujitsu Limited Estimating experienced emotions
CN107704542A (zh) * 2017-09-25 2018-02-16 联想(北京)有限公司 一种标记方法、装置及存储介质
US10379535B2 (en) 2017-10-24 2019-08-13 Lear Corporation Drowsiness sensing system

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010017451A (ja) * 2008-07-14 2010-01-28 Namco Bandai Games Inc 情報提供装置
JP2010131280A (ja) * 2008-12-08 2010-06-17 Hitachi Ltd 精神状態判定支援方法および装置
JP2012075708A (ja) * 2010-10-01 2012-04-19 Sharp Corp ストレス状態推定装置、ストレス状態推定方法、プログラム、および記録媒体

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8364136B2 (en) * 1999-02-01 2013-01-29 Steven M Hoffberg Mobile system, a method of operating mobile system and a non-transitory computer readable medium for a programmable control of a mobile system
US6731307B1 (en) 2000-10-30 2004-05-04 Koninklije Philips Electronics N.V. User interface/entertainment device that simulates personal interaction and responds to user's mental state and/or personality
US7853863B2 (en) 2001-12-12 2010-12-14 Sony Corporation Method for expressing emotion in a text message
WO2005088993A1 (en) 2004-03-17 2005-09-22 Sk Telecom Co., Ltd. Method and system for providing contents service to instant messenger program installed mobile communication terminal by using virtual talking companions
KR100471669B1 (ko) 2004-05-10 2005-02-02 에스케이 텔레콤주식회사 이동 통신 단말의 진동 장치를 이용한 감정 표현 방법 및이를 위한 이동 통신 단말
KR100763238B1 (ko) 2006-05-26 2007-10-04 삼성전자주식회사 모바일 디바이스를 위한 특이성 탐지 장치 및 방법
JP2008205861A (ja) 2007-02-20 2008-09-04 Matsushita Electric Ind Co Ltd 視聴質判定装置、視聴質判定方法、視聴質判定プログラム、および記録媒体
US20090002178A1 (en) 2007-06-29 2009-01-01 Microsoft Corporation Dynamic mood sensing
US8081164B2 (en) * 2007-07-02 2011-12-20 Research In Motion Limited Controlling user input devices based upon detected attitude of a handheld electronic device
KR101027406B1 (ko) 2008-04-07 2011-04-11 가부시키가이샤 엔.티.티.도코모 감정 인식 메시지 시스템과, 이 시스템의 모바일 통신 단말및 메시지 기억 서버
KR101458139B1 (ko) * 2008-09-18 2014-11-05 삼성전자 주식회사 연출규칙을 이용한 카메라웍 제어장치 및 그 제어방법
US20100223341A1 (en) 2009-02-27 2010-09-02 Microsoft Corporation Electronic messaging tailored to user interest
CN101853259A (zh) 2009-03-31 2010-10-06 国际商业机器公司 添加和处理带有情感数据的标签的方法和设备
US20100292545A1 (en) * 2009-05-14 2010-11-18 Advanced Brain Monitoring, Inc. Interactive psychophysiological profiler method and system
KR20090063202A (ko) 2009-05-29 2009-06-17 포항공과대학교 산학협력단 감정 인식 장치 및 방법
CN102447838A (zh) 2009-06-16 2012-05-09 英特尔公司 手持装置中的摄像机应用
CN201504263U (zh) 2009-09-14 2010-06-09 幻音科技(深圳)有限公司 健康手机
US8500635B2 (en) * 2009-09-17 2013-08-06 Blife Inc. Mobile system and method for addressing symptoms related to mental health conditions
KR101654008B1 (ko) * 2009-10-09 2016-09-09 삼성전자주식회사 음향신호 처리를 이용한 모바일 기기 및 상기 모바일 기기에서 수행되는 음향 신호 처리 방법
AU2011265090A1 (en) 2010-06-07 2012-11-29 Affectiva,Inc. Mental state analysis using web services
US20120011477A1 (en) 2010-07-12 2012-01-12 Nokia Corporation User interfaces
KR101726849B1 (ko) * 2010-08-06 2017-04-13 삼성전자주식회사 휴대 단말, 휴대 단말을 이용한 위험 감지 장치 및 방법
US9652996B2 (en) * 2011-05-04 2017-05-16 National Ict Australia Limited Measuring cognitive load
KR101824388B1 (ko) * 2011-06-10 2018-02-01 삼성전자주식회사 사용자의 신체특성을 고려한 동적 사용자 인터페이스 제공 장치 및 방법
KR101830767B1 (ko) * 2011-07-14 2018-02-22 삼성전자주식회사 사용자의 감정 인식 장치 및 방법
KR101868597B1 (ko) * 2011-09-20 2018-06-19 삼성전자 주식회사 올바른 기기사용자세 유도 장치 및 방법
KR101971715B1 (ko) * 2012-06-21 2019-04-23 삼성전자 주식회사 모바일 단말 사용자의 몰입 위험 판단 장치 및 방법
US8873813B2 (en) * 2012-09-17 2014-10-28 Z Advanced Computing, Inc. Application of Z-webs and Z-factors to analytics, search engine, learning, recognition, natural language, and other utilities
US20140107531A1 (en) * 2012-10-12 2014-04-17 At&T Intellectual Property I, Lp Inference of mental state using sensory data obtained from wearable sensors
KR102011495B1 (ko) * 2012-11-09 2019-08-16 삼성전자 주식회사 사용자의 심리 상태 판단 장치 및 방법
KR20150010255A (ko) * 2013-07-18 2015-01-28 삼성전자주식회사 습관을 이용한 진단 장치 및 진단 관리 장치와 그를 이용한 진단 방법
KR20150021842A (ko) * 2013-08-21 2015-03-03 삼성전자주식회사 시스템 사용성 증진 장치, 방법 및 휴대 기기
KR20150126214A (ko) * 2014-05-02 2015-11-11 삼성전자주식회사 음성 인식 장치 및 방법, 잡음-음성 인식 모델 생성 장치 및 방법
KR20150144031A (ko) * 2014-06-16 2015-12-24 삼성전자주식회사 음성 인식을 이용하는 사용자 인터페이스 제공 방법 및 사용자 인터페이스 제공 장치
WO2016006727A1 (ko) * 2014-07-08 2016-01-14 삼성전자 주식회사 인지기능 검사 장치 및 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010017451A (ja) * 2008-07-14 2010-01-28 Namco Bandai Games Inc 情報提供装置
JP2010131280A (ja) * 2008-12-08 2010-06-17 Hitachi Ltd 精神状態判定支援方法および装置
JP2012075708A (ja) * 2010-10-01 2012-04-19 Sharp Corp ストレス状態推定装置、ストレス状態推定方法、プログラム、および記録媒体

Also Published As

Publication number Publication date
EP2730223A1 (en) 2014-05-14
US20180150751A1 (en) 2018-05-31
CN103809746A (zh) 2014-05-21
JP2014094291A (ja) 2014-05-22
US20140136450A1 (en) 2014-05-15
CN103809746B (zh) 2018-06-22
KR20140060112A (ko) 2014-05-19
JP6571310B2 (ja) 2019-09-04
JP2018187441A (ja) 2018-11-29
US9928462B2 (en) 2018-03-27

Similar Documents

Publication Publication Date Title
Sitová et al. HMOG: New behavioral biometric features for continuous authentication of smartphone users
US10529332B2 (en) Virtual assistant activation
DK179343B1 (en) Intelligent task discovery
Kambourakis et al. Introducing touchstroke: keystroke‐based authentication system for smartphones
US10255907B2 (en) Automatic accent detection using acoustic models
DK179415B1 (en) Intelligent device arbitration and control
US20160357728A1 (en) Language identification from short strings
US20170068513A1 (en) Zero latency digital assistant
US10567477B2 (en) Virtual assistant continuity
AU2018100187A4 (en) Intelligent device arbitration and control
US20160371372A1 (en) Music Recommendation Based on Biometric and Motion Sensors on Mobile Device
AU2015202943B2 (en) Reducing the need for manual start/end-pointing and trigger phrases
US9721566B2 (en) Competing devices responding to voice triggers
US9865280B2 (en) Structured dictation using intelligent automated assistants
AU2017100581B4 (en) Intelligent automated assistant for media exploration
US9760559B2 (en) Predictive text input
US10126826B2 (en) System and method for interaction with digital devices
US20170132019A1 (en) Intelligent automated assistant in a messaging environment
CN204946542U (zh) 电子设备
US20160378747A1 (en) Virtual assistant for media playback
US20200081544A1 (en) Method and apparatus for providing sight independent activity reports responsive to a touch gesture
US9875741B2 (en) Selective speech recognition for chat and digital personal assistant systems
US10275022B2 (en) Audio-visual interaction with user devices
US20170357633A1 (en) Dynamic phrase expansion of language input
DE202017000991U1 (de) Identifikation von Spracheingaben zum Bereitstellen von Anmeldeinformationen

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right