KR20140060112A

KR20140060112A - 사용자의 심리 상태 판단 장치 및 방법

Info

Publication number: KR20140060112A
Application number: KR1020120126804A
Authority: KR
Inventors: 이호섭
Original assignee: 삼성전자주식회사
Priority date: 2012-11-09
Filing date: 2012-11-09
Publication date: 2014-05-19
Also published as: JP2018187441A; KR102011495B1; CN103809746B; US20140136450A1; US10803389B2; JP6761837B2; EP2730223A1; US9928462B2; JP6571310B2; EP2730223B1; JP2014094291A; US20180150751A1; CN103809746A

Abstract

단말에서 사용자의 심리 상태를 판단하는 장치에 관한 것으로, 그 장치는 사용자가 단말에서 텍스트를 입력할 때 발생하는 센서 데이터를 수집하는 데이터수집부, 센서 데이터로부터 텍스트 입력 습관에 관한 정보 및 상황 정보 중의 하나 이상을 포함하는 특징 데이터를 추출하는 데이터처리부 및 특징 데이터를 미리 구축된 추론 모델에 적용하여 사용자의 심리 상태를 판단하는 심리상태판단부를 포함할 수 있다.

Description

사용자의 심리 상태 판단 장치 및 방법{APPARATUS AND METHOD FOR DETERMINING USER'S MENTAL STATE}

단말에서 사용자의 심리 상태를 판단하는 장치 및 방법과 관련된다.

최근 출시되는 스마트폰, 태블릿 PC 등의 단말은 강력한 하드웨어 성능을 바탕으로 다양한 기능들을 제공하고 있다. 특히, 사용자가 처한 상황을 인식하여 그에 맞는 기능을 제공하는 상황 인식 서비스(context aware service)들이 활발히 시도되고 있다. 현재까지는 사용자의 위치 정보를 활용하여 제공하는 서비스, 예를 들어, 사용자들이 특정 음식점 앞에 가면 사용할 수 있는 쿠폰을 자동으로 제시하는 서비스 등이 주류를 이루고 있으며, 미래에는 사용자의 심리 상태 등과 같이 보다 의미 있는 사용자 정보에 기반한 지능형 서비스가 제공될 것으로 예상되고 있다.

그러나, 사용자의 심리 상태 중 감정을 인식하는 기술과 관련하여 아직까지는 사용자의 안면 영상을 분석하여 특정 얼굴 근육의 움직임을 특정 감정으로 매핑하는 기술 또는 사용자의 음성의 특징을 분석하여 특정 감정으로 매핑하는 기술 또는 사용자의 생체 신호의 특징을 분석하여 특정 감정으로 매핑하는 기술 등과 같이 주로 사용자의 신체적 반응을 분석대상으로 하는 수준에 머무르고 있다. 이와 같은, 사용자의 신체적 반응을 분석하는 감정 인식 기술은 사용자가 의도적으로 신체적 반응을 숨길 경우(무표정 등), 사용자 내면의 숨겨진 감정을 파악하기 쉽지 않고, 신체적 반응을 측정하기 위해 별도의 센서(피부전도도 센서 등)를 신체에 부착해야 하는 불편함을 초래하여 사용상 제약이 존재한다.

사용자가 단말을 통해 텍스트를 입력할 때 발생하는 데이터를 분석해 사용자의 심리 상태를 판단하는 장치 및 방법이 제시된다.

일 양상에 따르면, 사용자의 심리 상태 판단 장치는 사용자가 단말에서 텍스트를 입력할 때 발생하는 센서 데이터를 수집하는 데이터수집부, 센서 데이터로부터 텍스트 입력 습관에 관한 정보 및 상황 정보 중의 하나 이상을 포함하는 특징 데이터를 추출하는 데이터처리부 및 특징 데이터를 미리 구축된 추론 모델에 적용하여 사용자의 심리 상태를 판단하는 심리상태판단부를 포함할 수 있다.

이때, 센서 데이터는 단말에 내장된 터치스크린, 가속도센서, 방향센서, GPS, 조도 센서, 마이크로폰 및 소프트웨어 센서 중의 하나 이상을 포함하는 센서를 통해 측정될 수 있다.

또한, 텍스트 입력 습관에 관한 정보는, 키보드 입력 정보, 필기 입력 정보 및 단말 상태 정보 중의 하나 이상을 포함하고, 상황 정보는 위치, 날씨, 불쾌지수, 시간 및 평균 조도 중의 하나 이상을 포함할 수 있다.

추가적인 양상에 따르면, 사용자의 심리 상태 판단 장치는 특징 데이터가 추출되면 학습 데이터의 생성 단계인지 여부를 판단하고, 학습 데이터의 생성 단계라 판단되면 그 특징 데이터를 이용하여 학습 데이터를 생성하는 학습데이터생성부를 더 포함할 수 있고, 심리상태판단부는 학습데이터를 이용하여 추론 모델을 구축하고 학습시킬 수 있다.

학습데이터생성부는 추출된 특징 데이터에서 적어도 일부의 특징 데이터를 선택하고, 그 선택된 특징 데이터에 대하여 사용자에게 심리 상태를 질의하여 그 질의에 대한 사용자의 응답을 기초로 학습 데이터를 생성할 수 있다.

학습데이터생성부는 특징 선택 알고리즘 중의 어느 하나를 이용하여 추출된 특징 데이터에 대한 중요도를 계산하고, 그 중요도를 기초로 일부의 특징 데이터를 선택할 수 있다.

이때, 특징 선택 알고리즘은 정보 이득(Information Gain), 카이제곱분포(Chi-Sqaured Distribution) 및 상호정보(Mutual Information) 알고리즘을 포함할 수 있다.

이때, 심리 상태는 감정, 기분 및 스트레스 중의 하나 이상으로 분류되고, 분류된 각 심리 상태는 하나 이상의 하위 레벨로 분류될 수 있다.

심리상태판단부는 특징 데이터를 결정트리(Decision Tree) 및 나이브 베이즈 분류(Navie Bayes Classification) 알고리즘을 포함하는 지도학습(Supervised Learning) 알고리즘 중의 어느 하나를 이용하여 추론 모델에 적용할 수 있다.

또한, 사용자 심리 상태 판단 장치는 판단된 심리 상태에 기초하여 소정의 조치를 실행하는 조치실행부를 더 포함할 수 있다.

이때, 소정의 조치는 단말을 통해 사용자에게 판단된 심리 상태와 관련된 정보 제공, 심리 상태에 기초한 단말의 유저 인터페이스 제어 및 심리 상태의 판단 결과를 이용한 학습 데이터 갱신 중의 하나 이상을 포함할 수 있다.

일 양상에 따르면, 사용자의 심리 상태 판단 방법은 사용자가 단말에서 텍스트를 입력할 때 발생하는 센서 데이터를 수집하는 단계, 센서 데이터로부터 텍스트 입력 습관에 관한 정보 및 상황 정보 중의 하나 이상을 포함하는 특징 데이터를 추출하는 단계, 특징 데이터를 미리 구축된 추론 모델에 적용하여 사용자의 심리 상태를 판단하는 단계 및 판단된 심리 상태에 기초하여 소정의 조치를 실행하는 단계를 포함할 수 있다.

이때, 센서 데이터는 상기 단말에 내장된 터치스크린, 가속도센서, 방향센서, GPS, 조도 센서, 마이크로폰 및 소프트웨어 센서 중의 하나 이상을 포함하는 센서를 통해 측정될 수 있다.

텍스트 입력 습관에 관한 정보는 키보드 입력 정보, 필기 입력 정보 및 단말 상태 정보 중의 하나 이상을 포함하고, 상황 정보는 위치, 날씨, 불쾌지수, 시간 및 평균 조도 중의 하나 이상을 포함할 수 있다.

추가적인 양상에 따르면, 사용자의 심리 상태 판단 방법은 특징 데이터가 추출되면 학습 데이터의 생성 단계인지 여부를 판단하고, 학습 데이터의 생성 단계라 판단되면 그 특징 데이터를 이용하여 학습 데이터를 생성하는 단계를 더 포함할 수 있고, 심리 상태 판단 단계는 학습데이터를 이용하여 추론 모델을 구축하고 학습시킬 수 있다.

학습 데이터 생성 단계는 추출된 특징 데이터에서 적어도 일부의 특징 데이터를 선택하는 단계, 그 선택된 특징 데이터에 대하여 사용자에게 심리 상태를 질의하는 단계 및 그 질의에 대한 사용자의 응답을 기초로 학습 데이터를 생성하는 단계를 포함할 수 있다.

일부의 특징 데이터 선택 단계는 특징 선택 알고리즘 중의 어느 하나를 이용하여 추출된 특징 데이터에 대한 중요도를 계산하고, 그 중요도를 기초로 일부의 특징 데이터를 선택할 수 있다.

심리 상태 판단 단계는 특징 데이터를 결정트리(Decision Tree) 및 나이브 베이즈 분류(Navie Bayes Classification) 알고리즘을 포함하는 지도학습(Supervised Learning) 알고리즘 중의 어느 하나를 이용하여 추론 모델에 적용할 수 있다.

또한, 사용자 심리 상태 판단 방법은 판단된 심리 상태에 기초하여 소정의 조치를 실행하는 단계를 더 포함할 수 있다.

이때, 소정의 조치는 단말을 통해 사용자에게 상기 판단된 심리 상태와 관련된 정보 제공, 심리 상태에 기초한 단말의 유저 인터페이스 제어 및 심리 상태의 판단 결과를 이용한 학습 데이터 갱신 중의 하나 이상을 포함할 수 있다.

일 양상에 따른 사용자 심리 상태 판단 방법은 사용자가 단말에 텍스트를 입력하는 속도를 추출하는 단계, 텍스트 입력 속도를 추론 모델에 적용하여 사용자의 심리 상태를 판단하는 단계 및 판단된 심리 상태에 기초하여 소정의 조치를 실행하는 단계를 포함할 수 있다.

추가적인 양상에 따르면, 사용자 심리 상태 판단 방법은 텍스트 입력 속도에 추가하여 사용자가 텍스트를 입력할 때 발생하는 다른 정보를 추출하고 추론 모델에 적용할 수 있다.

이때, 다른 정보는 단말의 위치 정보를 포함할 수 있다.

또한, 다른 정보는 날씨 정보를 포함할 수 있다.

또한, 다른 정보는 단말의 상태 정보를 포함할 수 있다.

이때, 단말의 상태 정보는 단말의 흔들림 횟수를 포함할 수 있다.

도 1은 일 실시예에 따른 사용자 심리 상태 판단 장치의 블록도이다.
도 2는 특징 데이터의 일 예이다.
도 3은 특징 데이터를 이용한 심리 상태 판단 결과의 일 예이다.
도 4는 학습 데이터 생성을 위한 질의의 예이다.
도 5는 일 실시예에 따른 사용자 심리 상태 판단 방법의 흐름도이다.
도 6은 다른 실시예에 따른 사용자 심리 상태 판단 방법의 흐름도이다.

기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다. 기재된 기술의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.

이하, 사용자 심리 상태 판단 장치 및 방법의 실시예들을 도면들을 참고하여 자세히 설명하도록 한다.

도 1은 일 실시예에 따른 사용자 심리 상태 판단 장치의 블록도이다. 도 1을 참조하면, 사용자 심리 상태 판단 장치(100)는 데이터수집부(110), 데이터처리부(120), 심리상태판단부(150) 및 조치실행부(160)를 포함한다.

데이터수집부(110)는 사용자가 단말에서 텍스트를 입력할 때 발생하는 센서 데이터를 수집한다. 여기서, 단말은 스마트폰, 태블릿PC, PDA 등의 이동 단말이 될 수 있으며, 사용자는 이동 단말을 이용하여 메일 확인, SNS(Social Network Service) 활동, 인터넷 검색, 모바일 메신저 등의 각종 작업들을 수행한다. 사용자가 이동 단말에서 이러한 작업들을 수행할 때 메시지 작성과 같은 텍스트 입력 행위가 이루어진다. 데이터수집부(110)는 이동 단말에 내장된 각종 센서, 예를 들어, 터치스크린, 가속도센서, 방향센서, GPS, 조도 센서, 마이크로폰 및 소프트웨어 센서 등을 통해 사용자가 메시지 작성 등과 같이 텍스트를 입력하는 도중에 발생되는 각종 센서 데이터를 수집한다.

데이터처리부(120)는 수집된 센서 데이터로부터 사용자 심리 상태 분석을 위한 특징 데이터를 추출한다. 사용자가 키보드 또는 스타일러스 펜 등을 이용하여 텍스트를 입력할 때 사용자의 심리 상태와 관련된 다양한 버릇이나 특징이 내포되어 있을 수 있다. 데이터처리부(120)는 센서 데이터로부터 사용자의 심리 상태에 따라 무의식적으로 달라질 수 있는 텍스트 입력 습관에 관한 정보를 특징 데이터로서 추출할 수 있다. 또한, 데이터처리부(120)는 텍스트를 입력할 때의 주변 상황에 따라 사용자의 심리 상태가 달라질 수 있는 점을 고려하여 주변 상황에 관한 정보 를 특징 데이터로서 추출할 수 있다. 다만, 특징 데이터는 이에 한정되는 것은 아니며, 사용자의 심리 상태를 반영할 수 있는 어떠한 센서 데이터들도 특징데이터로서 이용될 수 있다.

도 2는 특징 데이터의 일 예이다. 도 1 및 도 2를 참조하면, 데이터처리부(120)는 사용자가 텍스트(예: 메시지)를 입력하는 도중에 지속적으로 수집되는 센서 데이터 중에서 습관 정보로서 키보드 입력 정보, 필기 입력 정보 및 단말 상태 정보 중의 하나 이상을 특징 데이터로 추출할 수 있다. 키보드 입력 정보는 이동 단말의 전자 키보드 등을 통해 텍스트를 입력할 때 발생하는 데이터로서 도 2에 예시된 바와 같이 타자 속도, 가장 긴 텍스트의 길이, 백스페이스키 사용 빈도 등이 될 수 있다. 필기 입력 정보는 스타일러스 펜 등을 이용하여 텍스트를 입력할 때 발생하는 데이터로서 필기 입력 속도, 평균 필압, 문자획의 직진도의 평균 등을 포함할 수 있다. 단말 상태 정보는 기기 흔들림 횟수, 평균 기기 기울임 정도, 평균 배터리 잔량 및 평균 음량 등을 포함할 수 있다.

또한, 데이터처리부(120)는 텍스트 입력 도중의 특정 시점에 1회 이상 수집되는 상황 정보를 특징 데이터로서 추출할 수 있다. 상황 정보는 위치, 날씨, 불쾌지수, 시간, 평균 조도 및 메시지 수신자 정보 등을 포함할 수 있으며, 상황 정보 중의 적어도 일부(예: 위치, 날씨, 불쾌지수)는 소정 기준에 따라 1회 이상 추출될 수 있다. 예를 들어, 사용자가 이동하면서 텍스트를 입력하고 있는 경우 일정 거리만큼(예: 10M) 이동할 때마다 추출할 수 있다. 또는, 일정시간(예: 1분)이 경과할 때마다 추출하는 것도 가능하다. 메시지 수신자 정보는 사용자의 심리 상태에 따라 특정 수신자에 메시지를 송신하는 횟수 혹은 빈도가 증가할 가능성이 있음을 반영하기 위함이다.

심리상태판단부(150)는 추출된 특징 데이터를 추론 모델에 적용하여 사용자의 심리 상태를 판단할 수 있다. 심리상태판단부(150)는 미리 생성되어 있는 학습 데이터를 이용하여 추론 모델을 구축하고 학습시키며, 그 특징 데이터를 구축된 추론 모델에 적용하여 사용자의 심리 상태를 판단할 수 있다. 이때, 심리상태판단부(150)는 특징 데이터를 지도학습(Supervised Learning) 알고리즘 중의 어느 하나를 이용하여 추론 모델에 적용하여 심리 상태를 판단할 수 있다. 이때, 지도학습 알고리즘은 결정트리(Decision Tree), 나이브 베이즈 분류(Navie Bayes Classification) 알고리즘 등을 포함한다.

도 3은 특징 데이터를 이용한 심리 상태 판단 결과의 일 예이다. 도 1 및 도 3을 참조하면, 심리상태판단부(150)는 도 3에 예시된 바와 같이, 특징 데이터를 이용하여 사용자의 심리 상태를 분류할 수 있다. 이때, 심리 상태는 감정, 기분, 스트레스 중의 하나 이상을 포함할 수 있으며, 각 심리 상태는 다양한 하위 레벨로 분류될 수 있다. 예를 들어, 감정의 경우 행복, 기쁨, 슬픔, 놀람 등으로 분류될 수 있으며, 기분은 좋음, 보통, 우울 등으로 분류될 수 있다. 또한, 스트레스는 상, 중, 하로 분류될 수 있다. 심리상태판단부(150)는 도 3(a)에 예시된 바와 같이, 특징 데이터를 이용하여 하나의 심리 상태를 판단할 수 있다. 또는 도 3(b)에 예시된 바와 같이 둘 이상의 심리 상태를 판단할 수 있다.

도 3(a)는 키보드를 통한 타자 입력 속도가 분당 23타, 메시지를 작성하는 동안 백스페이스키 사용 빈도 3회, 특수 기호 사용 빈도 5회, 기기 흔들림 횟수 10회, 평균 조도 150Lux, 특정 위치(예: 도로)를 수치화한 값 3으로 특징 데이터가 추출된 경우, 이 특징 데이터를 추론 모델에 적용하여 분류한 감정 상태가 '놀람'인 것을 예시한 것이다. 도 3(b)는 스타일러스 펜 등을 통하여 텍스트를 입력할 때 추출되는 필기 속도, 평균 필압, 필기 입력 규칙성 등의 필기 입력 정보를 이용하여 심리 상태 중 감정 상태를 판단하고, 평균 배터리 잔량, 평균 음량 등의 단말 상태 정보를 이용하여 스트레스를 판단한 것을 예시한 것이다.

한편, 도 1을 참조하면, 사용자 심리 상태 판단 장치(100)는 학습데이터생성부(130) 및 학습데이터DB(140)를 더 포함할 수 있다.

학습데이터생성부(130)는 특징 데이터가 추출되면 학습 데이터의 생성 단계인지 여부를 판단하고, 학습 데이터 생성 단계라 판단되면 그 특징 데이터를 이용하여 학습데이터를 생성할 수 있다. 이때, 학습데이터생성부(130)는 사용자에게 학습 데이터 생성 여부를 질의하고 그 질의에 대하여 사용자가 학습 데이터를 생성하도록 요청하는 경우 또는 미리 설정된 소정 기준(예: 저장된 학습 데이터의 수가 일정값 이하인 경우)을 만족하는 경우 학습 데이터 생성 단계로 판단할 수 있다.

도 4는 학습 데이터 생성을 위한 질의의 예이다. 도 1 및 도 4를 참조하면, 학습데이터생성부(130)는 학습데이터 생성 단계라 판단되면, 추출된 특징 데이터에서 적어도 일부의 특징 데이터를 선택하고, 그 선택된 특징 데이터에 대하여 사용자에게 심리 상태를 질의하여 사용자의 응답을 기초로 학습 데이터를 생성할 수 있다.

좀 더 구체적으로, 학습데이터생성부(130)는 먼저 추출된 특징 데이터 중에서 추론 모델 구축에 필요한 의미 있는 특징 데이터들을 선택할 수 있다. 학습데이터생성부(130)는 추출된 특징 데이터에서 노이즈를 제거할 수 있다. 예를 들어, 추출된 특징 데이터를 수치화한 값의 대다수가 0 또는 Null인 경우 해당 특징 데이터를 노이즈로 판단할 수 있다. 또는 특징 데이터의 변화(예: 표준편차)가 소정 임계치에 미달하는 경우 해당 특징 데이터를 노이즈로 판단할 수 있다. 이때, 특징 데이터의 형태가 숫자가 아닌 명목형(Nominal)인 경우 해당 특징 데이터를 임의의 숫자로 변환하고 그 수치를 이용할 수 있다. 예를 들어, 현재 위치가 집이면 1, 회사이면 2, 도로이면 3과 같이 변환할 수 있다.

그 다음, 노이즈가 제거된 특징 데이터에서 중요도가 높은 일부의 특징 데이터를 선택할 수 있다. 이때, 학습데이터생성부(130)는 정보 이득(Information Gain), 카이제곱분포(Chi-Sqaured Distribution) 및 상호정보(Mutual Information) 알고리즘 등의 특징 선택 알고리즘을 이용하여 추출된 특징 데이터에 대한 중요도를 계산할 수 있으며, 계산된 중요도를 기초로 높은 중요도를 가지는 일부의 특징 데이터를 선택할 수 있다.

그 다음, 일부의 특징 데이터가 선택되면 도 4에 예시된 바와 같이 사용자에게 심리 상태를 질의하고, 사용자가 자신의 심리 상태를 선택하면 그 심리 상태를 특징 데이터에 색인 처리하여 학습 데이터를 생성하고 학습데이터DB(140)에 저장할 수 있다. 즉, 도 4에 예시된 바와 같이, 사용자가 단말에서 "오늘은 날씨가 좋구나!"와 같은 메시지를 작성하면 현재의 감정 상태를 선택할 수 있는 이모티콘을 단말에 표시하고, 사용자가 선택하는 이모티콘에 대응되는 감정 상태를 특징 데이터에 색인 처리하여 학습 데이터를 생성할 수 있다.

학습데이터생성부(130)는 사용자가 심리 상태를 용이하게 입력할 수 있도록 심리 상태에 대응되는 이모티콘 등을 단말을 통해 제공할 수 있으며, 사용자가 직접 자신의 심리 상태를 텍스트로 입력할 수 있도록 텍스트 입력 창을 제공할 수 있다. 학습데이터생성부(130)는 사용자가 이동 단말을 통해 텍스트를 입력한 직후의 심리 상태, 사용자가 이동을 잠시 멈춘 경우의 심리상태, 사용자가 복수의 메시지를 입력하는 경우 메시지 작성시 느꼈던 심리 상태에 대해 질의할 수 있다.

심리상태판단부(150)는 학습데이터생성부(130)에 의해 생성되어 학습데이터DB(140)에 저장된 학습 데이터를 이용하여 추론 모델을 구축하고 학습시킬 수 있다.

조치실행부(160)는 심리상태판단부(150)에 의해 심리 상태가 판단되면, 그 심리 상태에 따라 적절한 조치를 실행할 수 있다. 이때, 실행될 수 있는 조치는 단말을 통해 사용자에게 판단된 심리 상태와 관련된 정보를 제공하거나, 그 판단된 심리 상태에 기초하여 단말의 유저 인터페이스를 제어할 수 있다.

예를 들어, 사용자 본인, 지인 또는 의료진 등에게 현재의 심리 상태를 알려 주거나, 최근 한 달 동안 '행복' 감정을 느낀 횟수, 시간대, 장소 등을 그래프로 표시하는 것과 같이 누적된 심리 상태의 통계정보를 제공할 수 있다. 즉, 사용자가 문자 메시지, 이메일, SNS 게시물 작성시 느꼈던 심리 상태를 자동으로 기록하고, 이에 대한 정보를 적절히 가공하여 제공할 수 있다.

또는, 사용자의 심리 상태에 따라 단말의 유저인터페이스 테마(예: 글꼴, 색깔 등)를 자동으로 변경하거나, 사용자의 심리 상태에 적절한 컨텐츠(예: 음악, 게임, 영화 등)를 추천할 수 있다. 또는 사용자의 현재 감정이 슬픔인 경우 "모든 것은 마음 먹기 마련입니다. 힘내세요!"와 같이 현재 심리 상태에 적절한 대응 메시지를 표시할 수 있다. 이와 같은 조치가 대화형 소프트웨어 에이전트에 탑재되는 경우, 단말이 사용자의 심리 상태에 적절히 반응해 대화를 시도하는 것이 가능해진다.

또한, 사용자의 심리 상태가 판단되고, 그 진위 결과가 참인 경우 추출된 특징 데이터에 판단된 심리 상태를 색인 처리하여 학습 데이터를 갱신할 수 있다.

한편, 사용자 심리 상태 판단 장치(100)는 조치DB(170)를 더 포함할 수 있으며, 조치DB(170)는 심리 상태 판단시 실행할 각종 조치에 대한 정보를 저장할 수 있다. 예를 들어, 심리 상태에 따른 적절한 유저 인터페이스 구성방법, 심리상태별 추천 컨텐츠의 목록, 대응 메시지 등의 정보가 저장될 수 있다.

한편, 추가적인 양상에 따르면, 사용자 심리 상태 판단 장치(100)는 사용자인증부(미도시)를 더 포함할 수 있다. 즉, 사용자인증부(미도시)는 아이디/비밀번호, 공인인증서 등을 통한 로그인, 얼굴 인식 등을 통해 사용자 인증을 수행한다. 이때, 학습데이터는 각 사용자별로 생성되며, 추론 모델 역시 각 사용자별로 구축될 수 있다. 이를 통해, 하나의 이동 단말을 다수의 사용자가 사용하는 경우에도 각 사용자에 따른 최적화된 심리 상태 정보 제공이 가능해진다.

도 5는 일 실시예에 따른 사용자 심리 상태 판단 방법의 흐름도이다. 도 5를 참조하여 도 1의 사용자 심리 상태 판단 장치(100)를 통해 사용자의 심리 상태를 판단하는 방법의 일 실시예를 설명한다.

먼저, 사용자가 단말에서 텍스트를 입력할 때 발생하는 센서 데이터를 수집한다(단계 301). 사용자가 이동 단말을 이용하여 메일 확인, SNS(Social Network Service) 활동, 인터넷 검색, 모바일 메신저 등의 각종 작업들을 수행하면, 이동 단말에 내장된 각종 센서를 통해 텍스트 입력 시의 각종 센서 데이터를 수집한다.

그 다음, 수집된 센서 데이터로부터 사용자 심리 상태 분석을 위한 특징 데이터를 추출한다(단계 302). 특징 데이터는 사용자의 텍스트 입력 습관에 관한 정보, 주변 상황에 관한 정보 등이 될 수 있다. 텍스트 입력 습관 정보는 사용자가 텍스트를 입력하는 도중에 지속적으로 수집되는 센서 데이터 중에서 추출될 수 있으며, 예컨대 키보드 입력 정보, 필기 입력 정보 및 단말 상태 정보 중의 하나 이상을 포함할 수 있다. 또한, 상황정보는 위치, 날씨, 불쾌지수, 시간, 평균 조도 및 메시지 수신자 정보 등을 포함할 수 있으며, 텍스트 입력 도중의 특정 시점에 1회 이상 수집되는 센서 데이터로부터 추출될 수 있다.

그 다음, 특징 데이터가 추출되면 학습 데이터의 생성 단계인지 여부를 판단할 수 있다(단계 303). 예를 들어, 특징 데이터가 추출되면 미리 설정된 소정 기준(예: 저장된 학습 데이터의 수가 일정 값 이하인 경우)을 만족하는 경우 또는 사용자에게 학습 데이터 생성 여부를 질의하고 그 질의에 대하여 사용자가 학습 데이터를 생성하도록 요청하는 경우 학습 데이터 생성 단계로 판단할 수 있다.

그 다음, 학습 데이터 생성 단계라고 판단이 되면 추출된 특징 데이터를 이용하여 학습데이터를 생성할 수 있다(단계 304). 일 예로, 추출된 특징 데이터 또는 그 특징 데이터에서 노이즈를 제거하고 남은 특징 데이터에 대해 사용자에게 심리 상태를 질의하여 사용자가 입력한 심리 상태를 특징 데이터에 색인 처리함으로써 학습 데이터를 생성할 수 있다. 이때, 추출된 특징 데이터 또는 추출된 특징 데이터에서 노이즈가 제거되고 남은 특징 데이터 중에서 중요도를 기초로 적어도 일부의 특징 데이터를 선택하고, 그 선택된 일부의 특징 데이터에 대하여 학습 데이터를 생성하는 것도 가능하다. 특징 데이터의 중요도는 정보 이득(Information Gain), 카이제곱분포(Chi-Sqaured Distribution) 및 상호정보(Mutual Information) 알고리즘 등의 특징 선택 알고리즘을 이용하여 계산될 수 있다.

한편, 학습 데이터가 생성되면 다시 센서 데이터를 수집하는 단계(301)로 돌아갈 수 있다. 즉, 생성된 학습 데이터의 수가 미리 설정된 기준 값 이하이거나 또는 사용자의 개입에 의해 추론 모델을 구축하도록 설정된 경우 사용자의 추론 모델 구축 요청이 입력되지 않으면 생성된 학습 데이터가 아직 추론 모델을 구축하기에 충분하지 않다고 판단하고 다시 센서 데이터를 수집할 수 있다. 만약, 생성된 학습 데이터의 수가 미리 설정된 기준 값을 초과하거나 사용자의 요청이 입력되면 생성된 학습 데이터로 추론 모델을 구축하고 학습할 수 있다(단계 305).

그 다음, 특징 데이터를 구축된 추론 모델에 적용하여 심리 상태를 판단할 수 있다(단계 306). 이때, 결정트리(Decision Tree), 나이브 베이즈 분류(Naive Bayes Classification) 알고리즘 등의 지도학습(Supervised Learning) 알고리즘을 이용하여 특징 데이터를 추론 모델에 적용하여 심리 상태를 판단할 수 있다.

마지막으로, 심리 상태가 판단되면 그 심리 상태에 따라 적절한 조치를 실행할 수 있다(단계 307). 예를 들어, 단말을 통해 사용자 본인, 지인 또는 의료진 등에게 판단된 심리 상태와 관련된 정보를 제공할 수 있다. 즉, 사용자 본인에게 판단된 현재 심리 상태 및 현재 심리 상태에 적절한 대응 메시지를 표시할 수 있다. 또한, 지인 또는 의료진 등에게 사용자의 현재 심리 상태를 알려 주거나 누적된 심리 상태의 통계정보를 제공할 수 있다. 이러한 정보들은 사용자가 문자 메시지, 이메일, SNS 게시물 작성시 자동으로 기록되어 제공될 수 있다.

또 다른 예로, 판단된 심리 상태에 기초하여 단말의 유저 인터페이스를 제어할 수 있다. 즉, 사용자의 심리 상태에 따라 단말의 유저인터페이스 테마(예: 글꼴, 색깔 등)를 자동으로 변경하거나, 사용자의 심리 상태에 적절한 컨텐츠(예: 음악, 게임, 영화 등)를 추천할 수 있다.

또는, 판단된 심리 상태의 진위 결과가 참인 경우 추출된 특징 데이터에 판단된 심리 상태를 색인 처리하여 학습 데이터를 갱신할 수도 있다.

도 6은 다른 실시예에 따른 사용자 심리 상태 판단 방법의 흐름도이다. 도 5를 참조하여 도 1의 사용자 심리 상태 판단 장치(100)를 통해 사용자의 심리 상태를 판단하는 방법의 다른 실시예를 설명한다.

사용자가 단말에 텍스트를 입력하면 텍스트 입력 속도를 추출하고(단계 401), 텍스트 입력 속도를 추론 모델에 적용하여 사용자의 심리 상태를 판단할 수 있다(단계 402). 사용자가 메시지, 메모 등을 작성할 때 텍스트 입력 속도는 감정 상태에 따라 달라질 수 있으며, 추출된 텍스트 입력 속도 즉 타자 속도를 통해 나타나는 사용자의 심리 상태를 판단할 수 있다. 한편, 사용자의 심리 상태 판단시 텍스트 입력 속도에 추가하여 사용자가 텍스트를 입력할 때 발생하는 다른 정보를 더 추출할 수 있으며, 그 다른 정보를 추론 모델에 적용하여 사용자의 심리 상태를 판단할 수 있다. 이때, 다른 정보는 단말의 위치 정보, 날씨 정보 및 단말의 흔들림 횟수와 같은 단말의 상태 정보 등이 될 수 있다.

사용자의 심리 상태가 판단되면 판단된 심리 상태에 기초하여 소정의 조치를 실행할 수 있다(단계 403). 소정의 조치는 앞에서도 언급한 바와 같이 사용자 본인, 지인 또는 의료진 등에게 현재의 심리 상태를 알려 주거나, 누적된 심리 상태의 통계정보를 제공하는 것 등이 될 수 있다. 이러한 정보들은 사용자가 문자 메시지, 이메일, SNS 게시물 작성시 자동으로 기록되어 제공될 수 있다. 또는, 사용자의 심리 상태에 따라 단말의 유저인터페이스 테마(예: 글꼴, 색깔 등)를 자동으로 변경하거나, 사용자의 심리 상태에 적절한 컨텐츠(예: 음악, 게임, 영화 등)를 추천하는 것 또는 사용자의 현재 심리 상태에 적절한 대응 메시지를 표시하는 것이 될 수 있다.

한편, 본 실시 예들은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.

컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현하는 것을 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 실시예들을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술 분야의 프로그래머들에 의하여 용이하게 추론될 수 있다.

본 개시가 속하는 기술분야의 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.

100: 사용자 심리 상태 판단 장치 110: 데이터수집부
120: 데이터처리부 130: 학습데이터생성부
140: 학습데이터DB 150: 심리상태판단부
160: 조치실행부 170: 조치DB

Claims

사용자가 단말에서 텍스트를 입력할 때 발생하는 센서 데이터를 수집하는 데이터수집부;
상기 센서 데이터로부터 텍스트 입력 습관에 관한 정보 및 상황 정보 중의 하나 이상을 포함하는 특징 데이터를 추출하는 데이터처리부; 및
상기 특징 데이터를 구축된 추론 모델에 적용하여 사용자의 심리 상태를 판단하는 심리상태판단부;를 포함하는 사용자의 심리 상태 판단 장치.
제1항에 있어서, 상기 센서 데이터는,
상기 단말에 내장된 터치스크린, 가속도센서, 방향센서, GPS, 조도 센서, 마이크로폰 및 소프트웨어 센서 중의 하나 이상을 포함하는 센서를 통해 측정되는 사용자의 심리 상태 판단 장치.
제1항에 있어서, 상기 텍스트 입력 습관에 관한 정보는,
키보드 입력 정보, 필기 입력 정보 및 단말 상태 정보 중의 하나 이상을 포함하고,
상기 상황 정보는
위치, 날씨, 불쾌지수, 시간 및 평균 조도 중의 하나 이상을 포함하는 사용자의 심리 상태 판단 장치.
제1항에 있어서,
특징 데이터가 추출되면 학습 데이터의 생성 단계인지 여부를 판단하고, 학습 데이터의 생성 단계라 판단되면 그 특징 데이터를 이용하여 학습 데이터를 생성하는 학습데이터생성부;를 더 포함하고,
상기 심리상태판단부는,
상기 학습데이터를 이용하여 상기 추론 모델을 구축하고 학습시키는 사용자의 심리 상태 판단 장치.
제4항에 있어서, 상기 학습데이터생성부는,
상기 추출된 특징 데이터에서 적어도 일부의 특징 데이터를 선택하고, 그 선택된 특징 데이터에 대하여 사용자에게 심리 상태를 질의하여 그 질의에 대한 사용자의 응답을 기초로 학습 데이터를 생성하는 사용자의 심리 상태 판단 장치.
제5항에 있어서, 상기 학습데이터생성부는,
특징 선택 알고리즘 중의 어느 하나를 이용하여 상기 추출된 특징 데이터에 대한 중요도를 계산하고, 그 중요도를 기초로 상기 적어도 일부의 특징 데이터를 선택하는 사용자의 심리 상태 판단 장치.
제6항에 있어서, 상기 특징 선택 알고리즘은,
정보 이득(Information Gain), 카이제곱분포(Chi-Sqaured Distribution) 및 상호정보(Mutual Information) 알고리즘을 포함하는 사용자의 심리 상태 판단 장치.
제5항에 있어서, 상기 심리 상태는,
감정, 기분 및 스트레스 중의 하나 이상으로 분류되고, 상기 분류된 각 심리 상태는 하나 이상의 하위 레벨로 분류되는 사용자의 심리 상태 판단 장치.
제1항에 있어서, 상기 심리상태판단부는,
상기 특징 데이터를 결정트리(Decision Tree) 및 나이브 베이즈 분류(Navie Bayes Classification) 알고리즘을 포함하는 지도학습(Supervised Learning) 알고리즘 중의 어느 하나를 이용하여 상기 추론 모델에 적용하는 사용자의 심리 상태 판단 장치.
제1항에 있어서,
상기 판단된 심리 상태에 기초하여 소정의 조치를 실행하는 조치실행부;를 더 포함하는 사용자의 심리 상태 판단 장치.
제10항에 있어서, 상기 소정의 조치는,
단말을 통해 사용자에게 상기 판단된 심리 상태와 관련된 정보 제공, 상기 심리 상태에 기초한 단말의 유저 인터페이스 제어 및 상기 심리 상태의 판단 결과를 이용한 학습 데이터 갱신 중의 하나 이상을 포함하는 사용자의 심리 상태 판단 장치.
사용자가 단말에서 텍스트를 입력할 때 발생하는 센서 데이터를 수집하는 단계;
상기 센서 데이터로부터 텍스트 입력 습관에 관한 정보 및 상황 정보 중의 하나 이상을 포함하는 특징 데이터를 추출하는 단계; 및
상기 특징 데이터를 구축된 추론 모델에 적용하여 사용자의 심리 상태를 판단하는 단계;를 포함하는 사용자의 심리 상태 판단 방법.
제12항에 있어서, 상기 센서 데이터는,
상기 단말에 내장된 터치스크린, 가속도센서, 방향센서, GPS, 조도 센서, 마이크로폰 및 소프트웨어 센서 중의 하나 이상을 포함하는 센서를 통해 측정되는 사용자의 심리 상태 판단 방법.
제12항에 있어서, 상기 텍스트 입력 습관에 관한 정보는,
키보드 입력 정보, 필기 입력 정보 및 단말 상태 정보 중의 하나 이상을 포함하고,
상기 상황 정보는
위치, 날씨, 불쾌지수, 시간 및 평균 조도 중의 하나 이상을 포함하는 사용자의 심리 상태 판단 방법.
제12항에 있어서,
특징 데이터가 추출되면 학습 데이터의 생성 단계인지 여부를 판단하고, 학습 데이터의 생성 단계라 판단되면 그 특징 데이터를 이용하여 학습 데이터를 생성하는 단계;를 더 포함하고,
상기 심리 상태 판단 단계는,
상기 학습데이터를 이용하여 상기 추론 모델을 구축하고 학습시키는 사용자의 심리 상태 판단 방법.
제15항에 있어서, 상기 학습 데이터 생성 단계는,
상기 추출된 특징 데이터에서 적어도 일부의 특징 데이터를 선택하는 단계;
그 선택된 특징 데이터에 대하여 사용자에게 심리 상태를 질의하는 단계; 및
그 질의에 대한 사용자의 응답을 기초로 학습 데이터를 생성하는 단계;를 포함하는 사용자의 심리 상태 판단 방법.
제16항에 있어서, 상기 일부의 특징 데이터 선택 단계는,
특징 선택 알고리즘 중의 어느 하나를 이용하여 상기 추출된 특징 데이터에 대한 중요도를 계산하고, 그 중요도를 기초로 상기 일부의 특징 데이터를 선택하는 사용자의 심리 상태 판단 방법.
제17항에 있어서, 상기 특징 선택 알고리즘은,
정보 이득(Information Gain), 카이제곱분포(Chi-Sqaured Distribution) 및 상호정보(Mutual Information) 알고리즘을 포함하는 사용자의 심리 상태 판단 방법.
제15항에 있어서, 상기 심리 상태는,
감정, 기분 및 스트레스 중의 하나 이상으로 분류되고, 상기 분류된 각 심리 상태는 하나 이상의 하위 레벨로 분류되는 사용자의 심리 상태 판단 방법.
제12항에 있어서, 상기 심리 상태 판단 단계는,
상기 특징 데이터를 결정트리(Decision Tree) 및 나이브 베이즈 분류(Navie Bayes Classification) 알고리즘을 포함하는 지도학습(Supervised Learning) 알고리즘 중의 어느 하나를 이용하여 상기 추론 모델에 적용하는 사용자의 심리 상태 판단 방법.
제12항에 있어서,
상기 판단된 심리 상태에 기초하여 소정의 조치를 실행하는 단계;를 더 포함하는 사용자의 심리 상태 판단 방법.
제21항에 있어서, 상기 소정의 조치는,
단말을 통해 사용자에게 상기 판단된 심리 상태와 관련된 정보 제공, 상기 심리 상태에 기초한 단말의 유저 인터페이스 제어 및 상기 심리 상태의 판단 결과를 이용한 학습 데이터 갱신 중의 하나 이상을 포함하는 사용자의 심리 상태 판단 방법.
사용자가 단말에 텍스트를 입력하는 속도를 추출하는 단계;
상기 텍스트 입력 속도를 추론 모델에 적용하여 사용자의 심리 상태를 판단하는 단계; 및
상기 판단된 심리 상태에 기초하여 소정의 조치를 실행하는 단계;를 포함하는 사용자 심리 상태 판단 방법.
제23항에 있어서,
상기 텍스트 입력 속도에 추가하여 사용자가 텍스트를 입력할 때 발생하는 다른 정보를 추출하고 상기 추론 모델에 적용하는 사용자 심리 상태 판단 방법.
제24항에 있어서,
상기 다른 정보는 단말의 위치 정보를 포함하는 사용자 심리 상태 판단 방법.
제24항에 있어서,
상기 다른 정보는 날씨 정보를 포함하는 사용자 심리 상태 판단 방법.
제24항에 있어서,
상기 다른 정보는 단말의 상태 정보를 포함하는 사용자 심리 상태 판단 방법.
제27항에 있어서,
상기 단말의 상태 정보는 단말의 흔들림 횟수를 포함하는 사용자 심리 상태 판단 방법.