KR20100086398A - 다중 감정 센싱 기반으로 사용자의 감정정보를 제공하는 장치 - Google Patents

다중 감정 센싱 기반으로 사용자의 감정정보를 제공하는 장치 Download PDF

Info

Publication number
KR20100086398A
KR20100086398A KR1020090013961A KR20090013961A KR20100086398A KR 20100086398 A KR20100086398 A KR 20100086398A KR 1020090013961 A KR1020090013961 A KR 1020090013961A KR 20090013961 A KR20090013961 A KR 20090013961A KR 20100086398 A KR20100086398 A KR 20100086398A
Authority
KR
South Korea
Prior art keywords
user
information
emotion
emotion information
terminal
Prior art date
Application number
KR1020090013961A
Other languages
English (en)
Other versions
KR101119867B1 (ko
Inventor
홍충선
이성원
허림
방영철
Original Assignee
경희대학교 산학협력단
한국산업기술대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 경희대학교 산학협력단, 한국산업기술대학교산학협력단 filed Critical 경희대학교 산학협력단
Publication of KR20100086398A publication Critical patent/KR20100086398A/ko
Application granted granted Critical
Publication of KR101119867B1 publication Critical patent/KR101119867B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/70—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mental therapies, e.g. psychological therapy or autogenous training
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Algebra (AREA)
  • Mathematical Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Social Psychology (AREA)
  • Psychology (AREA)
  • Computational Mathematics (AREA)
  • Psychiatry (AREA)
  • Hospice & Palliative Care (AREA)
  • Epidemiology (AREA)
  • Mathematical Optimization (AREA)
  • Developmental Disabilities (AREA)
  • Pure & Applied Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Child & Adolescent Psychology (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephone Function (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

본 발명은 사용자의 감정 상태에 연동한 서비스를 제공하는 시스템에 관한 것으로, 보다 구체적으로 다수의 센서 디바이스로부터 사용자의 감정 상태를 나타내는 센싱 신호를 수신하고, 수신한 다수의 센싱 신호를 이용하여 사용자의 감정 정보를 실시간으로 생성하는 장치 및 그 장치를 이용하여 사용자의 감정 정보와 연동한 서비스를 제공하는 시스템에 관한 것이다.
본 발명에 따른 사용자 감정정보의 제공 단말기는 사용자의 음성 정보를 포함한 다양한 감정 표현 방식을 모두 고려하여 사용자의 감정 정보를 생성함으로써, 정확하게 사용자의 감정 정보를 생성할 수 있다. 또한 본 발명에 따른 사용자 감정정보의 제공 단말기는 음성을 포함한 사용자의 다양한 신체 변화를 센싱하는 다수의 센서 디바이스를 이용하여 사용자의 감정 상태 변화를 수집함으로써, 사용자의 일상 생활에서 표현되는 사용자의 감정 상태를 정확하게 판단할 수 있다. 또한 본 발명에 따른 사용자 감정정보의 제공 단말기는 사용자의 감정 정보와 연동된 서비스를 제공하는 외부 서버로 사용자의 감정상태정보를 제공함으로써, 사용자의 감정상태에 기반하여 응답을 보내는 다양한 휴먼 인터페이스에 사용될 수 있다.
감정센싱, 휴먼 인터페이스, 감정인식

Description

다중 감정 센싱 기반으로 사용자의 감정정보를 제공하는 장치{Apparatus for providing information of user emotion using multiple sensors}
본 발명은 사용자의 감정 정보를 제공하는 장치 및 그 장치를 이용한 사용자 감정 정보를 제공하는 방법에 관한 것으로, 보다 구체적으로 다수의 센서 디바이스로부터 사용자의 감정 상태를 나타내는 센싱 신호를 수신하고, 수신한 다수의 센싱 신호를 이용하여 사용자의 감정 정보를 실시간으로 생성하는 장치 및 그 장치를 이용하여 획득한 사용자의 감정 정보를 상대방 단말기로 제공하는 방법에 관한 것이다.
감정인식에 관한 연구는 인간의 감정을 인식하고, 인간의 감정에 지적으로 대응할 수 있는 능력을 부여하는 것으로 궁극적으로는 인간과의 상호작용을 통하여 효율적인 응용 서비스의 제공을 목표로 한다. 감정, 감각, 행위추론의 연구는 인간 모방의 개념으로부터 인간에 대한 추론 더 나아가 인간 보조를 위한 기술로까지 발전하고 있다. 특히 감정 인식에 기반한 휴먼-인터페이스 기술은 인간의 감정 상태 변화를 자동으로 인식하고 변화하는 인간 감정에 능동적으로 대처함으로써, 기술적인 요인에 인간의 감정적 요인을 결합한 미래 핵심 기술로 평가받고 있다.
종래 인간의 감정 상태를 인식하기 위한 연구들은 주로 인간의 음성에 기초하여, 인간의 음성에 포함되어 있는 여러 음성 정보를 분석하여 인간의 감정 상태를 판단하였다. 즉, 인간이 말을 하는 동안 발음 속도, 피치 평균, 피치 변화 범위, 발음 세기, 음질, 피치의 변화, 발음법 등과 같은 음성 정보를 계산하고, 이러한 음성 정보의 차이로부터 인간의 감정 상태를 기쁨, 화남, 슬픔, 두려움, 평상감으로 판단하였다.
도 1은 종래 음성 정보에 기초하여 사용자의 감정 상태 정보를 획득하는 이동 단말기를 설명하기 위한 도면이다.
도 1을 참고로 보다 구체적으로 살펴보면, 사용자(1)가 이동 단말기(10)를 이용하여 수신자와 통화를 나누는 경우, 이동 단말기(10)는 통화 중 사용자(1)의 음성 정보를 수집하고 수집한 음성 정보에 기초하여 사용자의 감정 상태를 판단한다. 이동 단말기(10)는 판단한 사용자의 감정 상태에 따라 능동적으로 사용자의 감정을 조절하거나, 사용자의 감정 상태에 호응하기 위한 오디오 메시지 또는 영상 메시지를 스피커 또는 디스플레이로 출력한다.
이렇게 사용자(1)의 감정 상태를 판단하는 음성 단말기(10)의 기능 블록도를 보다 구체적으로 살펴보면, 음성 신호 분석부(11)는 스피커를 통해 입력되는 사용자의 음성 신호를 필터링, 샘플링하며, 샘플링한 음성 신호의 소정 구간에 대해 피치와 에너지 값을 구하고, 그로부터 유도할 수 있는 피치 평균(pitch mean), 피치 표준편차(pitch standarddeviation), 피치 최대 값 (pitch maximum), 에너지 평균(energy mean), 에너지 표준편차(energy standard deviation) 등의 통계적 정보 를 계산한다. 패턴 신호 판단부(13)는 음성 신호 분석부(11)에서 계산한 음성 신호의 통계적 정보를 이용하여 입력된 음성 신호를 기준 패턴 신호와 비교하여 입력된 음성 신호의 신호 패턴을 판단한다.
사용자의 음성에 기초하여 사용자의 감정 상태를 판단하기 위해서는 음성을 구성하는 각 음소보다는 음성의 운율 정보가 중요하다. 음성의 운율 정보로는 피치, 에너지, 발음속도 등이 있는데, 감정은 주로 이러한 운율 정보에 의해서 표현된다. 사용자의 감정 상태를 판단하기 위해서는 음성에서 이러한 운율 정보를 잘 반영하는 특징을 찾아내어 모델링을 해야된다. 패턴 신호 DB(15)에는 기쁨, 슬픔, 우울함, 화남, 평상 감정 등과 같이 사용자의 감정 상태에 따라 달라지는 운율 정보에 따라 모델링된 기준 패턴 신호들이 기저장되어 있다.
감정 상태 판단부(17)는 패턴 신호 판단부(13)에서 판단한 음성 신호의 패턴 정보에 기초하여 사용자의 감정 상태를 판단하여 제어부(19)로 사용자의 감정 상태 정보를 제공하며, 제어부(19)는 사용자의 감정 상태 정보에 기초하여 스피커 또는 디스플레이부(미도시)를 통해 사용자의 감정을 조절하거나 사용자의 감정에 호응하기 위한 오디오 또는 영상 메시지를 출력한다.
통상적으로 사용자의 감정은 음성뿐만 아니라 사용자의 다양한 신체 변화를 통해 표현된다. 예를 들어, 사용자의 얼굴표정, 몸동작, 맥박수, 체온, 혈압, 뇌파 신호 등으로 표현된다. 따라서 사용자의 감정 정보는 다양한 방법으로 얻을 수 있고, 어플리케이션에 따라 사용자의 감정 정보의 획득 방식도 달라진다.
그러나 위에서 설명한 종래 사용자의 감정정보를 획득하는 장치에서는 사용자의 음성 정보만을 이용하여 사용자의 감정 정보를 판단함으로써, 사용자의 감정 상태를 정확하게 판단하기 곤란하다는 문제점을 가진다. 더욱이 스피커만을 이용하여 사용자의 음성 정보를 획득함으로써, 정확한 사용자의 감정정보를 판단하기 곤란하다는 문제점을 가진다.
본 발명은 종래 사용자의 감정 정보를 획득하는 장치가 가지는 문제점들을 해결하기 위한 것으로, 본 발명이 이루고자 하는 목적은 다수의 센서 디바이스를 통해 수집한 다양한 사용자의 감정 상태에 기초하여 사용자의 감정 정보를 판단하고, 판단한 사용자의 감정정보를 감정정보와 연동한 서비스를 수행하는 외부 서버 또는 응용 프로그램으로 송신하는 장치를 제공하는 것이다.
본 발명이 이루고자 하는 다른 목적은 다양하게 표현되는 사용자의 감정 표현에 기초하여 정확하게 사용자의 감정 정보를 판단할 수 있는 장치를 제공하는 것이다.
본 발명이 이루고자 하는 또 다른 목적은 사용자 단말기에서 판단한 감정 정 보를 상대방 단말기로 제공하는 방법을 제공하는 것이다.
위에서 언급한 본 발명의 목적을 달성하기 위하여 본 발명에 따른, 사용자의 감정 상태 정보를 제공하는 단말기는 사용자의 감정 상태 변화를 나타내는 신호의 패턴을 분석하여 사용자의 감정 팩터를 생성하는 감정팩터 생성부와, 생성한 감정 팩터로부터 사용자의 감정 상태를 판단하여 사용자의 감정 상태 정보를 생성하는 정보 생성부와, 생성한 사용자의 감정 상태 정보를 요청하는 메시지를 수신하는 경우 요청 메시지에 응답하여 상기 사용자의 감정 상태 정보를 제공하는 정보 제어부 및 사용자의 감정 상태 정보를 저장하고 있는 데이터베이스를 구비하는 것을 특징으로 한다. 여기서 사용자의 감정 상태 변화는 사용자의 맥박수, 호흡수, 음성 정보, 체온, 혈압, 사용자의 사용 언어 중 어느 하나 또는 이들의 조합이다.
바람직하게, 감정팩터 생성부는 사용자의 감정 상태 변화를 나타내는 신호를 샘플링하는 샘플링부와, 샘플링한 신호에서 특징 파라미터를 추출하는 추출부와, 추출한 파라미터와 기준 패턴을 비교하여 사용자의 감정 상태 변화를 나타내는 신호의 신호 패턴을 인식하는 패턴 인식부와, 인식한 신호 패턴에 매칭되어 있는 사용자의 감정 팩터를 생성하는 생성부를 구비하는 것을 특징으로 한다.
감정팩터 생성부는 사용자의 감정 상태 변화를 나타내는 다수의 신호 각각에 상응하는 다수의 사용자 감정 팩터를 생성하며, 정보 생성부는 다수의 사용자 감정 팩터의 조합으로부터 사용자의 감정 상태 정보를 생성한다.
정보 생성부는 다수의 사용자 감정 팩터에 기초한 감정 상태별 크기 중 가장 큰 값을 가지는 감정 상태를 사용자의 감정 상태 정보로 생성하며, 다수의 사용자 감정 팩터들 중 사용자의 음성 정보에 기초한 감정 상태가 가장 큰 가중치를 가진다.
정보 생성부는 요청 메시지에 저장되어 있는 제공 타입에 따라, 요청 메시지를 수신하는 경우에만 사용자의 감정 상태 정보를 제공하거나, 사용자의 감정 상태 정보를 주기적으로 제공하거나, 사용자의 감정 상태 정보가 변경될 때마다 사용자의 감정 상태 정보를 외부 서버로 또는 응용 프로그램을 위해 제공한다.
본 발명에 따른 사용자 상태 정보의 제공 단말기는 종래 사용자 감정 정보의 제공 장치와 비교하여 다음과 같은 다양한 효과들을 가진다.
첫째, 본 발명에 따른 사용자 감정 정보의 제공 단말기는 사용자의 음성 정보를 포함한 다양한 감정 표현 방식을 모두 고려하여 사용자의 감정 정보를 생성함으로써, 정확하게 사용자의 감정 상태를 판단할 수 있다.
둘째, 본 발명에 따른 사용자 감정 정보의 제공 단말기는 음성 정보를 포함한 사용자의 다양한 신체 변화를 센싱하는 다수의 센서 디바이스를 이용하여 사용자의 감정 변화 상태를 수집함으로써, 사용자의 일상 생활에서 표현되는 사용자의 감정 상태를 정확하게 판단할 수 있다.
셋째, 본 발명에 따른 사용자 감정 정보의 제공 단말기는 사용자의 감정 정보와 연동된 서비스를 제공하는 외부 서버로 사용자의 감정 정보를 제공함으로써, 사용자의 감정 정보에 기반하여 응답을 보내는 다양한 휴먼 인터페이스에 사용될 수 있다.
넷째, 본 발명에 따른 사용자의 감정 정보를 제공하는 서버의 운영 방법은 상대방 단말기로 실시간으로 변화하는 사용자의 감정 정보를 제공함으로써, 상대방과 사용자 사이에서 대화를 유도하고 촉진할 수 있다.
이하 첨부한 도면을 참고로 본 발명에 따른 사용자 상태 정보의 제공 단말기에 대해 보다 구체적으로 살펴본다.
도 2는 본 발명의 일 실시예에 따라 사용자의 감정정보를 제공하는 시스템을 설명하기 위한 기능 블록도이다.
도 2를 참고로 보다 구체적으로 살펴보면, 다수의 센서 디바이스들(20)은 사용자의 다양한 감정 상태 변화를 센싱하여 센싱 신호를 생성하고, 생성한 신호를 사용자 단말기(30)로 송신한다. 센서 디바이스(20)는 사용자의 감정 상태 변화를 센싱하기 위하여, 사용자의 음성 정보, 운동량을 센싱하거나 사용자의 신체 변화를 감지한다. 예를 들어, 센싱 디바이스(20)는 사용자의 음성 크기, 사용자 음성의 운율적 요인, 대화량 등과 같은 음성 정보를 센싱하거나 사용자의 맥박수, 혈압, 호흡수, 체온 등과 같은 신체 변화를 감지한다.
도 3은 센서 디바이스의 장착 상태의 일 예를 설명하기 위한 도면으로, 도 3(a)를 참고로 살펴보면 사용자의 신체 변화를 센싱하거나 사용자의 음성 정보를 센싱하기 위한 다수의 센서 디바이스(20-1, 20-2, 20-3)들이 가정이나 사무실의 벽면에 설치되어 있거나 가구, 액자 등과 같은 가정 용품에 설치되어 있다. 한편, 센서 디바이스의 장착 상태의 다른 예를 도 3(b)를 참고로 살펴보면, 사용자의 신체 변화, 즉 사용자의 맥박수, 혈압, 체온, 호흡수를 센싱하기 위한 다수의 센서 디바이스들(20-4, 20-5, 20-6)이 사용자의 신체에 직접 또는 시계, 목걸이 등과 같은 장식품에 구비되어 사용자에 장착되어 있다. 가정이나 사무실에 장착되어 있는 센서 디바이스들 또는 사용자의 신체에 장착되어 있는 센서 디바이스들에서 센싱된 사용자의 감정 상태 변화를 나타내는 신호는 사용자 단말기(30)로 송신된다.
다시 도 2를 참고로 살펴보면, 사용자 단말기(30)는 센서 디바이스들(20)로부터 수신한, 사용자의 감정상태의 변화를 나타내는 센싱 신호를 분석하여 사용자의 감정상태를 잘 표현하는 특징 파라미터를 추출한다. 추출한 특징 파라미터로부터 사용자의 감정 팩터를 생성하고 생성한 감정 팩터의 조합으로부터 사용자의 감정정보를 생성하거나, 추출한 특징 파라미터의 조합으로부터 직접 사용자의 감정정보를 생성한다. 사용자 단말기(30)는 통신 네트워크(40)를 통해 감정정보 제공서버(60, 70)에 접속되어 있으며, 감정정보 제공서버(60, 70)로부터 감정 정보의 요청 메시지를 수신하는 경우, 요청 메시지에 포함된 인증키에 따라 감정정보 제공서버(60, 70)를 인증하고 감정정보 제공서버(60, 70)로 사용자의 감정 정보를 제공한다. 감정정보 제공서버는 통신 네트워크(40)에 접속되어 있는 컴퓨터(80)로 사용자의 감정 정보를 제공하는 인터넷 서버(60)이거나, 통신 네트워크(40)에 접속되어 있는 핸드폰(90)으로 사용자의 감정 정보를 제공하는 이동 통신 서버(70)이다. 통신 네트워크(40)는 인터넷 네트워크 또는 이동 통신 네트워크를 포함하는 통신 네트워크로, 본 발명이 적용되는 분야에 따라 사용자 단말기(30)에 저장되어 있는 사 용자 감정 정보를 사용자 감정 정보와 연동한 서비스를 제공하는 인터넷 서버(60) 또는 이동통신 서버(70)로 송신할 수 있는 다양한 통신 네트워크가 사용될 수 있다.
감정정보 제공서버(60, 70)은 컴퓨터(80) 또는 핸드폰(90)(이하, 통신 네트워크(40)에 접속하여 감정정보 제공서버(60, 70)로 사용자 감정 정보를 요청하는 단말기(80, 90)를 상대방 단말기로 언급한다)로부터 사용자 감정 정보의 송신을 요청하는 메시지를 수신하는 경우, 상대방 단말기(80, 90)가 사용자 감정 정보에 접속할 권한이 있는지 여부를 확인한 후, 상대방 단말기로 사용자 감정 정보를 구비하는 감정정보 메시지를 송신한다.
사용자 감정 정보에 관련한 서비스란 주된 정보로 사용자의 감정 정보를 표현하도록 상대방 단말기로 사용자 감정 정보를 제공하거나, 부가적으로 사용자 감정 정보를 함께 표현하는 서비스로, 예를 들어 상대방 단말기(80, 90)로 사용자의 감정 정보를 제공하거나, 상대방 단말기(80, 90)에 디스플레이되는 메신저 또는 블로그에 사용자 감정 정보를 함께 제공하거나 어린이들 또는 노약자들이 가지고 다니는 사용자 단말기(30)를 통해 수집한 감정 정보를 보호자의 상대방 단말기(80, 90)로 제공하는 서비스이다.
도 4는 본 발명의 일 실시예에 따라 사용자의 감정 정보를 제공하는 사용자 단말기(100)의 기능 블록도를 도시하고 있다.
도 4를 참고로 살펴보면, 다수의 센서 디바이스로부터 수신부(110)를 통해 수신된 사용자의 감정 상태 변화의 센싱 신호는 특징 파라미터 추출부(120)로 제공 된다. 특징 파라미터 추출부(120)는 전처리부(121)와 추출부(123)으로 구성되어 있는데, 수신된 센싱 신호는 전처리부(121)에서 잡음 필터링과 샘플링된다. 추출부(123)는 샘플링된 센싱 신호에서 사용자의 감정 상태를 나타내는 특징 파라미터를 추출한다. 특징 파라미터란 사용자의 감정 상태를 잘 표현하는 파라미터로, 예를 들어 음성 정보에 대해서는 피치 평균(pitch mean), 피치 표준편차(pitch standarddeviation), 피치 최대 값 (pitch maximum), 에너지 평균(energy mean), 에너지 표준편차(energy standard deviation) 등이 사용될 수 있으며, 신체 변화에 대해서는 호흡수 또는 호흡수의 변화, 맥박수 또는 맥박수의 변화, 혈압 또는 혈압의 변화 등이 사용될 수 있다.
감정 팩터 생성부(130)는 패턴 인식부(131), 기준패턴 DB(133)와 생성부(135)로 구성되어 있는데, 패턴 인식부(131)는 추출한 특징 파라미터에 기초하여 추출된 특징 파라미터와 기준 패턴을 비교하여 수신한 센싱 신호의 신호 패턴을 인식한다. 기준 패턴이란 사용자의 감정 상태에 따라 나타나는 음성 크기의 변화, 운율적 요인, 대화 속도 또는 대화량의 변화 등과 같은 음성 정보의 기준 패턴이거나, 사용자의 감정 상태에 따라 나타나는 사용자의 맥박수의 변화, 혈압의 변화, 호흡수의 변화, 체온의 변화 등과 같은 신체 변화에 대한 기준 패턴이다. 예를 들어, 기쁘거나 화난 상태인 경우의 음성 정보에 대한 기준 패턴은 전체적으로 에너지와 피치가 높고, 발음 속도가 빠르며, 슬프거나 지루한 상태인 경우의 음성 정보에 대한 기준 패턴은 전체적으로 에너지와 피치가 낮고 발음 속도가 느리다. 한편, 기쁜 상태인 경우의 신체 변화는 맥박수, 혈압, 호흡수, 체온이 증가하며 화난 상태인 경우의 신체 변화는 기쁜 상태의 맥박수, 혈압, 호흡수, 체온보다 더 증가한다. 또한, 슬프거나 지루한 경우의 신체 변화는 맥박수, 체온이 감소한다. 생성부(135)는 각 센싱 신호의 인식 패턴에 기초하여 각 센싱 신호에 상응하는 사용자의 감정 팩터, 즉 슬픔, 기쁨, 화남, 평상 등과 같은 사용자의 감정 상태를 결정한다.
바람직하게, 보다 정확한 사용자의 감정 팩터를 생성하기 위하여, 사용자의 주요 감정 상태를 기쁨, 슬픔, 화남의 3가지 감정 상태와 이들의 기준이 되는 평상 감정 상태로 분류하고, 각 감정 상태를 잘 표현하는 문장을 말할 때 추출되는 특징 파라미터를 기준 패턴으로 기준패턴 DB(133)에 저장하여 사용한다.
정보 생성부(140)는 각 센싱 신호로부터 결정된 감정 팩터의 조합 또는 특징 파라미터의 조합으로부터 사용자 감정 정보를 생성한다. 정보 생성부(140)에서 감정 팩터로부터 사용자의 감정 상태 정보를 생성하는 일 예를 살펴보면, 아래의 수학식(1)을 이용하여 사용자의 감정을 나타내는 다수의 사용자 감정 팩터에 기초한 감정 상태별 크기 중 가장 큰 값을 가지는 감정 상태를 사용자의 감정 정보로 생성한다.
[수학식 1]
M = Max(M1, M2, M3, M4)
여기서 M은 다수의 감정 팩터로부터 결정된 사용자 감정 정보이며, M1 내지 M4는 사용자의 감정 상태, 즉 기쁨, 화남, 슬픔, 평상에 대한 감정 팩터의 총합이다. 사용자의 각 감정 팩터의 총합은 아래의 수학식(2)를 이용하여 계산된다.
[수학식 2]
Figure 112009010411819-PAT00001
여기서 α1, α2, α3...는 각 센서 노드로부터 수신한 센싱 신호에서 판단한 동일한 감정 팩터에 대한 가중치이다. 예를 들어, 음성 정보를 센싱하는 센서 디바이스, 사용자의 맥박수를 센싱하는 센서 디바이스, 호흡수를 센싱하는 센서 디바이스로부터 수신한 센싱 신호로부터 생성된 사용자의 감정 팩터가 동일한 감정 팩 터인 기쁨인 경우, α1은 음성 정보로부터 생성된 감정 팩터에 부가되는 가중치이며, α2는 맥박수로부터 생성된 감정 팩터에 부가되는 가중치이며, α3은 호흡수로부터 생성된 감정 팩터에 부가되는 가중치이다. 바람직하게, 음성 정보로부터 생성된 감정 팩터에 가장 큰 가중치가 부가되는 것을 특징으로 한다.
정보 생성부(140)에서 특징 파라미터로부터 사용자의 감정 정보를 생성하는 다른 예를 살펴보면, 아래의 수학식(3)을 이용하여 사용자의 감정 상태를 나타내는 특징 파라미터의 합(M)을 계산하고, 계산한 특징 파라미터의 합과 각 감정 상태에 따른 임계값을 비교하여 사용자의 감정 정보를 계산한다. .
[수학식 3]
Figure 112009010411819-PAT00002
여기서 A, B, C,..는 각 특징 파라미터의 값이며 αa, αb, αc 는 각 특징 파라미터에 대한 가중치이다. 정보 생성부(140)는 특징 파라미터의 합(C)이 제1 임 계값(TH1)을 초과하는 경우에는 사용자의 감정 정보를 화남으로 생성하며, 제1 임계값보다 작고 제2 임계값(TH2)보다 큰 경우에는 기쁨으로 생성하며, 제2 임계값(TH2)보다 작고 제3 임계값(TH3)보다 큰 경우에는 평상으로 생성하며, 제3 임계값(TH4)보다 작은 경우에는 슬픔으로 생성한다.
정보 생성부(140)에서 생성된 사용자 감정 정보는 사용자의 감정 팩터 또는 특징 파라미터와 함께 감정 상태 정보 DB(165)에 저장된다. 바람직하게, 정보 생성부(140)는 센서 디바이스로부터 센싱 정보를 수신하는 경우마다 사용자의 감정 정보를 생성하거나, 수학식(1)에서 계산한 감정 팩터의 합과 이전에 계산된 감정 팩터의 합의 차이가 제4 임계값을 초과하는 경우 또는 수학식(3)에서 계산한 특징 파라미터의 합과 이전에 계산된 특징 파라미터의 합의 차이가 제5 임계값을 초과하는 경우에만 생성한다. 또는 주기적으로 사용자의 감정 정보를 생성한다.
정보 제어부(150)는 수신부(110)를 통해 사용자의 감정 정보와 연관된 서비스를 제공하는 감정정보 제공서버로부터 사용자 감정 정보의 요청 메시지를 수신하는 경우, 감정상태정보 DB(165)에 저장되어 있는 사용자의 감정 정보를 추출하여 송신부(160)를 통해 감정정보 제공서버로 송신한다. 바람직하게, 감정정보 제공서버를 통해 수신한 요청 메시지는 감정정보 제공서버의 ID, 서비스의 종류를 나타내는 ID, 각 서비스별 사용되는 메시지의 용도를 나타내는 ID, 감정정보의 제공 타입을 나타내는 ID, 사용자 감정정보를 요청하는 사용자의 ID를 구비하고 있다. 정보 제어부(150)는 감정정보 제공서버의 ID, 사용자의 ID를 이용하여 요청 메시지가 합법적인 메시지인지를 인증 후, 사용자의 감정 정보를 감정정보 제공서버로 송신한 다.
한편, 사용자 단말기(100)의 저장부(180)에 저장되어 있는, 사용자 감정 정보에 연관된 서비스를 제공하는 응용 프로그램을 실행부(170)에서 실행하는 경우, 정보 제어부(150)는 실행부(170)로부터 수신한 요청 메시지에 응답하여 사용자의 감정 정보를 실행부(170)로 제공한다. 실행부(170)는 응용 프로그램에서 제공하는 서비스에 따라 사용자의 감정 상태를 조절하거나 사용자의 감정 상태를 제어하기 위한 영상 메시지 또는 오디오 메시지를 출력부(190)를 통해 출력한다. 바람직하게, 출력부는 영상 메시지를 출력하는 디스플레이 또는 오디오 메시지를 출력하는 스피커이다.
정보 제어부(150)과 실행부(170) 사이에서 송수신되는 메시지 중 실행부(170)에서 정보 제어부(150)로 제공되는 메시지는 응용 프로그램을 정보 제어부(150)에 등록, 해제하기 위한 메시지, 사용자 감정정보를 요청하는 메시지, 서비스의 종료를 알리는 메시지이며, 정보 제어부(150)에서 실행 제어부(170)로 제공되는 메시지는 등록, 해제 메시지에 대한 응답 메시지, 요청 메시지에 대하여 사용자 감정정보를 제공하는 정보 메시지, 서비스 종료 메시지에 대한 응답 메시지이다.
정보 제어부(150)는 감정정보 제공서버 또는 실행부(170)에서 수신한 요청 메시지에 저장되어 있는 정보제공 타입에 따라 서로 다른 방식으로 사용자 감정 정보를 감정정보 제공서버 또는 실행부(170)로 제공한다. 도 5는 정보제공 타입에 따라 사용자 감정정보를 제공하는 방법을 설명하기 위한 흐름도로서, 도 5를 참고로 살펴보면, 요청 메시지에 구비되어 있는 제공 타입의 식별자를 추출하여 제공 타입을 분석하고(S21), 분석 결과에 기초하여 사용자 감정 정보의 제공 타입을 판단한다(S23). 제공 타입은 요청 메시지를 수신하는 경우에만 사용자 감정정보를 제공하는 타입 1, 사용자 감정정보를 주기적으로 제공하는 타입 2, 사용자 감정정보가 변경되는 경우에 자동적으로 사용자 감정정보를 제공하는 타입 3로 구분된다.
제공 타입이 타입 1로 판단되는 경우, 정보 제어부(150)는 요청 메시지를 수신하는 경우에만 요청메시지를 수신한 시각에 생성된 사용자 감정정보를 감정정보 제공서버 또는 실행부(170)로 제공한다(S24). 한편, 제공 타입이 타입 2로 판단되는 경우, 정보 제어부(150)는 요청 메시지를 수신하는 경우 사용자 감정정보를 감정정보 제공서버 또는 실행부(170)로 제공하며(S25), 감정정보 제공서버 또는 실행부(170)로부터 서비스 종료 메시지를 수신하였는지를 판단하여(S26) 서비스 종료 메시지를 수신하기 전까지 일정 주기를 카운트하여(S27) 주기마다 사용자 감정정보를 감정정보 제공서버 또는 실행부(170)로 제공한다. 또한, 제공 타입이 타입 3으로 판단되는 경우, 정보 제어부(150)는 요청 메시지에 응답하여 사용자의 감정정보를 감정정보 제공서버 또는 실행부(170)로 제공한다(S28). 사용자 감정정보를 감정정보 제공서버 또는 실행부(170)로 제공 후, 사용자 감정정보가 변경되었는지를 판단하며(S29) 사용자 감정정보가 변경될 때마다 사용자 감정정보를 감정정보 제공서버 또는 실행부로 제공한다.
도 6은 본 발명에 따라 감정상태정보 DB에 저장되는 감정정보 테이블의 일 예를 도시하고 있다.
도 6(a)에 도시되어 있는 것과 같이, 사용자의 감정 팩터에 기초하여 사용자 감정정보를 생성하는 경우, 감정정보 테이블에는 감정정보를 생성한 시점에서 각 센서 디바이스로부터 수신한 센싱 신호로부터 생성한 사용자의 감정팩터1, 감정팩터3,..., 감정팩터n와 이로부터 생성된 사용자 감정정보가 함께 저장되어 있다.
한편, 도 6(b)에 도시되어 있는 것과 같이, 특성 파라미터에 기초하여 사용자 감정정보를 생성하는 경우, 사용자 감정정보 테이블에는 사용자 감정정보를 생성한 시점에서 각 센서 디바이스로부터 수신한 센싱 신호로부터 추출한 특성 파라미터1, 특성 파라미터2, 특성 파라미터3,....., 특성 파라미터n와 이로부터 생성된 감정정보가 함께 저장되어 있다.
도 7은 본 발명의 일 실시예에 따라 감정정보 제공서버에서 사용자 단말기로부터 사용자 감정 정보를 수신하여 저장하는 방법을 설명하기 위한 흐름도이다.
도 7을 참고로 살펴보면, 감정정보 제공서버는 감정정보 제공서버에 등록되어 있는 사용자 단말기로 사용자 감정 정보를 요청하기 메시지를 송신한다(S31). 감정정보 요청 메시지에 응답하여 사용자 단말기로부터 사용자 감정정보를 구비하고 있는 요청 응답 메시지를 수신하는 경우(S33), 요청 응답 메시지에 구비되어 있는 사용자 식별자를 추출한다(S34). 사용자 식별자는 사용자 단말기의 시리얼 번호, 물리적 주소, 사용자 ID 등이 사용될 수 있다. 추출한 사용자 식별자에 기초하여, 사용자 감정정보를 송신한 사용자 단말기가 감정정보 제공서버에 등록되어 있는 사용자 단말기인지를 판단하고(S35), 감정정보 제공서버에 등록된 사용자 단말기로 판단되는 경우 사용자별로 구분하여 사용자 감정 정보를 저장한다(S37). 한편, 사용자 감정정보를 송신한 사용자 단말기가 감정정보 제공서버에 등록되어 있지 않은 사용자 단말기로 판단되는 경우, 수신한 사용자 감정정보를 삭제하여 버린다(S39).
도 8은 본 발명의 일 실시예에 따라 감정정보 제공서버에서 상대방 단말기로 사용자 감정정보를 제공하는 방법을 설명하기 위한 흐름도이다.
도 8을 참고로 살펴보면, 상대방 단말기로부터 사용자 감정정보의 송신을 요청하기 위한 메시지를 수신한다(S41). 감정정보 제공서버는 수신한 송신요청 메시지에서 상대방 단말기을 식별하기 위한 상대방 식별자와 상대방이 요청하는 사용자 감정정보의 사용자를 식별하기 위한 사용자 식별자를 추출한다(S43). 추출한 상대방 식별자와 사용자 식별자에 기초하여 상대방이 사용자 감정정보에 대한 접속 권한이 존재하는지 여부를 판단한다(S45). 감정정보 제공서버에는 사용자가 지정한, 사용자 감정정보에 접속 가능한 상대방에 대한 정보, 상대방에 따라 차등적으로 설정된 접속 레벨이 저장되어 있다. 감정정보 제공서버는 추출한 상대방 식별자에 기초하여 상대방의 접속 레벨에 따라 차등적인 감정정보 메시지를 생성하고(47), 생성한 감정정보 메시지를 상대방 단말기로 송신한다(S48). 감정정보 메시지는 상대방의 접속 레벨에 따라 사용자의 현재 감정정보만을 구비하여 생성되거나, 사용자의 과거 감정정보와 현재 감정정보를 포함하여 생성되거나, 사용자의 과거 감정정보, 현재 감정정보 및 통화 내역에 대한 정보를 포함하여 생성될 수 있다. 한편, 사용자 감정정보를 요청하는 상대방이 사용자 감정정보에 접속할 권한이 존재하지 않은 경우, 이를 안내하기 위한 메시지를 생성하여 상대방 단말기로 송신한 다(S49).
본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다.
예를 들어, 위에서 정보 생성부에서 사용자의 감정 팩터 또는 특징 파라미터로부터 사용자 감정정보를 생성하는 방법은 하나의 예에 불과하며, 본 발명이 적용되는 분야에 따라 다양한 다수의 센서 디바이스로부터 수신한, 사용자의 감정 상태 변화를 나타내는 센싱 신호를 이용하여 사용자 감정정보를 생성할 수 있다.
또한, 정보 제어부에서 사용자 감정정보를 제공하는 감정정보 제공서버로 인터넷 서버 또는 이동통신서버를 예시하고 있으나, 본 발명의 기술적인 범위에서 사용자 감정정보에 연관된 서비스를 제공하는 다양한 서버로 사용자 감정정보를 제공할 수 있다.
또한, 감정팩터의 합을 계산하거나 특징 파라미터의 합을 계산하는데 사용되는 가중치는 본 발명이 적용되는 분야에 따라 다르게 설정할 수 있으며, 특징 파라미터의 합에 기초하여 사용자 감정정보를 결정하는데 사용되는 임계값도 다르게 설정할 수 있다.
따라서, 위에서 설명한 본 발명의 다양한 실시예는 본 발명의 권리범위를 정함에 있어 하나의 참고가 될 뿐이며, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.
도 1은 종래 음성 정보에 기초하여 사용자의 감정 상태 정보를 획득하는 이동 단말기를 설명하기 위한 도면이다.
도 2는 본 발명의 일 실시예에 따라 사용자의 감정 상태를 제공하는 시스템을 설명하기 위한 기능 블록도이다.
도 3은 센서 디바이스의 장착 상태의 일 예를 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에 따라 사용자의 감정 상태 정보를 제공하는 단말기의 기능 블록도를 도시하고 있다.
도 5는 정보제공 타입에 따라 사용자의 감정상태정보를 제공하는 방법을 설명하기 위한 흐름도이다.
도 6은 본 발명에 따라 감정상태정보 DB에 저장되는 감정상태정보 테이블의 일 예를 도시하고 있다.
도 7은 본 발명의 일 실시예에 따라 감정정보 제공서버에서 사용자 단말기로부터 사용자 감정정보를 수신하여 저장하는 방법을 설명하기 위한 흐름도이다.
도 8은 본 발명의 일 실시예에 따라 감정정보 제공서버에서 상대방 단말기로 사용자 감정정보를 제공하는 방법을 설명하기 위한 흐름도이다.
<도면의 주요 부분에 대한 설명>
20: 센서 디바이스 30: 사용자 단말기
40: 통신 네트워크 60: 인터넷 서버
70: 이동통신서버 80: 컴퓨터
90: 핸드폰 110: 수신부
115: 특징 파라미터 추출부 120: 감정팩터 생성부
130: 기준패턴 DB 135: 정보 생성부
140: 정보 제어부 150: 감정상태정보 DB
160: 송신부 170: 저장부
180: 실행부 190: 출력부

Claims (12)

  1. 다수의 센싱 디바이스로부터 센싱된, 사용자의 감정 상태 변화를 나타내는 센싱 신호로부터 사용자의 감정 상태를 표현하는 특징 파라미터를 추출하는 추출부;
    상기 추출한 특징 파라미터와 기준 패턴을 비교하여 상기 사용자의 감정 상태 변화를 나타내는 신호의 패턴을 인식하고 상기 인식한 신호 패턴에 매칭되어 있는 사용자의 감정 팩터를 생성하는 감정팩터 생성부;
    상기 생성한 감정 팩터 또는 상기 추출한 특징 파라미터로부터 사용자의 감정 상태를 판단하여 사용자 감정정보를 생성하는 정보 생성부; 및
    상기 생성한 사용자 감정정보를 요청하는 메시지를 수신하는 경우, 상기 요청 메시지에 응답하여 상기 사용자 감정정보를 제공하는 정보 제어부를 구비하는 것을 특징으로 하는 사용자 감정정보의 제공 단말기.
  2. 제 1 항에 있어서, 상기 감정정보 요청 메시지는
    상기 사용자 감정정보와 관련한 서비스를 제공하는 외부 서버 또는 상기 제공 단말기 내부에 저장되어 있는 응용 프로그램으로부터 수신되며,
    상기 정보 제어부는 상기 감정정보 요청 메시지에 포함되어 있는 인증 식별자를 이용하여 상기 외부 서버 또는 응용 프로그램을 인증하는 것을 특징으로 하는 사용자 감정정보의 제공 단말기.
  3. 제 2 항에 있어서, 상기 감정팩터 생성부는
    상기 사용자의 감정 상태 변화를 나타내는 다수의 신호 각각에 상응하는 다수의 사용자 감정 팩터를 생성하며,
    상기 정보 생성부는 상기 생성한 다수의 사용자 감정 팩터의 조합으로부터 사용자 감정정보를 생성하는 것을 특징으로 하는 사용자 감정정보의 제공 단말기.
  4. 제 3 항에 있어서, 상기 정보 생성부는
    아래의 수학식(1)을 이용하여 상기 센싱 신호로부터 판단한 각 감정 팩터의 총합 중 가장 큰 값을 가지는 감정 팩터에 따른 감정 상태를 사용자 감정정보로 생성하며,
    [수학식 1]
    M = Max(M1, M2, M3, M4)
    여기서 M은 다수의 감정 팩터로부터 결정된 사용자의 감정 정보이며, M1 내지 M4는 사용자의 감정 상태, 즉 기쁨, 화남, 슬픔, 평상에 대한 감정 팩터의 총합이고,
    상기 사용자의 각 감정 상태에 따른 각 감정 팩터의 총합은 아래의 수학식(2)를 이용하여 계산되며.
    [수학식 2]
    Figure 112009010411819-PAT00003
    여기서 α1, α2, α3...는 각 센서 노드로부터 수신한 센싱 신호에서 판단한 감정 팩터에 대한 가중치인 것을 특징으로 하는 사용자 감정정보의 제공 단말기.
  5. 제 4 항에 있어서, 상기 사용자 감정 팩터에 대한 가중치 중
    사용자의 음성 정보에 기초한 감정 팩터가 가장 큰 가중치를 가지는 것을 특징으로 하는 사용자 감정정보의 제공 단말기.
  6. 제 1 항에 있어서, 상기 사용자 감정정보의 제공 단말기는
    다수의 센서 디바이스로부터 사용자의 감정 상태 변화를 나타내는 신호를 수신하는 수신부; 및
    상기 사용자 감정정보를 상기 외부 서버로 제공하는 송신부를 더 구비하는 것을 특징으로 하는 사용자 감정정보의 제공 단말기.
  7. 제 1 항에 있어서, 상기 정보 생성부는 상기 감정정보 요청 메시지에 저장되어 있는 제공 타입에 따라,
    상기 감정정보 요청 메시지를 수신하는 경우에만 상기 사용자 감정정보를 제공하거나,
    상기 사용자 감정정보를 주기적으로 제공하거나,
    상기 사용자 감정정보가 변경될 때마다 상기 사용자 감정정보를 제공하는 것을 특징으로 하는 사용자 감정정보의 제공 단말기.
  8. 제 1 항 내지 제 7 항 중 어느 한 항에 있어서, 상기 사용자의 감정 상태 변화는
    사용자의 맥박수, 활동량, 호흡수, 음성 정보, 체온, 혈압 중 어느 하나 또는 조합인 것을 특징으로 하는 사용자 감정정보의 제공 단말기.
  9. (a) 사용자 단말기에서 생성된 사용자 감정정보를 요청하기 위한 메시지를 상기 사용자 단말기로 송신하는 단계;
    (b) 상기 감정정보 요청 메시지에 응답하여 상기 사용자 단말기로부터 수신한 요청 응답 메시지에서 사용자 식별자와 사용자 감정정보를 추출하고, 상기 추출한 사용자 식별자에 기초하여 사용자를 인증하고 상기 추출한 사용자 감정정보를 저장하는 단계;
    (c) 상대방 단말기로부터 상기 저장된 사용자 감정 정보를 송신 요청하기 위한 메시지를 수신하는 단계; 및
    (d) 상기 송신 요청 메시지에 응답하여 상기 상대방 단말기가 상기 사용자 감정 정보에 접속 권한이 있는지 여부를 확인하고, 상기 상대방 단말기로 상기 사용자 감정 정보를 구비하는 감정정보 메시지를 송신하는 단계를 포함하는 사용자 감정정보의 제공 방법.
  10. 제 9 항에 있어서, 상기 사용자 감정정보는
    상기 사용자 단말기에서 사용자의 음성 정보 또는 사용자의 다양한 신체 변화에 대한 정보로부터 생성되는 것을 특징으로 하는 사용자 감정정보의 제공 방법.
  11. 제 10 항에 있어서, 상기 (d) 단계는
    (d1) 상기 송신 요청 메시지에서 상대방을 식별하기 위한 상대방 식별자와 상기 상대방에서 송신 요청되는 감정정보의 사용자를 식별하기 위한 사용자 식별자를 추출하는 단계;
    (d2) 상기 송신 요청 메시지에서 추출한 상대방 식별자와 사용자 식별자에 기초하여 상기 상대방이 상기 사용자의 감정정보에 접속 권한이 있는지 여부와 상기 상대방의 접속 레벨을 판단하는 단계;
    (d3) 상기 상대방이 상기 사용자 감정정보에 접속 권한이 있는 경우, 상기 접속 레벨에 따라 사용자 감정정보를 구비하는 감정정보 메시지를 생성하는 단계; 및
    (d4) 상기 생성한 감정정보 메시지를 상기 상대방 단말기로 송신하는 단계를 포함하는 것을 특징으로 하는 사용자 감정정보의 제공 방법.
  12. 제 11 항에 있어서, 상기 감정정보 메시지는
    상기 접속 레벨에 따라 차등적으로 생성되어 상기 상대방 단말기로 송신되는 것을 특징으로 하는 사용자 감정정보의 제공 방법.
KR1020090013961A 2009-01-22 2009-02-19 다중 감정 센싱 기반으로 사용자의 감정정보를 제공하는 장치 KR101119867B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20090005697 2009-01-22
KR1020090005697 2009-01-22

Publications (2)

Publication Number Publication Date
KR20100086398A true KR20100086398A (ko) 2010-07-30
KR101119867B1 KR101119867B1 (ko) 2012-03-14

Family

ID=42644989

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090013961A KR101119867B1 (ko) 2009-01-22 2009-02-19 다중 감정 센싱 기반으로 사용자의 감정정보를 제공하는 장치

Country Status (1)

Country Link
KR (1) KR101119867B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014145228A1 (en) * 2013-03-15 2014-09-18 Affectiva, Inc. Mental state well being monitoring
US9189471B2 (en) 2011-11-18 2015-11-17 Samsung Electronics Co., Ltd. Apparatus and method for recognizing emotion based on emotional segments
KR20190044836A (ko) * 2017-10-23 2019-05-02 동서대학교 산학협력단 감정정보를 이용한 사용자 인증시스템
KR20200111931A (ko) * 2019-03-20 2020-10-05 주식회사 성공팩토리 테라피 여행 서비스 제공 방법 및 테라피 여행 서버

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100680284B1 (ko) * 2005-06-07 2007-02-08 주식회사 헬스피아 사용자의 감정 상태에 따라 단말기의 환경설정을 변경하는이동통신 단말기 및 그 변경방법
KR20070110158A (ko) * 2006-05-12 2007-11-16 고려대학교 산학협력단 감정 상태에 따른 피드백 장치, 그 방법 및 그 기록 매체

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9189471B2 (en) 2011-11-18 2015-11-17 Samsung Electronics Co., Ltd. Apparatus and method for recognizing emotion based on emotional segments
WO2014145228A1 (en) * 2013-03-15 2014-09-18 Affectiva, Inc. Mental state well being monitoring
KR20190044836A (ko) * 2017-10-23 2019-05-02 동서대학교 산학협력단 감정정보를 이용한 사용자 인증시스템
KR20200111931A (ko) * 2019-03-20 2020-10-05 주식회사 성공팩토리 테라피 여행 서비스 제공 방법 및 테라피 여행 서버

Also Published As

Publication number Publication date
KR101119867B1 (ko) 2012-03-14

Similar Documents

Publication Publication Date Title
CN107818798B (zh) 客服服务质量评价方法、装置、设备及存储介质
CN109087669B (zh) 音频相似度检测方法、装置、存储介质及计算机设备
US8903176B2 (en) Systems and methods using observed emotional data
JP6400445B2 (ja) 会話分析装置、会話分析システム、会話分析方法及び会話分析プログラム
CN103561652A (zh) 用于辅助患者的方法和系统
CN104731767B (zh) 交流支援装置以及交流支援方法
WO2016194740A1 (ja) 音声認識装置、音声認識システム、当該音声認識システムで使用される端末、および、話者識別モデルを生成するための方法
KR102314213B1 (ko) 인공지능 기술을 활용한 경도 인지 장애 감지 방법 및 장치
JP6391386B2 (ja) サーバ、サーバの制御方法およびサーバ制御プログラム
CN103945140B (zh) 视频字幕的生成方法及系统
KR101119867B1 (ko) 다중 감정 센싱 기반으로 사용자의 감정정보를 제공하는 장치
CN107943272A (zh) 一种智能交互系统
CN104754112A (zh) 用户信息获取方法及移动终端
KR20200092166A (ko) 감정을 인식하는 서버, 방법 및 컴퓨터 프로그램
CN106653020A (zh) 一种基于深度学习的智慧视听设备多业务控制方法及系统
KR101376292B1 (ko) 통화 중 감정 분석 서비스 제공 방법 및 장치
KR101437186B1 (ko) 다중 센서 기반으로 감지한 사용자 감정 상태에 대한 응답 방법.
KR101567154B1 (ko) 다중 사용자 기반의 대화 처리 방법 및 이를 수행하는 장치
US11100944B2 (en) Information processing apparatus, information processing method, and program
CN112860213A (zh) 音频的处理方法、存储介质及电子设备
CN112116925A (zh) 情绪识别方法、装置、终端设备、服务器及存储介质
KR101027267B1 (ko) 사용자 감성정보를 관리하는 단말기
CN110196900A (zh) 用于终端的交互方法和装置
CN115171284A (zh) 一种老年人关怀方法及装置
JP5919182B2 (ja) ユーザモニタリング装置およびその動作方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application
J201 Request for trial against refusal decision
J301 Trial decision

Free format text: TRIAL DECISION FOR APPEAL AGAINST DECISION TO DECLINE REFUSAL REQUESTED 20110721

Effective date: 20120103

GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20151204

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20161226

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20180112

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20200130

Year of fee payment: 9