KR101437186B1 - 다중 센서 기반으로 감지한 사용자 감정 상태에 대한 응답 방법. - Google Patents

다중 센서 기반으로 감지한 사용자 감정 상태에 대한 응답 방법. Download PDF

Info

Publication number
KR101437186B1
KR101437186B1 KR1020090006717A KR20090006717A KR101437186B1 KR 101437186 B1 KR101437186 B1 KR 101437186B1 KR 1020090006717 A KR1020090006717 A KR 1020090006717A KR 20090006717 A KR20090006717 A KR 20090006717A KR 101437186 B1 KR101437186 B1 KR 101437186B1
Authority
KR
South Korea
Prior art keywords
user
emotion
state information
sensing signal
emotion state
Prior art date
Application number
KR1020090006717A
Other languages
English (en)
Other versions
KR20100087599A (ko
Inventor
홍충선
이성원
허림
이광현
Original Assignee
경희대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 경희대학교 산학협력단 filed Critical 경희대학교 산학협력단
Priority to KR1020090006717A priority Critical patent/KR101437186B1/ko
Priority to PCT/KR2009/005834 priority patent/WO2010087562A1/ko
Publication of KR20100087599A publication Critical patent/KR20100087599A/ko
Application granted granted Critical
Publication of KR101437186B1 publication Critical patent/KR101437186B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/021—Measuring pressure in heart or blood vessels
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/08—Detecting, measuring or recording devices for evaluating the respiratory organs
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7239—Details of waveform analysis using differentiation including higher order derivatives
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/744—Displaying an avatar, e.g. an animated cartoon character

Abstract

본 발명은 사용자의 감정 상태에 연동한 서비스를 제공하는 시스템에 관한 것으로, 보다 구체적으로 다수의 센서 디바이스로부터 사용자의 감정 상태를 나타내는 센싱 신호를 수신하고, 수신한 다수의 센싱 신호를 이용하여 사용자의 감정 상태 정보를 실시간으로 생성하는 장치 및 그 장치를 이용하여 사용자의 감정 상태와 연동한 서비스를 제공하는 시스템에 관한 것이다.
본 발명에 따른 사용자 감정상태정보의 제공 단말기는 사용자의 음성 정보를 포함한 다양한 감정 표현 방식을 모두 고려하여 사용자의 감정 상태 정보를 생성함으로써, 정확하게 사용자의 감정 상태 정보를 생성할 수 있다. 또한 본 발명에 따른 사용자 감정상태정보의 제공 단말기는 음성을 포함한 사용자의 다양한 신체 변화를 센싱하는 다수의 센서 디바이스를 이용하여 사용자의 감정 상태 변화를 수집함으로써, 사용자의 일상 생활에서 표현되는 사용자의 감정 상태를 정확하게 판단할 수 있다. 또한 본 발명에 따른 사용자 감정상태정보의 제공 단말기는 사용자의 감정 상태와 연동된 서비스를 제공하는 외부 서버로 사용자의 감정상태정보를 제공함으로써, 사용자의 감정상태에 기반하여 응답을 보내는 다양한 휴먼 인터페이스에 사용될 수 있다.
감정센싱, 휴먼 인터페이스, 감정인식

Description

다중 센서 기반으로 감지한 사용자 감정 상태에 대한 응답 방법.{Method for responding to user emotion with multiple sensors}
본 발명은 사용자의 감정 상태에 대한 응답 방법에 관한 것으로, 보다 구체적으로 다수의 다양한 센서 디바이스를 이용하여 사용자의 감정 상태를 판단하고, 단말기에서 구현되는 아이콘, 예를 들어 가상의 애완동물, 캐릭터를 통해 사용자의 감정 상태를 조절하거나 호응하기 위한 메시지를 출력하여 사용자, 특히 어린이들의 올바른 정서 형성과 발달에 도움을 줄 수 있는 사용자의 감정 상태에 대한 응답 방법에 관한 것이다.
감정인식에 관한 연구는 인간의 감정을 인식하고, 인간의 감정에 지적으로 대응할 수 있는 능력을 부여하는 것으로 궁극적으로는 인간과의 상호작용을 통하여 효율적인 응용 서비스의 제공을 목표로 한다. 감정, 감각, 행위추론의 연구는 인간 모방의 개념으로부터 인간에 대한 추론 더 나아가 인간의 보조를 위한 기술로까지 발전하고 있다. 특히 감정 인식에 기반한 휴먼-인터페이스 기술은 인간의 감정 상태 변화를 자동으로 인식하고 변화하는 인간 감정에 능동적으로 대처함으로써, 기술적인 요인에 인간의 감정적 요인을 결합한 미래 핵심 기술로 평가받고 있다.
종래 휴먼-인터페이스 기술은 주로 사용자가 직접 자신의 감정 상태를 입력하고, 입력한 감정 상태에 따라 아이콘을 미리 설정한 상태로 변경시켜 사용자의 감정 상태를 조절하거나 호응하도록 구현하였다.
종래 다른 휴먼-인터페이스 기술은 단말기의 스피커를 통해 입력되는 사용자의 음성에 포함되어 있는 여러 음성 정보를 분석하여 사용자의 감정 상태를 판단하였다. 즉, 사용자가 말을 하는 동안 발음 속도, 피치 평균, 피치 변화 범위, 발음 세기, 음질, 피치의 변화, 발음법 등과 같은 음성 정보를 계산하고, 이러한 음성 정보의 차이로부터 사용자의 감정 상태를 기쁨, 화남, 슬픔, 평상감으로 판단하였다. 이렇게 판단한 사용자의 감정 상태에 따라 아이콘을 미리 설정한 상태로 변경시켜 사용자의 감정 상태를 조절시키거나 호응하도록 구현하였다.
사용자의 음성 신호를 필터링, 샘플링하며, 샘플링한 음성 신호의 소정 구간에 대해 피치와 에너지 값을 구하고, 그로부터 유도할 수 있는 피치 평균(pitch mean), 피치 표준편차(pitch standarddeviation), 피치 최대 값 (pitch maximum), 에너지 평균(energy mean), 에너지 표준편차(energy standard deviation) 등의 통계적 정보를 계산한다. 패턴 신호 판단부(13)는 음성 신호 분석부(11)에서 계산한 음성 신호의 통계적 정보를 이용하여 입력된 음성 신호를 기준 패턴 신호와 비교하여 입력된 음성 신호의 신호 패턴을 판단한다.
사용자의 음성에 기초하여 사용자의 감정 상태를 판단하기 위해서는 음성을 구성하는 각 음소보다는 음성의 운율 정보가 중요하다. 음성의 운율 정보로는 피치, 에너지, 발음속도 등이 있는데, 감정은 주로 이러한 운율 정보에 의해서 표현 된다. 사용자의 감정 상태를 판단하기 위해서는 음성에서 이러한 운율 정보를 잘 반영하는 특징을 찾아내어 모델링을 해야된다. 패턴 신호 DB(15)에는 기쁨, 슬픔, 우울함, 화남, 평상 감정 등과 같이 사용자의 감정 상태에 따라 달라지는 운율 정보에 따라 모델링된 기준 패턴 신호들이 기저장되어 있다.
사용자가 직접 자신의 감정 상태를 입력하는 종래 휴먼-인터페이스 기술은 사용자가 직접 자신의 감정 상태를 입력함으로써, 실시간으로 변하는 사용자의 감정 상태에 능동적으로 반응할 수 없으며 사용자가 직접 자신의 감정 상태를 입력하여야 하는 불편함이 있었다.
한편, 통상적으로 사용자의 감정은 음성뿐만 아니라 사용자의 다양한 신체 변화를 통해 표현된다. 예를 들어, 사용자의 얼굴표정, 몸동작, 맥박수, 체온, 혈압, 뇌파 신호 등으로 표현된다. 따라서 사용자의 감정 정보는 다양한 방법으로 얻을 수 있고, 어플리케이션에 따라 사용자의 감정 정보의 획득 방식도 달라진다.
그러나 위에서 설명한 음성 정보에 기초하여 사용자의 감정 상태를 판단하는 종래 휴먼-인터페이스 기술은 사용자의 음성 정보만을 이용하여 사용자의 감정 상태를 판단함으로써, 사용자의 감정 상태를 정확하게 판단하기 곤란하다는 문제점을 가진다. 더욱이 스피커만을 이용하여 사용자의 음성 정보를 획득함으로써, 정확한 사용자의 감정 상태 정보를 획득하기 곤란하다는 문제점을 가진다.
본 발명은 종래 휴먼-인터페이스 기술들이 가지는 문제점들을 해결하기 위한 것으로, 본 발명이 이루고자 하는 목적은 다양한 센서 디바이스를 통해 사용자의 감정 상태 정보를 획득하고, 사용자의 감정 상태를 조절하거나 호응하기 위한 메시지를 아이콘을 통해 응답하는 방법을 제공하는 것이다.
본 발명이 이루고자 하는 다른 목적은 다양하게 표현되는 사용자의 감정 표 현에 기초하여 정확하게 사용자의 감정 상태를 판단하고 판단한 사용자의 감정 상태에 대하여 실시간으로 정확하게 아이콘을 통해 응답하는 방법을 제공하는 것이다.
위에서 언급한 본 발명의 목적을 달성하기 위하여 본 발명에 따른 사용자의 감정 상태에 대한 응답 방법은 다수의 센싱 디바이스로부터 사용자의 감정 상태 변화를 나태나는 센싱 신호를 수신하는 단계와, 센싱 신호로부터 사용자의 감정 상태를 표현하는 특징 파라미터를 추출하는 단계와, 추출한 특징 파라미터와 기준 패턴을 비교하여 센싱 신호의 신호 패턴을 인식하고 인식한 신호 패턴에 매칭되어 있는 사용자의 감정 팩터를 생성하는 단계와, 생성한 감정 팩터 또는 특징 파라미터로부터 사용자의 감정 상태를 판단하여 사용자의 감정 상태 정보를 생성하는 단계 및 생성한 사용자의 감정 상태 정보에 기초하여 사용자의 감정 상태를 조절하거나 호응하기 위한 메시지를 아이콘을 통해 출력하는 단계를 포함한다. 여기서, 아이콘은 사용자의 감정 상태에 반응하는 가상의 애완동물인 것을 특징으로 한다.
센싱 신호로부터 추출되는 특징 파라미터는 센싱 신호에 구비되어 있는 센싱 디바이스의 식별자를 통해 센싱 신호의 종류를 판단하는 단계와, 판단한 센싱 신호의 종류에 기초하여 센싱 신호에 매핑되어 있는 특징 파라미터의 종류를 판단하는 단계와, 센싱 신호에서 상기 판단한 특징 파라미터 종류에 해당하는 특징 파라미터를 추출하는 단계를 통해 추출된다.
본 발명에 따른 사용자 감정 상태에 대한 응답 방법은 종래 기술과 비교하여 다음과 같은 다양한 효과들을 가진다.
첫째, 본 발명에 따른 사용자의 감정 상태에 대한 응답 방법은 사용자의 음성 정보를 포함한 다양한 감정 표현 방식을 모두 고려하여 사용자의 감정 상태 정보를 판단함으로써, 정확하게 사용자의 감정 상태에 반응할 수 있다.
둘째, 본 발명에 따른 사용자의 감정 상태에 대한 응답 방법은 음성 정보를 포함한 사용자의 다양한 신체 변화를 센싱하는 다수의 센서 디바이스를 이용하여 사용자의 감정 변화 상태를 수집함으로써, 실시간으로 변화하는 사용자의 감정 상태에 즉각적이고 능동적으로 반응할 수 있다.
셋째, 본 발명에 따른 사용자의 감정 상태에 대한 응답 방법은 가상의 애완동물이나 캐릭터와 같은 아이콘을 이용하여 사용자의 감정 상태를 조절하거나 호응함으로써, 어린이와 같은 사용자의 정서 형성 및 발달에 도움을 준다.
이하 첨부한 도면을 참고로 본 발명에 따른 사용자 상태 정보에 대한 응답 방법에 대해 보다 구체적으로 살펴본다.
도 1은 본 발명의 일 실시예에 따른, 사용자 감정상태의 응답 시스템을 설명하기 위한 기능 블록도이다.
도 1을 참고로 보다 구체적으로 살펴보면, 다수의 센서 디바이스들(20)은 사용자의 다양한 감정 상태 변화를 센싱하여 센싱 신호를 생성하고, 생성한 센싱 신호를 단말기(30)로 송신한다. 센서 디바이스(20)는 사용자의 감정 상태 변화를 센 싱하기 위하여, 사용자의 음성 정보, 운동량을 센싱하거나 사용자의 신체 변화를 감지한다. 예를 들어, 센싱 디바이스(20)는 사용자의 음성 크기, 사용자 음성의 운율적 요인, 대화량 등과 같은 음성 정보를 센싱하거나 사용자의 맥박수, 혈압, 호흡수, 체온 등과 같은 신체 변화를 감지한다. 단말기(30)는 센서 디바이스(20)로부터 수신한, 사용자의 감정상태의 변화를 나타내는 센싱 신호를 분석하여 사용자의 감정상태 변화를 잘 표현하는 특징 파라미터를 추출한다. 추출한 특징 파라미터로부터 사용자의 감정 팩터를 생성하고 생성한 감정 팩터의 조합으로부터 사용자의 감정상태정보를 생성하거나, 추출한 특징 파라미터의 조합으로부터 직접 사용자의 감정상태정보를 생성한다.
도 1(a)를 참고로 센서 디바이스(20)의 장착 상태의 일 예를 살펴보면, 사용자의 신체 변화를 센싱하거나 사용자의 음성 정보를 센싱하기 위한 다수의 센서 디바이스(20-1, 20-2, 20-3)들이 가정이나 사무실의 벽면에 설치되어 있거나 가구, 액자 등과 같은 가정 용품에 설치되어 있다. 한편, 센서 디바이스의 장착 상태의 다른 예를 도 1(b)를 참고로 살펴보면, 사용자의 신체 변화, 즉 사용자의 맥박수, 혈압, 체온, 호흡수를 센싱하기 위한 다수의 센서 디바이스들(20-4, 20-5, 20-6)이 사용자의 신체에 직접 또는 시계, 목걸이 등과 같은 장식품에 구비되어 사용자에 장착되어 있다. 가정이나 사무실에 장착되어 있는 센서 디바이스들 또는 사용자의 신체에 장착되어 있는 센서 디바이스들에서 센싱된 사용자의 감정 상태 변화를 나타내는 신호는 단말기(30)로 송신된다.
도 2는 본 발명의 일 실시예에 따라 사용자의 감정 상태 정보를 제공하는 단 말기(30)의 기능 블록도를 도시하고 있다.
도 2를 참고로 살펴보면, 다수의 센서 디바이스로부터 수신부(110)를 통해 수신된 사용자의 감정 상태 변화의 센싱 신호는 특징 파라미터 추출부(120)로 제공된다. 특징 파라미터 추출부(120)는 전처리부(121)와 추출부(123)으로 구성되어 있는데, 수신된 센싱 신호는 전처리부(121)에서 잡음 필터링과 샘플링된다. 추출부(123)는 소정 구간으로 샘플링된 센싱 신호에서 사용자의 감정 상태를 나타내는 특징 파라미터를 추출한다. 특징 파라미터란 사용자의 감정 상태를 잘 표현하는 파라미터로, 예를 들어 음성 정보에 대해서는 피치 평균(pitch mean), 피치 표준편차(pitch standarddeviation), 피치 최대 값 (pitch maximum), 에너지 평균(energy mean), 에너지 표준편차(energy standard deviation) 등이 사용될 수 있으며, 신체 변화에 대해서는 호흡수 또는 호흡수의 변화, 맥박수 또는 맥박수의 변화, 혈압 또는 혈압의 변화 등이 사용될 수 있다. 추출부(123)는 센싱 신호의 종류를 센싱 신호에 구비되어 있는 센싱 디바이스의 식별자를 통해 판단하고, 판단한 센싱 신호의 종류에 기초하여 센싱 신호에 매핑되어 있는 특징 파라미터의 종류를 판단하여 판단한 특징 파라미터 종류에 해당하는 특징 파라미터를 추출한다. 예를 들어, 센싱 디바이스의 식별자를 통해 센싱 신호의 종류가 음성 정보에 대한 센싱 신호로 판단되는 경우, 센싱 신호에 매핑되어 있는 특징 파라미터의 종류, 즉 피치 평균, 피치 표준편차, 피치 최대 값, 에너지 평균, 에너지 표준편차 등을 추출한다.
감정 팩터 생성부(130)는 패턴 인식부(131), 기준패턴 DB(133)와 생성부(135)로 구성되어 있는데, 패턴 인식부(131)는 추출한 특징 파라미터에 기초하여 추출된 특징 파라미터와 기준 패턴을 비교하여 수신한 센싱 신호의 신호 패턴을 인식한다. 기준 패턴이란 사용자의 감정 상태에 따라 나타나는 음성 크기의 변화, 운율적 요인, 대화 속도 또는 대화량의 변화 등과 같은 음성 정보의 기준 패턴이거나, 사용자의 감정 상태에 따라 나타나는 사용자의 맥박수의 변화, 혈압의 변화, 호흡수의 변화, 체온의 변화 등과 같은 신체 변화에 대한 기준 패턴이다. 예를 들어, 기쁘거나 화난 상태인 경우의 음성 정보에 대한 기준 패턴은 전체적으로 에너지와 피치가 높고, 발음 속도가 빠르며, 슬프거나 지루한 상태인 경우의 음성 정보에 대한 기준 패턴은 전체적으로 에너지와 피치가 낮고 발음 속도가 느리다. 한편, 기쁜 상태인 경우의 신체 변화는 맥박수, 혈압, 호흡수, 체온이 증가하며 화난 상태인 경우의 신체 변화는 기쁜 상태의 맥박수, 혈압, 호흡수, 체온보다 더 증가한다. 또한, 슬프거나 지루한 경우의 신체 변화는 맥박수, 체온이 감소한다. 생성부(135)는 각 센싱 신호의 인식 패턴에 기초하여 각 센싱 신호에 상응하는 사용자의 감정 팩터, 즉 슬픔, 기쁨, 화남, 평상 등과 같은 사용자의 감정 상태를 결정한다.
바람직하게, 보다 정확한 사용자의 감정 팩터를 생성하기 위하여, 사용자의 주요 감정 상태를 기쁨, 슬픔, 화남의 3가지 감정 상태와 이들의 기준이 되는 평상 감정 상태로 분류하고, 각 감정 상태에서 각 감정 상태를 잘 표현하는 문장을 사용자가 말할 때 통상적으로 나타나는 특징 파라미터를 기준 패턴으로 설정하여 기준패턴 DB(133)에 저장하여 사용한다. 바람직하게, 사용자의 음성에 기초하여 사용자의 감정 상태를 판단하기 위해서는 음성을 구성하는 각 음소보다는 음성의 운율 정보가 중요하다. 음성의 운율 정보로는 피치, 에너지, 발음속도 등이 있는데, 감정은 주로 이러한 운율 정보에 의해서 표현된다. 사용자의 감정 상태를 판단하기 위해서는 음성에서 이러한 운율 정보를 잘 반영하는 특징을 찾아내어 기준 패턴을 생성할 수 있다.
정보 생성부(140)는 각 센싱 신호로부터 결정된 감정 팩터의 조합 또는 특징 파라미터의 조합으로부터 사용자의 감정 상태 정보를 생성한다. 정보 생성부(140)에서 생성된 사용자의 감정 상태에 대한 정보는 사용자의 감정 팩터 또는 특징 파라미터와 함께 감정 상태 정보 DB(165)에 저장된다. 바람직하게, 정보 생성부(140)는 센서 디바이스로부터 센싱 신호를 수신하는 경우마다 사용자의 감정 상태 정보를 생성하거나, 사용자의 감정 상태 정보가 변경될 때마다 사용자의 감정 상태 정보를 생성한다. 바람직하게, 정보 생성부(140)는 수신한 센싱 신호에 기초하여 사용자의 감정 상태 정보를 주기적으로 생성한다.
단말기(30)의 저장부(180)에 저장되어 있는, 사용자의 감정 상태 정보에 연관된 서비스를 제공하는 응용 프로그램을 실행부(170)에서 실행하는 경우, 정보 제어부(150)는 실행부(170)로부터 수신한 요청 메시지에 응답하여 사용자의 감정 상태 정보를 실행부(170)로 제공한다. 예를 들어, 상기 저장부(180)에 저장되어 있는 응용 프로그램은 가상의 애완동물 또는 가상의 캐릭터와 같은 아이콘을 통해 사용자의 감정 상태를 조절하거나 호응하기 위한 프로그램이다.
실행부(170)는 응용 프로그램에서 제공하는 서비스에 따라 사용자의 감정 상태를 조절하거나 사용자의 감정 상태를 제어하기 위한 영상 메시지 또는 오디오 메 시지를 출력부(190)를 통해 출력한다. 바람직하게, 출력부는 영상 메시지를 출력하는 디스플레이 또는 오디오 메시지를 출력하는 스피커이다.
도 3은 본 발명의 일 실시예에 따른, 사용자의 감정 상태에 대한 응답 방법을 설명하기 위한 흐름도이다.
도 3을 참고로 살펴보면, 가정이나 사무실의 벽면 또는 가정 용품에 설치되어 있거나 사용자의 신체, 장식구에 장착되어 있는 다수의 센서 디바이스들로부터 사용자의 감정 상태 변화를 나타내는 센싱 신호를 수신한다(S1). 수신한 센싱 신호로부터 사용자의 감정 상태를 잘 표현하는 특징 파라미터를 추출하고(S2), 추출한 특징 파라미터와 기준 패턴을 비교하여(S3) 수신한 센싱 신호를 인식할 수 있는 기준 패턴이 존재하는지 판단한다(S4). 수신한 센싱 신호에 대한 신호 패턴의 인식을 통해 수신한 센싱 신호에 담겨 있는 사용자의 감정 상태가 기쁨, 슬픔, 화남, 평상감 중 어떠한 감정 상태인지를 판단하여 각 센싱 신호에 대한 감정 팩터를 생성한다(S5). 다수의 센서 디바이스로부터 사용자의 다양한 감정 상태 변화를 나타내는 다수의 센싱 신호를 수신하고, 수신한 각 센싱 신호로부터 각 센싱 디바이스에 따라 서로 상이한 특징 파라미터를 추출하거나, 추출한 특징 파라미터로부터 다양한 감정 팩터를 생성한다. 추출한 특징 파라미터의 조합 또는 감정 팩터의 조합으로부터 사용자의 현재 감정 상태를 나타내는 감정 상태 정보를 생성한다(S6).
감정 팩터의 조합으로부터 사용자의 감정 상태 정보를 생성하는 일 예를 살펴보면, 다수의 센싱 신호로부터 생성한 다양한 감정 팩터에 기초하여 각 감정 팩터에 해당하는 감정 상태별 크기 중 가장 큰 값을 가지는 감정 상태를 사용자의 감 정 상태 정보로 생성한다. 수학식 (1)을 참고로 감정 팩터의 조합으로부터 사용자의 감정 상태 정보를 생성하는 일 예를 보다 구체적으로 살펴보면, 아래와 같다.
[수학식 1]
M = Max(M1, M2, M3, M4)
여기서 M은 다수의 감정 팩터로부터 결정된 사용자의 감정 상태 정보이며, M1 내지 M4는 다수의 센싱 신호로부터 생성한 사용자의 감정 상태, 즉 기쁨, 화남, 슬픔, 평상에 대한 감정 팩터의 총합이다. 사용자의 각 감정 팩터의 총합은 아래의 수학식(2)를 이용하여 계산된다.
[수학식 2]
Figure 112009005488110-pat00001
여기서 α1, α2, α3...는 각 센싱 신호에서 판단한 동일한 감정 팩터에 대한 가중치이다. 예를 들어, 음성 정보를 센싱하는 센서 디바이스, 사용자의 맥박수를 센싱하는 센서 디바이스, 호흡수를 센싱하는 센서 디바이스로부터 수신한 센싱 신호로부터 생성된 사용자의 감정 팩터가 기쁨인 경우, α1은 음성 정보로부터 생성된 감정 팩터에 부가되는 가중치이며, α2는 맥박수로부터 생성된 감정 팩터에 부가되는 가중치이며, α3은 호흡수로부터 생성된 감정 팩터에 부가되는 가중치이다. 바람직하게, 음성 정보로부터 생성된 감정 팩터에 가장 큰 가중치가 부가되는 것을 특징으로 한다.
특징 파라미터의 조합으로부터 사용자의 감정 상태 정보를 생성하는 다른 예를 살펴보면, 아래의 수학식(3)을 이용하여 사용자의 감정 상태를 나타내는 특징 파라미터의 합(M)을 계산하고, 계산한 특징 파라미터의 합과 각 감정 상태에 따른 임계값을 비교하여 사용자의 감정 상태 정보를 계산한다. .
[수학식 3]
Figure 112009005488110-pat00002
여기서 A, B, C,..는 각 특징 파라미터의 값이며 αa, αb, αc 는 각 특징 파라미터에 대한 가중치이다. 정보 생성부(140)는 특징 파라미터의 합(C)이 제1 임계값(TH1)을 초과하는 경우에는 사용자의 감정 상태 정보를 화남으로 생성하며, 제1 임계값보다 작고 제2 임계값(TH2)보다 큰 경우에는 기쁨으로 생성하며, 제2 임계값(TH2)보다 작고 제3 임계값(TH3)보다 큰 경우에는 평상으로 생성하며, 제3 임계값(TH4)보다 작은 경우에는 슬픔으로 생성한다.
생성한 사용자의 감정 상태 정보는 생성 시각에 따라 순차적으로 저장되거나 새로운 사용자의 감정 상태 정보가 생성되는 경우에는 이전에 생성되어 저장되어 있는 사용자의 감정 상태 정보를 갱신하다(S7). 도 7을 참고로 본 발명에 따라 생성되어 감정상태정보 DB에 저장되는 사용자의 감정상태정보 테이블의 일 예를 살펴보면, 도 7(a)에 도시되어 있는 것과 같이 사용자의 감정 팩터에 기초하여 사용자의 감정상태정보를 생성하는 경우, 감정상태정보 테이블에는 감정상태정보를 생성한 시점에서 각 센서 디바이스로부터 수신한 센싱 신호로부터 생성한 사용자의 감 정팩터1, 감정팩터3,..., 감정팩터n와 이로부터 생성된 감정상태정보가 함께 저장되어 있다.
한편, 도 7(b)에 도시되어 있는 것과 같이, 특성 파라미터에 기초하여 사용자의 감정상태정보를 생성하는 경우, 감정상태정보 테이블에는 감정상태정보를 생성한 시점에서 각 센서 디바이스로부터 수신한 센싱 신호로부터 추출한 특성 파라미터1, 특성 파라미터2, 특성 파라미터3,....., 특성 파라미터n와 이로부터 생성된 감정상태정보가 함께 저장되어 있다.
응용 프로그램을 실행하는 경우, 저장 또는 갱신된 사용자의 감정 상태 정보에 따라 아이콘을 통해 사용자의 감정 상태를 조절하거나 호응하기 위한 메시지를 출력하여 사용자의 감정 상태에 응답한다(S8).
도 2와 도 4를 참고로, 응용 프로그램을 실행하는 경우 아이콘을 통해 사용자의 감정 상태에 응답하는 단계를 보다 구체적으로 살펴보면, 실행부(170)는 정보 제어부(150)로 사용자의 감정 상태 정보를 요청하는 메시지를 송신한다(S11). 요청 메시지에는 응용 프로그램에 대한 식별자, 감정 상태 정보의 제공 타입에 대한 식별자, 기설정된 사용자의 감정 상태 정보가 포함되어 있다. 정보 제어부(150)는 수신한 요청 메시지에 포함되어 있는 정보를 분석하고(S13), 분석한 요청 메시지에 따라 사용자의 감정 상태 정보를 실행부(170)로 제공한다(S15). 실행부(170)는 수신한 사용자의 감정 상태 정보를 이용하여 아이콘을 통하여 사용자의 감정 상태를 조절하거나 호응하기 위한 메시지를 생성하고, 생성한 조절 또는 호응 메시지를 디스플레이부 또는 스피커에 출력하여 사용자의 감정 상태에 응답한다.(S17). 도 8 은 디스플레이에 디스플레이된 조절 메시지 또는 호응 메시지의 일 예를 도시하고 있다. 도 8(a)에 도시되어 있는 것과 같이, 사용자의 감정 상태가 "슬픔"인 경우 사용자의 감정 상태를 조절할 수 있는 아이콘을 조절 메시지로 출력하거나, 도 8(b)에 도시되어 있는 것과 같이 아이콘과 함께 사용자의 감정 상태를 조절하기 위한 문구를 조절 메시지로 출력한다.
도 5는 요청 메시지의 분석을 통해 판단한, 요청 메시지에 포함되어 있는 사용자 감정 상태 정보의 제공 타입에 따라 사용자의 감정상태정보를 정보 제어부(150)에서 실행부(170)로 제공하는 방법을 설명하기 위한 흐름도로서, 도 5를 참고로 살펴보면, 요청 메시지에 구비되어 있는 제공 타입의 식별자를 추출하여(S21), 제공 타입의 식별자를 판단한다(S23). 제공 타입의 식별자는 요청 메시지를 수신하는 경우에만 사용자의 감정상태정보를 제공하는 타입 1, 사용자의 감정상태정보를 주기적으로 제공하는 타입 2, 사용자의 감정상태정보가 변경되는 경우에 자동적으로 사용자의 감정상태정보를 제공하는 타입 3로 구분된다.
제공 타입 식별자가 타입 1로 판단되는 경우, 정보 제어부(150)는 요청 메시지를 수신하는 경우에만 요청메시지를 수신한 시각에 생성된 사용자의 감정 상태 정보를 외부 서버 또는 실행부(170)로 제공한다(S24). 한편, 제공 타입 식별자가 타입 2로 판단되는 경우, 정보 제어부(150)는 요청 메시지를 수신하는 경우 사용자의 감정 상태 정보를 외부 서버 또는 실행부(170)로 제공하며(S25), 외부 서버 또는 실행부(170)로부터 서비스 종료 메시지를 수신하였는지를 판단하여(S26) 서비스 종료 메시지를 수신하기 전까지 일정 주기를 카운트하여(S27) 주기마다 사용자의 감정상태정보를 외부 서버 또는 실행부(170)로 제공한다. 또한, 제공 타입 식별자가 타입 3으로 판단되는 경우, 정보 제어부(150)는 요청 메시지에 응답하여 사용자의 감정상태정보를 외부 서버 또는 실행부(170)로 제공한다(S28). 사용자의 감정상태정보를 외부 서버 또는 실행부(170)로 제공 후, 사용자의 감정상태정보가 변경되었는지를 판단하며(S29) 사용자의 감정상태정보가 변경될 때마다 사용자의 감정상태정보를 외부 서버 또는 실행부로 제공한다.
도 6은 아이콘을 통해 사용자의 감정 상태에 응답하는 단계를 보다 구체적으로 설명하기 위한 흐름도이다.
도 6을 참고로 살펴보면, 수신한 사용자의 감정 상태 정보와 이전에 설정된 사용자의 감정 상태 정보를 비교하고(S31), 비교 결과에 따라 아이콘을 통해 출력할 조절 메시지를 선택한다(S33). 보다 구체적으로 살펴보면, 수신한 사용자의 감정 상태 정보와 이전에 설정된 사용자의 감정 상태 정보를 비교하여 사용자의 감정 상태 정보가 동일한 경우에는, 동일한 감정 상태 정보를 수신한 횟수에 따라 동일한 감정 상태 정보에 대하여 순차적으로 서로 다른 조절 메시지를 선택한다. 예를 들어, 수신한 사용자의 감정 상태 정보가 반복하여 "슬픔"인 경우, 동일한 감정 상태를 수신한 횟수에 따라 아이콘 또는 캐릭터와 함께 디스플레이되는 문장을 순차적으로 "힘내세요", "아직도 슬프세요. 이젠 그만 슬퍼하세요", "오늘은 하루종일 기분이 않좋네요. 내일은 좋은 일로 가득할거예요"와 같이 순차적으로 서로 다른 조절 메시지를 선택할 수 있다. 또한, 수신한 사용자의 감정 상태 정보가 반복하여 "슬픔"인 경우, 동일한 감정 상태를 수신한 횟수에 따라 대응하는 아이콘 또 는 캐릭터의 표정을 순차적으로 변경하여 출력할 수 있다.
조절 메시지의 출력 후, 임계 시간 이내에 사용자로부터 조절 메시지에 대한 응답 메시지가 입력되는지 판단하고(S35), 응답 메시지가 입력되는 경우 사용자의 감정 상태를 호응하기 위한 메시지를 생성하여 디스플레이 또는 스피커로 출력한다(S37). 예를 들어, "슬픔"에 상응하는 조절 메시지가 출력하는 경우, 사용자로부터 "그래 오늘 슬프구나"라는 응답 메시지가 입력된다. 사용자의 응답 메시지가 입력되는 경우, "힘들더라도 내일은 좋은 일이 있을거예요. 화이팅"과 같은 호응 메시지를 상응하는 아이콘과 함께 디스플레이에 출력한다. 바람직하게, 응답 메시지의 입력은 키패드, 마이크와 같은 사용자 인터페이스를 통해 입력되며, 어휘 사전을 이용한 통상의 의미 분석 기술 또는 음성 인식과 어휘 사전을 이용한 통상의 의미 분석 기술을 통해 입력된 응답 메시지를 분석할 수 있다. 또는 사용자는 조절 메시지에 대응하는 응답 메시지를 다양한 응답 메시지의 예가 디스플레이되는 메뉴창에서 선택하여 직접 입력할 수 있다. 이와 같이 조절 메시지에 대하여 사용자의 응답 메시지가 입력되는 경우 2차로 호응 메시지를 출력함으로써, 사용자에게 가상의 애완 동물 또는 캐릭터가 실제 존재하는 사물로 인식할 수 있도록 하여 정서 발달 또는 정서 순환에 도움을 주며, 사용자의 감정을 더 쉽게 조절할 수 있다.
본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다.
예를 들어, 위에서 정보 생성부에서 사용자의 감정 팩터 또는 특징 파라미터 로부터 사용자의 감정상태정보를 생성하는 방법은 하나의 예에 불과하며, 본 발명이 적용되는 분야에 따라 다양한 다수의 센서 디바이스로부터 수신한, 사용자의 감정 상태 변화를 나타내는 센싱 신호를 이용하여 사용자의 감정상태정보를 생성할 수 있다.
또한, 감정팩터의 합을 계산하거나 특징 파라미터의 합을 계산하는데 사용되는 가중치는 본 발명이 적용되는 분야에 따라 다르게 설정할 수 있으며, 특징 파라미터의 합에 기초하여 사용자의 감정상태정보를 결정하는데 사용되는 임계값도 다르게 설정할 수 있다.
따라서, 위에서 설명한 본 발명의 다양한 실시예는 본 발명의 권리범위를 정함에 있어 하나의 참고가 될 뿐이며, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.
도 1은 본 발명의 일 실시예에 따른, 사용자 감정상태의 응답 시스템을 설명하기 위한 기능 블록도이다.
도 2는 본 발명의 일 실시예에 따라 사용자의 감정 상태 정보를 제공하는 단말기(30)의 기능 블록도를 도시하고 있다.
도 3은 본 발명의 일 실시예에 따른, 사용자의 감정 상태에 대한 응답 방법을 설명하기 위한 흐름도이다.
도 4는 응용 프로그램을 실행하는 경우 아이콘을 통해 사용자의 감정 상태에 응답하는 방법을 보다 구체적으로 설명하는 흐름도이다.
도 5는 정보제공 타입에 따라 사용자의 감정상태정보를 제공하는 방법을 설명하기 위한 흐름도이다.
도 6은 아이콘을 통해 사용자의 감정 상태에 응답하는 단계를 보다 구체적으로 설명하기 위한 흐름도이다.
도 7은 본 발명에 따라 감정상태정보 DB에 저장되는 감정상태정보 테이블의 일 예를 도시하고 있다.
도 8은 본 발명에 따라 출력되는 조절 메시지의 일 예를 도시하고 있다.
<도면의 주요 부분에 대한 설명>
20: 센서 디바이스 30: 감정상태정보 제공 단말기
110: 수신부 120: 특징 파라미터 추출부
130: 감정팩터 생성부 140: 정보 제어부
150: 정보 제어부 165: 감정상태정보 DB
170: 실행부 180: 저장부
190: 출력부

Claims (8)

  1. 다수의 센싱 디바이스로부터 사용자의 감정 상태 변화를 나태나는 센싱 신호를 수신하는 단계;
    상기 센싱 신호로부터 사용자의 감정 상태를 표현하는 특징 파라미터를 추출하는 단계;
    상기 추출한 특징 파라미터와 기준 패턴을 비교하여 상기 센싱 신호의 신호 패턴을 인식하고 상기 인식한 신호 패턴에 매칭되어 있는 사용자의 감정 팩터를 생성하는 단계;
    상기 생성한 감정 팩터 또는 특징 파라미터로부터 사용자의 감정 상태를 판단하여 사용자의 감정 상태 정보를 생성하는 단계;
    상기 생성한 사용자의 감정 상태 정보를 이전에 생성된 사용자의 감정 상태 정보와 비교하는 단계; 및
    상기 비교 결과에 기초하여 사용자의 감정 상태를 조절하거나 호응하기 위한 메시지를 아이콘으로 출력하는 단계를 포함하는 것을 특징으로 하는 감정 상태의 응답 방법.
  2. 제 1 항에 있어서, 상기 아이콘은
    상기 사용자의 감정 상태에 반응하는 가상의 애완동물인 것을 특징으로 하는 감정 상태의 응답 방법.
  3. 제 1 항에 있어서, 상기 특징 파라미터를 추출하는 단계는
    상기 센싱 신호에 구비되어 있는 센싱 디바이스의 식별자를 통해 센싱 신호의 종류를 판단하는 단계;
    상기 판단한 센싱 신호의 종류에 기초하여 상기 센싱 신호에 매핑되어 있는 특징 파라미터의 종류를 판단하는 단계; 및
    상기 센싱 신호에서 상기 판단한 특징 파라미터 종류에 해당하는 특징 파라미터를 추출하는 단계를 포함하는 것을 특징으로 하는 감정 상태의 응답 방법.
  4. 제 1 항에 있어서, 상기 감정 상태의 응답 방법은
    상기 생성한 사용자의 감정 상태 정보와 상기 이전에 설정된 사용자의 감정 상태 정보가 동일한 경우, 동일한 사용자 감정 상태 정보의 반복 횟수에 따라 순차적으로 서로 다른 메시지를 출력하는 것을 특징으로 하는 감정 상태의 응답 방법.
  5. 제 1 항에 있어서, 상기 센싱 신호의 종류가 사용자의 신체 변화에 대한 센싱 신호로 판단되는 경우, 추출되는 특징 파라미터의 종류는
    사용자 호흡수 또는 호흡수의 변화, 맥박수 또는 맥박수의 변화, 혈압 또는 혈압의 변화 중 적어도 어느 하나인 것을 특징으로 하는 감정 상태의 응답 방법.
  6. 제 1 항에 있어서, 상기 사용자의 감정 상태 정보는 아래의 수학식(1)에 따라 상기 사용자의 감정 팩터로부터 생성되고.
    [수학식 1]
    M = Max(M1, M2, M3, M4,...., Mn)
    여기서 M은 생성된 사용자의 감정 상태 정보이며, M1 내지 Mn은 각 센싱 신호로부터 판단한 각 감정에 대한 감정 팩터의 총합이며,
    상기 각 감정 팩터의 총합은 아래의 수학식(2)를 이용하여 계산되며,
    [수학식 2]
    Figure 112014047812461-pat00003
    여기서 α1, α2, α3...는 각 센서 노드로부터 수신한 센싱 신호에서 판단한 감정 팩터의 가중치인 것을 특징으로 하는 감정 상태의 응답 방법.
  7. 제 1 항에 있어서, 상기 사용자의 감정 상태 정보는 특징 파라미터의 총합과 각 감정 상태에 따른 임계값을 서로 비교하여 생성되고,
    상기 특징 파라미터의 총합은 아래의 수학식(3)에 따라 계산되며,
    [수학식 3]
    Figure 112014047812461-pat00004
    여기서 A, B, C,..는 각 특징 파라미터의 값이며 αa, αb, αc ,... 는 각 특징 파라미터에 대한 가중치인 것을 특징으로 하는 감정 상태의 응답 방법.
  8. 삭제
KR1020090006717A 2009-01-28 2009-01-28 다중 센서 기반으로 감지한 사용자 감정 상태에 대한 응답 방법. KR101437186B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020090006717A KR101437186B1 (ko) 2009-01-28 2009-01-28 다중 센서 기반으로 감지한 사용자 감정 상태에 대한 응답 방법.
PCT/KR2009/005834 WO2010087562A1 (ko) 2009-01-28 2009-10-12 사용자의 감정정보를 제공하는 서버의 운영 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090006717A KR101437186B1 (ko) 2009-01-28 2009-01-28 다중 센서 기반으로 감지한 사용자 감정 상태에 대한 응답 방법.

Publications (2)

Publication Number Publication Date
KR20100087599A KR20100087599A (ko) 2010-08-05
KR101437186B1 true KR101437186B1 (ko) 2014-09-05

Family

ID=42754110

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090006717A KR101437186B1 (ko) 2009-01-28 2009-01-28 다중 센서 기반으로 감지한 사용자 감정 상태에 대한 응답 방법.

Country Status (1)

Country Link
KR (1) KR101437186B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190054501A (ko) * 2017-11-13 2019-05-22 주식회사 하가 피검자의 감정을 분석하기 위한 장치, 이를 위한 방법 및 이 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능한 기록매체

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102159202B1 (ko) * 2012-09-14 2020-09-23 한국전자통신연구원 생체 정보 측정 장치 및 그것의 동작 방법
KR101867198B1 (ko) * 2013-12-05 2018-06-12 피에스티 가부시키가이샤 추정장치, 프로그램, 추정방법 및 추정시스템
US9566411B1 (en) * 2016-01-21 2017-02-14 Trungram Gyaltrul R. Sherpa Computer system for determining a state of mind and providing a sensory-type antidote to a subject

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010035237A (ko) * 2001-01-20 2001-05-07 이영기 이동 통신과 네트웍 기술을 연계하여 맥박 등 생체 관련정보를 진단, 분석, 관리하는 방법
JP2002034936A (ja) * 2000-07-24 2002-02-05 Sharp Corp 通信装置および通信方法
KR100749569B1 (ko) 2007-01-08 2007-08-16 (주) 대동종합건설 유비쿼터스를 이용한 실버타운 의료서비스 시스템 및 그 방법
KR20080013129A (ko) * 2006-08-07 2008-02-13 남승리 건강 상태 관리 시스템 및 서비스 제공 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002034936A (ja) * 2000-07-24 2002-02-05 Sharp Corp 通信装置および通信方法
KR20010035237A (ko) * 2001-01-20 2001-05-07 이영기 이동 통신과 네트웍 기술을 연계하여 맥박 등 생체 관련정보를 진단, 분석, 관리하는 방법
KR20080013129A (ko) * 2006-08-07 2008-02-13 남승리 건강 상태 관리 시스템 및 서비스 제공 방법
KR100749569B1 (ko) 2007-01-08 2007-08-16 (주) 대동종합건설 유비쿼터스를 이용한 실버타운 의료서비스 시스템 및 그 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190054501A (ko) * 2017-11-13 2019-05-22 주식회사 하가 피검자의 감정을 분석하기 위한 장치, 이를 위한 방법 및 이 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능한 기록매체
KR102106517B1 (ko) 2017-11-13 2020-05-06 주식회사 하가 피검자의 감정을 분석하기 위한 장치, 이를 위한 방법 및 이 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능한 기록매체

Also Published As

Publication number Publication date
KR20100087599A (ko) 2010-08-05

Similar Documents

Publication Publication Date Title
JP6617053B2 (ja) 感情分類によって文脈意味の理解精度を高める発話意味分析プログラム、装置及び方法
JP6502249B2 (ja) 音声認識方法及び音声認識装置
EP3373301A1 (en) Apparatus, robot, method and recording medium having program recorded thereon
CN107798055B (zh) 语音交互设备和使用语音交互设备的自动交互方法
KR101749706B1 (ko) 사용자 장치를 사용하여 획득된 상황 정보 및 생체 정보를 기반으로 사용자의 감정을 예측하는 방법 및 시스템
US20020111794A1 (en) Method for processing information
CN103116576A (zh) 一种语音手势交互翻译装置及其控制方法
Yağanoğlu Real time wearable speech recognition system for deaf persons
JP5913394B2 (ja) 音声同期処理装置、音声同期処理プログラム、音声同期処理方法及び音声同期システム
CN107004428B (zh) 会话评价装置和方法
KR101437186B1 (ko) 다중 센서 기반으로 감지한 사용자 감정 상태에 대한 응답 방법.
WO2017085992A1 (ja) 情報処理装置
CN103945140B (zh) 视频字幕的生成方法及系统
KR20150124561A (ko) 언어 치료용 게임 장치 및 게임 방법
KR20180057970A (ko) 음성감성 인식 장치 및 방법
JP2019045867A (ja) 音声制御方法、音声制御装置およびプログラム
KR101119867B1 (ko) 다중 감정 센싱 기반으로 사용자의 감정정보를 제공하는 장치
CN112634886B (zh) 一种智能设备的交互方法、服务器、计算设备及存储介质
CN114254096A (zh) 一种基于交互机器人对话的多模态情感预测方法及系统
KR20180134339A (ko) 정보 처리 장치, 정보 처리 방법 및 프로그램
KR20210100831A (ko) 인공지능 기반 수어통역 서비스 제공 시스템 및 방법
JP6718623B2 (ja) 猫型会話ロボット
JP2019015950A (ja) 音声認識方法、プログラム、音声認識装置、及びロボット
KR20190133325A (ko) 음성인식 방법 및 장치
KR102396209B1 (ko) 인공지능 기반의 사용자 음성 분석 결과에 따른 콘텐츠 제공 시스템

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170627

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190625

Year of fee payment: 6