KR101801327B1 - 감정 정보 생성 장치, 감정 정보 생성 방법 및 감정 정보 기반 기능 추천 장치 - Google Patents

감정 정보 생성 장치, 감정 정보 생성 방법 및 감정 정보 기반 기능 추천 장치 Download PDF

Info

Publication number
KR101801327B1
KR101801327B1 KR1020110076112A KR20110076112A KR101801327B1 KR 101801327 B1 KR101801327 B1 KR 101801327B1 KR 1020110076112 A KR1020110076112 A KR 1020110076112A KR 20110076112 A KR20110076112 A KR 20110076112A KR 101801327 B1 KR101801327 B1 KR 101801327B1
Authority
KR
South Korea
Prior art keywords
emotion
function
state
score
user
Prior art date
Application number
KR1020110076112A
Other languages
English (en)
Other versions
KR20130014161A (ko
Inventor
김현준
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020110076112A priority Critical patent/KR101801327B1/ko
Priority to US13/345,401 priority patent/US9311680B2/en
Publication of KR20130014161A publication Critical patent/KR20130014161A/ko
Application granted granted Critical
Publication of KR101801327B1 publication Critical patent/KR101801327B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/01—Social networking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0637—Strategic management or analysis, e.g. setting a goal or target of an organisation; Planning actions based on goals; Analysis or evaluation of effectiveness of goals
    • G06Q10/06375—Prediction of business process outcome or impact based on a proposed change
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q99/00—Subject matter not provided for in other groups of this subclass
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state

Abstract

단말기의 각 기능에 대응되는 사용자의 감정 상태를 용이하게 파악할 수 있는 기술이 개시된다. 본 발명의 일 실시예에 따른 감정 정보 생성 장치는 사용자의 감정 상태를 검출하고, 검출된 감정 상태를 단말기의 기능에 매핑시켜 감정 정보를 생성할 수 있다.

Description

감정 정보 생성 장치, 감정 정보 생성 방법 및 감정 정보 기반 기능 추천 장치{APPARATUS FOR GENERATING EMOTION INFORMATION, METHOD FOR FOR GENERATING EMOTION INFORMATION AND RECOMMENDATION APPARATUS BASED ON EMOTION INFORMATION}
사용자의 감정 상태를 파악하고, 파악된 감정 상태에 따라 사용자에게 다양한 정보를 제공하는 기술과 관련된다.
통화, 카메라, 캠코더, 인터넷, 금융 거래 등과 같은 다양한 기능을 수행할 수 있는 다양한 종류의 단말기가 제조 및 판매되고 있다. 또한, 단말기는 사용자가 단말기를 어떻게 사용하고 있는지를 파악할 수 있는 다양한 센서를 포함하고 있다. 예를 들면, 단말기는 디스플레이부의 터치를 감지할 수 있는 터치 센서, 접근하는 물체를 감지할 수 있는 근접센서, 단말기의 위치를 감지할 수 있는 GPS 센서, 이동 단말기의 가속/감속을 감지할 수 있는 자이로 센서 등과 같이 다양한 센서를 포함할 수 있다.
최근에는, 이러한 센서들을 통해 수집된 정보 및 사용자의 문자, 메일, 통화 내용 등에 포함된 문맥 정보에 기초하여 사용자의 감정 상태를 파악하고, 파악된 감성 상태에 기초하여 다양한 정보를 사용자에게 제공하는 기술이 발전하고 있다.
그러나, 센서들을 통해 수집된 정보에 기초하여 사용자의 감정 상태 및 감정의 변화를 파악하는 것은 어렵다.
[선행기술문헌] 공개특허공보 제10-2006-0075704호
사용자의 감정 상태를 단말기의 각 기능에 매핑시킴으로써, 사용자의 감정 상태에 대응되는 기능을 용이하게 파악할 수 있는 감정 정보 생성 장치, 감정 정보 생성 방법 및 기능 추천 장치가 개시된다.
본 발명의 일 실시예에 따른 감정 정보 생성 장치는 단말기의 기능(function) 실행 상태를 검출하는 기능 검출부와, 단말기의 사용 상태 정보에 기초하여 사용자의 감정 상태를 검출하는 감정 검출부 및 기능 실행 상태에 기초하여 감정 상태를 단말기의 기능 및 기능에 포함된 정보 중 적어도 하나에 매핑시키는 매핑부를 포함한다.
감정 검출부는 기능이 실행되기 전의 감정 상태 및 기능이 실행된 후의 감정 상태를 비교하여 감정 상태 변화를 검출할 수 있다.
감정 검출부는 단말기의 사용 상태 정보에 기초하여 감정 모델의 각 감정 요소를 점수화하여 감정 점수를 생성하고, 감정 점수에 기초하여 감정 상태를 검출할 수 있다.
감정 검출부는 기능이 실행되기 전의 감정 점수 및 기능이 실행된 후의 감정 점수를 비교하여 감정 상태 변화를 점수화할 수 있다.
매핑부는 점수화된 감정 상태 변화를 기능에 매핑시키고, 기능 및 기능에 매핑된 감정 상태 변화를 포함하는 테이블, 매트릭스 및 벡터 중 어느 하나를 생성할 수 있다.
매핑부는 기능 실행 상태에 기초하여 현재 또는 과거에 실행된 기능을 추출하고, 감정 상태를 추출된 기능에 매핑시킬 수 있다.
본 발명의 일 실시예에 따른 감정 정보 기반 기능 추천 장치는 단말기의 기능(function) 실행 상태를 검출하는 기능 검출부와 단말기의 사용 상태 정보에 기초하여 사용자의 감정 상태를 검출하는 감정 검출부 및 기능 실행 상태에 기초하여 감정 상태를 단말기의 기능 및 기능에 포함된 정보 중 적어도 하나에 매핑시키는 매핑부를 포함하는 감정 정보 생성부 및, 매핑된 기능 - 감정 상태 및 사용자의 감정 상태에 기초하여 적어도 하나의 기능을 추천하는 추천부를 포함한다.
감정 검출부는 기능이 실행되기 전의 감정 상태 및 기능이 실행된 후의 감정 상태를 비교하여 감정 상태 변화를 검출할 수 있다.
감정 검출부는 단말기의 사용 상태 정보에 기초하여 감정 모델의 각 감정 요소를 점수화하여 감정 점수를 생성하고, 감정 점수에 기초하여 감정 상태를 검출할 수 있다.
감정 검출부는 기능이 실행되기 전의 감정 점수 및 기능이 실행된 후의 감정 점수를 비교하여 감정 상태 변화를 점수화할 수 있다.
추천부는 출력부를 통해 적어도 하나의 기능을 사용자에게 추천할 수 있다.
본 발명의 일 실시예에 따른 감정 정보 생성 방법은 단말기의 기능(function) 실행 상태를 검출하는 단계와, 단말기의 사용 상태 정보에 기초하여 사용자의 감정 상태를 검출하는 단계 및 기능 실행 상태에 기초하여 감정 상태를 단말기의 기능 및 기능에 포함된 정보 중 적어도 하나에 매핑시키는 단계를 포함한다.
감정 상태를 검출하는 단계는 기능이 실행되기 전의 감정 상태 및 기능이 실행된 후의 감정 상태를 비교하여 감정 상태 변화를 검출하는 단계를 포함할 수 있다.
감정 상태를 검출하는 단계는 단말기의 사용 상태 정보에 기초하여 감정 모델의 각 감정 요소를 점수화하여 감정 점수를 생성하고, 감정 점수에 기초하여 감정 상태를 검출하는 단계를 포함할 수 있다.
감정 상태를 검출하는 단계는 기능이 실행되기 전의 감정 점수 및 기능이 실행된 후의 감정 점수를 비교하여 감정 상태 변화를 점수화하는 단계를 포함할 수 있다.
매핑시키는 단계는 점수화된 감정 상태 변화를 기능에 매핑시키고, 기능 및 기능에 매핑된 감정 상태 변화를 포함하는 테이블, 매트릭스 및 벡터 중 어느 하나를 생성하는 단계를 포함할 수 있다.
매핑시키는 단계는 기능 실행 상태에 기초하여 현재 또는 과거에 실행된 기능을 추출하고, 감정 상태를 추출된 기능에 매핑시키는 단계를 포함할 수 있다.
개시된 내용에 따르면, 사용자의 감정 상태를 단말기의 각 기능에 매핑시킴으로써, 사용자의 감정 상태에 대응되는 기능을 용이하게 파악할 수 있다.
또한, 기능의 실행 전 및 실행 후의 감정 상태에 기초하여 사용자의 감정 상태 변화를 인식함으로써, 기능의 실행에 따른 사용자의 감정 상태 변화를 용이하게 파악할 수 있다.
도 1은 본 발명의 일 실시예와 관련된 감정 정보 생성 장치를 설명하기 위한 도면이다.
도 2a 및 도 2b는 도 1의 감정 정보 생성 장치가 감정 상태를 기능에 매핑시키는 일 실시예에 따른 과정을 설명하기 위한 도면이다.
도 3a 및 도 3c는 도 1의 감정 정보 생성 장치가 감정 상태를 기능에 매핑시키는 또 다른 일 실시예에 따른 과정을 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에 따른 감정 정보 기반 기능 추천 장치를 설명하기 위한 도면이다.
도 5a 및 도 5b는 도 4의 기능 추천 장치가 기능을 사용자에게 추천하는 과정을 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시예에 따른 감정 정보 생성 방법을 설명하기 위한 흐르도이다.
이하, 첨부된 도면을 참조하여 발명을 실시하기 위한 구체적인 내용에 대하여 상세하게 설명한다.
도 1은 본 발명의 일 실시예와 관련된 감정 정보 생성 장치를 설명하기 위한 도면이다.
도 1을 참조하면, 감정 정보 생성 장치(100)는 기능 검출부(110), 감정 검출부(120), 매핑부(130) 및 저장부(140)를 포함한다.
기능 검출부(110)는 단말기의 기능(function) 실행 상태를 검출할 수 있다. 기능(function)은 통화 기능, 카메라 기능, 인터넷 기능, 전화번호부 기능, 다양한 어플리케이션 실행 기능 등과 같이 단말기에서 실행할 수 있는 모든 기능을 의미한다. 기능은 다양한 정보를 포함한다. 예를 들면, 소셜네트워크서비스 어플리케이션 기능은 대화 상대 정보를 포함하고, 음악 실행 기능은 장르, 가수 정보를 포함할 수 있다. 사용자는 게임, 음악, 소셜네트워크 서비스 등과 같은 다양한 어플리케이션을 단말기에서 실행할 수 있다. 기능 실행 상태는 기능이 단말기에서 실행된 시각, 종료된 시각, 실행 중인지 여부 및, 기능의 종류를 나타낼 수 있다. 예를 들면, 기능 실행 상태는 A 기능은 10초전에 실행되어 현재도 실행 중이고, B 기능은 1분 전에 실행되어 20초전에 종료되었고, C 기능은 3분전에 실행되어 5초전에 종료되었다는 정보를 포함할 수 있다.
감정 검출부(120)는 단말기의 사용 상태 정보에 기초하여 사용자의 감정 상태를 검출할 수 있다. 단말기의 사용 상태 정보는 사용자가 디스플레이부를 터치하는지 여부, 사용자가 단말기를 흔드는 횟수, 사용자가 단말기를 흔드는 강도, 사용자가 특정 아이콘를 클릭하거나 특정 키패드를 누르는 횟수, 문자(SMS, MMS), 메일, 일정표, 일기 및 메모장 등에 포함된 문맥 정보 등과 같이 사용자의 감정 상태를 알 수 있는 정보를 포함할 수 있다.
감정 검출부(120)는 특정 기능이 실행되기 전의 감정 상태 및 특정 기능이 실행된 후의 감정 상태를 비교하여 사용자의 감정 상태 변화를 검출할 수 있다. 예를 들면, 감정 검출부(120)는 '카메라 기능'이 실행되기 전 설정된 시간 동안의 감정 상태를 검출할 수 있다. 감정 검출부(120)는 '카메라 기능'이 실행된 후 설정된 시간 동안의 감정 상태를 검출할 수 있다. 그 다음, 감정 검출부(120)는 검출된 감정 상태들을 비교하여 사용자의 감정 상태 변화를 검출할 수 있다. 구체적인 예를 들면, '카메라 기능'이 실행되기 전의 감정 상태가 '우울'이고, 실행된 후의 감정 상태가 '행복'인 경우, 감정 검출부(120)는 사용자는 카메라 기능을 사용하면 기분이 좋아진다('감정 상태 변화')는 것을 검출할 수 있다.
감정 검출부(120)는 단말기의 사용 상태 정보에 기초하여 감정 모델의 각 감정 요소를 점수화하여 감정 점수를 생성할 수 있다. 감정 검출부(120)는 생성된 감정 정보에 기초하여 감정 상태를 검출할 수 있다. 감정 모델은 사용자의 감정 상태를 표현하기 위한 여러 개의 감정 요소를 포함할 수 있다. 예를 들면, 감정 모델은 OCC(Ortony - Clore - Collins) 감정 모델 및 OCEAN(Openness - Conscientiousness - Extraversion - Agreeableness -Neuroticism) 감정 모델 등이 있다. OCEAN 감정 모델은 개방성(Openness), 성실성(Conscientiousness), 외향성(Extraversion), 친화성(Agreeableness) 및 신경성(Neuroticism)과 같은 감정 요소를 포함한다. 이 경우, 감정 검출부(120)는 단말기의 사용 상태 정보에 기초하여 OCEAN 감정 모델의 각 감정 요소에 점수를 부여한다. 예를 들면, 감정 검출부(120)는 단말기의 사용 상태 정보에 기초하여 개방성(Openness)은 '0.1', 성실성(Conscientiousness)은 '0.3', 외향성(Extraversion)은 '0.5', 친화성(Agreeableness)은 '0.2' 및 신경성(Neuroticism)은 '0.3'과 같이 점수를 부여할 수 있다. 감정 점수는 사용자 또는 제조업자 등에 의해서 다양하게 설정될 수 있다.
감정 검출부(120)는 기능이 실행되기 전의 감정 점수 및 기능이 실행된 후의 감정 점수를 비교하여 사용자의 감정 상태 변화를 점수화할 수 있다. 예를 들면, 감정 검출부(120)는 기능이 실행되기 전의 감정 점수 및 기능이 실행된 후의 감정 점수의 차이값을 감정 상태 변화의 점수로 설정할 수 있다. 또 다른 예를 들면, 감정 검출부(120)는 기능이 실행되기 전의 감정 점수 및 기능이 실행된 후의 감정 점수의 각각에 가중치를 부여한 후, 기능이 실행되기 전의 감정 점수 및 기능이 실행된 후의 차이값을 감정 상태 변화의 점수로 설정할 수 있다. 이 외에도, 감정 검출부(120)는 다양한 방법을 이용하여 사용자의 감정 상태 변화를 점수화할 수 있다.
매핑부(130)는 기능 실행 상태에 기초하여 감정 상태를 기능에 매핑시킬 수 있다. 예를 들면, 매핑부(130)가 기능 실행 상태에 기초하여 현재 '통화 기능'이 실행 중임을 인식할 수 있다. 매핑부(130)는 '통화 기능'이 실행되기 전에 감정 상태를 '통화 기능'에 매핑시킬 수 있다. 구체적으로 예를 들면, 사용자가 '통화 기능'을 실행하기 전에 감정 상태가 '우울'인 경우, 매핑부(130)는 실행 전 '우울'이라는 감정 상태를 '통화 기능'에 매핑시킬 수 있다.
또 다른 예를 들면, 매핑부(130)는 기능 실행 상태에 기초하여 '통화 기능'이 종료되었음을 인식할 수 있다. 매핑부(130)는 '통화 기능'이 종료된 후 설정된 기간 동안 감정 검출부(120)에서 검출된 감정 상태를 '통화 기능'에 매핑시킬 수 있다. 구체적으로 예를 들면, 사용자가 '통화 기능'을 실행한 후의 감정 상태가 '행복'인 경우, 매핑부(130)는 실행 후 '행복'이라는 감정 상태를 '통화 기능'에 매핑시킬 수 있다.
매핑부(130)는 기능 실행 상태에 기초하여 감정 상태를 단말기의 기능에 포함된 정보에 매핑시킬 수 있다. 예를 들면, 매핑부(130)는 감정 상태를 소셜네트워크서비스 어플리케이션 기능에 포함된 정보인 대화 상대에 매핑시킬 수 있다. 또 다른 예를 들면, 매핑부(130)는 감정 상태를 음악 실행 기능에 포함된 정보인 장르 또는 가수별로 매핑시킬 수 있다. 구체적으로 예를 들면, 매핑부(130)는 'A' 감정 상태를 'B' 라는 장르와 매핑시키거나, 'A' 감정 상태를 'C' 라는 가수와 매핑시킬 수 있다.
위와 같이, 매핑부(130)는 기능 실행 상태에 기초하여 현재 또는 과거에 실행된 기능을 추출하고, 감정 상태를 추출된 기능에 매핑시킬 수 있다.
매핑부(130)는 감정 검출부(120)에서 검출된 감정 상태 변화를 기능에 매핑시킬 수 있다. 예를 들면, '카메라 기능'이 실행되기 전의 감정 상태가 '우울'이고, 실행된 후의 감정 상태가 '행복'인 경우, 매핑부(130)는 감정 상태 변화('우울 -> '행복')를 '카메라 기능에 매핑시킬 수 있다.
매핑부(130)는 점수화된 감정 상태 변화를 기능에 매핑시키고, 기능 및 기능에 매핑된 감정 상태 변화를 포함하는 테이블을 생성할 수 있다. 예를 들면, 매핑부(130)는 기능 - 감정 상태 또는 기능 - 감정 상태 변화와 같이 매핑된 정보('감정 정보')를 포함하는 테이블, 매트릭스 및 벡터 중 어느 하나을 생성할 수 있다. 이러한 테이블을 통해, 각 기능에 따른 사용자의 감정 상태 또는 감정 상태 변화를 용이하게 알 수 있다. 이하에서는, 기능 - 감정 상태 또는 기능 - 감정 상태 변화와 같이 매핑된 정보를 감성 정보라 한다.
저장부(140)는 매핑부(130)에 의해 매핑된 정보를 누적하여 저장할 수 있다. 저장부(140)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(Random Access Memory, RAM), SRAM(Static Random Access Memory), 롬(Read-Only Memory, ROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.
감정 정보 생성 장치(100)는 단말기에 포함될 수 있다. 단말기는 휴대폰, 스마트 폰(smart phone), 노트북 컴퓨터(notebook computer), 디지털방송용 단말기, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 네비게이션 등을 의미한다. 사용자는 단말기를 이용하여 통화 기능, 카메라 기능, TV 시청 기능, 어플리케이션 실행 기능 등과 같은 기능을 실행할 수 있는 모든 기기를 의미한다.
감정 정보 생성 장치는 사용자의 감정 상태를 각 기능에 매핑시킴으로써, 사용자의 감정 상태에 대응되는 기능을 용이하게 파악할 수 있다.
또한, 감정 정보 생성 장치는 기능의 실행 전 및 실행 후의 감정 상태에 기초하여 사용자의 감정 상태 변화를 인식함으로써, 기능의 실행에 따른 사용자의 감정 상태 변화를 용이하게 파악할 수 있다.
또한, 감정 정보 생성 장치는 감정 모델을 이용하여 사용자의 감정 상태를 점수화하여 감정 점수를 생성하고, 이를 이용하여 사용자의 감정 상태 및 감정 상태 변화를 파악함으로써, 사용자의 감정 상태 및 감정 상태 변화를 정확하게 파악할 수 있다.
도 2a 및 도 2b는 도 1의 감정 정보 생성 장치가 감정 상태를 기능에 매핑시키는 일 실시예에 따른 과정을 설명하기 위한 도면이다.
이하에서는 감정 정보 생성 장치(100)가 단말기의 사용 상태 정보 중 문자에 사용되는 문맥에 기초하여 감정 상태를 검출하는 경우를 가정한다. 이외에도, 감정 정보 생성 장치(100)는 사용자가 디스플레이부를 터치하는지 여부, 사용자가 단말기를 흔드는 횟수, 사용자가 단말기를 흔드는 강도, 사용자가 특정 아이콘를 클릭하거나 특정 키패드를 누르는 횟수 등의 단말기의 사용 상태 정보에 기초하여 사용자의 감정 상태를 검출할 수 있다.
도 1 및 도 2a를 참조하면, 도 1의 감정 정보 생성 장치(100)는 단말기(200)의 사용 상태 정보인 실행 중인 문자 기능에서 사용된 문맥에 기초하여 사용자의 감정 상태를 검출할 수 있다.
도 2a의 (a)를 참조하면, 감정 정보 생성 장치(100)는 단말기(200)에서 실행 중인 문자 기능에서 사용된 단어인 행복(201)에 기초하여, 사용자의 감정 상태가 '행복'임을 검출할 수 있다.
도 2a의 (b)를 참조하면, 사용자는 단말기(200)를 통해 실행할 수 있는 기능들(211, 212, 213, 214) 중 하나인 '게임 기능(212)'을 실행할 수 있다.
도 2a의 (c)를 참조하면, 사용자가 '게임 기능(212)'을 종료하면, 감정 정보 생성 장치(100)는 설정된 시간 동안 단말기(200)의 사용 상태 정보인 실행 중인 문자 기능에서 사용된 문맥에 기초하여 사용자의 감정 상태를 검출할 수 있다. 예를 들면, 감정 정보 생성 장치(100)는 단말기(200)에서 실행 중인 문자 기능에서 사용된 단어인 우울(221)에 기초하여, '게임 기능(212)' 실행 후의 사용자의 감정 상태가 '우울'임을 검출할 수 있다.
도 1 및 도 2b를 참조하면, 감정 정보 생성 장치(100)는 '게임 기능(212)' 이 실행되기 전의 감정 상태 및 기능이 실행된 후의 감정 상태를 비교하여 사용자의 감정 상태 변화를 검출할 수 있다. 예를 들면, 감정 검출부(120)는 '게임 기능(212)'이 실행되기 전의 감정 상태가 '행복'이고, 실행된 후의 감정 상태가 '우울'인 경우, 감정 검출부(120)는 사용자는 게임 기능(212)을 사용하면 기분이 좋아진다('감정 상태 변화')는 것을 검출할 수 있다.
위와 같은 과정이 반복되면, 감정 정보 생성 장치(100)는 각 기능에 대응되는 감정 상태 변화를 검출할 수 있다.
또한, 감정 정보 생성 장치(100)는 검출된 감정 상태 변화를 기능에 매핑시킬 수 있다. 감정 정보 생성 장치(100)는 기능 및 기능에 매핑된 감정 상태 변화를 포함하는 테이블(230)을 생성할 수 있다.
감정 정보 생성 장치는 사용자의 감정 상태를 각 기능에 매핑시킴으로써, 사용자의 감정 상태에 대응되는 기능을 용이하게 파악할 수 있다.
도 3a 및 도 3c는 도 1의 감정 정보 생성 장치가 감정 상태를 기능에 매핑시키는 또 다른 일 실시예에 따른 과정을 설명하기 위한 도면이다.
도 1 및 도 3a를 참조하면, 감정 정보 생성 장치(100)는 단말기의 사용 상태 정보에 기초하여 감정 모델의 각 감정 요소를 점수화하여 감정 점수를 생성할 수 있다. 이하에서는, 감정 정보 생성 장치(100)가 OCEAN 감정 모델을 이용하여 감정 점수를 생성하는 경우를 가정한다. 그러나, 감정 정보 생성 장치(100)는 OCEAN 감정 모델 이외에도 다양항 감정 모델을 사용할 수 있다.
감정 정보 생성 장치(100)는 단말기의 사용 상태 정보에 기초하여 OCEAN 감정 모델의 각 감정 요소인 개방성(Openness), 성실성(Conscientiousness), 외향성(Extraversion), 친화성(Agreeableness) 및 신경성(Neuroticism)을 점수화하여 감정 점수를 생성할 수 있다.
도 1 및 도 3a의 (a)를 참조하면, 감정 정보 생성 장치(100)는 단말기의 사용 상태 정보에 기초하여 감정 요소에 대응되는 감정 점수를 생성할 수 있다. 감정 정보 생성 장치(100)는 감정 요소 및 감정 점수를 포함하는 제 1 테이블(300)을 생성할 수 있다. 예를 들면, 개방성(Openness) 감정 점수는 '0.5'이고, 성실성(Conscientiousness) 감정 점수는 '0.1'이고, 외향성(Extraversion) 감정 점수는 '0.0'이고, 친화성(Agreeableness) 감정 점수는 '0.1' 및 신경성(Neuroticism) 감정 점수는 '0.0'일 수 있다.
도 1 및 도 3a의 (b)를 참조하면, 사용자는 단말기(310)를 통해 '소셜네트워크(sns) 기능'을 실행할 수 있다. 사용자('X')는 '소셜네트워크(SNS) 기능'을 통해 'A'라는 사람과 대화를 나눌 수 있다.
도 1 및 도 3a의 (c)를 참조하면, 사용자가 'A'라는 사람과 대화를 종료하면, 감정 정보 생성 장치(100)는 설정된 시간 동안 단말기의 사용 상태 정보에 기초하여 OCEAN 감정 모델의 각 감정 요소인 개방성(Openness), 성실성(Conscientiousness), 외향성(Extraversion), 친화성(Agreeableness) 및 신경성(Neuroticism)을 점수화하여 감정 점수를 생성할 수 있다. 감정 정보 생성 장치(100)는 감정 요소 및 감정 점수를 포함하는 제 2 테이블(320)을 생성할 수 있다.
도 1 및 도 3a의 (d)를 참조하면, 사용자('X')는 '소셜네트워크(SNS) 기능'을 통해 'B'라는 사람과 대화를 나누기 시작한다.
도 1 및 도 3a의 (e)를 참조하면, 사용자가 'B'라는 사람과 대화를 종료하면, 감정 정보 생성 장치(100)는 설정된 시간 동안 단말기의 사용 상태 정보에 기초하여 OCEAN 감정 모델의 각 감정 요소인 개방성(Openness), 성실성(Conscientiousness), 외향성(Extraversion), 친화성(Agreeableness) 및 신경성(Neuroticism)을 점수화하여 감정 점수를 생성할 수 있다. 감정 정보 생성 장치(100)는 감정 요소 및 감정 점수를 포함하는 제 3 테이블(330)을 생성할 수 있다.
도 1 및 도 3b를 참조하면, 감정 정보 생성 장치(100)는 기능 실행 상태에 기초하여 감정 상태를 단말기의 기능 및 기능에 포함된 정보 중 적어도 하나에 매핑시킬 수 있다. 이하에서는, 기능은 '소셜네트워크 기능'이고, 정보는 '대화 상대'이다. 감정 정보 생성 장치(100)는 감정 정보 생성 장치(100)는 '소셜네트워크(sns) 기능'이 실행되기 전의 감정 점수와 실행된 후의 감정 점수를 비교하여 감정 상태 변화를 점수화할 수 있다. 감정 상태 변화를 점수화하는 일 실시예에 따르면, 감정 정보 생성 장치(100)는 제 1 테이블(300) 및 제 3 테이블(330)의 감정 점수의 차이값을 감정 상태 변화 값으로 설정하고 제 4 테이블(340)을 생성할 수 있다.
도 1 및 도 3c를 참조하면, 감정 정보 생성 장치(100)는 '소셜네트워크(sns) 기능 실행 중 대화 상대방과의 대화 시작 전의 감정 점수 및 대화 종료 후의 감정 점수를 비교하여 사용자의 감정 상태 변화를 검출할 수 있다. 즉, 감정 정보 생성 장치(100)는 대화 상대방에 따른 사용자의 감정 상태 변화를 검출할 수 있다. 예를 들면, 감정 정보 생성 장치(100)는 대화 상대방 'A'과의 대화 시작 전의 감정 점수와 대화 종료 후의 감정 점수를 비교하여 감정 상태 변화를 점수화할 수 있다. 구체적으로 예를 들면, 감정 정보 생성 장치(100)는 제 1 테이블(300) 및 제 2 테이블(320)의 각 감성 점수의 차이값을 감정 상태 변화 값으로 설정할 수 있다.
또한, 감정 정보 생성 장치(100)는 대화 상대방 'B'과의 대화 시작 전의 감정 점수와 대화 종료 후의 감정 점수를 비교하여 감정 상태 변화를 점수화할 수 있다. 구체적으로 예를 들면, 감정 정보 생성 장치(100)는 제 2 테이블(320) 및 제 3 테이블(330)의 각 감성 점수의 차이값을 감정 상태 변화 값으로 설정할 수 있다.
감정 정보 생성 장치(100)는 대화 상대방 'A' 및 'B'를 연산된 감정 상태 변화 값과 매핑시키고, 제 5 테이블(350)을 생성할 수 있다.
본 실시예에서는 감정 정보 생성 장치(100)가 소셜 네트워크의 대화 상대방에 따른 감정 상태 변화를 점수화하는 과정을 기준으로 설명하였다. 그러나, 감정 정보 생성 장치(100)는 인터넷 기사 중 정치, 경제, 사회, 스포츠 기사에 따른 감정 상태 변화, 야구 게임 중 대전 모드, 홈런 더비 모드 실행에 따른 감정 상태 변화 등과 같이 특정 기능에 포함된 정보에 따른 사용자의 감정 상태 변화를 검출할 수도 있다.
감정 정보 생성 장치는 감정 모델을 이용하여 사용자의 감정 상태를 점수화하여 감정 점수를 생성하고, 이를 이용하여 사용자의 감정 상태를 파악함으로써, 사용자의 감정 상태 및 감정 상태 변화를 정확하게 파악할 수 있다.
도 4는 본 발명의 일 실시예에 따른 감정 정보 기반 기능 추천 장치를 설명하기 위한 도면이다.
도 4를 참조하면, 기능 추천 장치(400)는 감정 정보 생성부(410), 추천부(420) 및 출력부(430)를 포함한다.
감정 정보 생성부(410)는 기능 검출부(411), 감정 검출부(412), 매핑부(413) 및 저장부(414)를 포함한다. 기능 검출부(411)는 단말기의 기능(function) 실행 상태를 검출할 수 있다. 감정 검출부(412)는 단말기의 사용 상태 정보에 기초하여 사용자의 감정 상태를 검출할 수 있다. 매핑부(413)는 기능 실행 상태에 기초하여 감정 상태를 기능에 매핑시킬 수 있다. 저장부(140)는 매핑부(130)에 의해 매핑된 정보를 누적하여 저장할 수 있다. 기능 검출부(411), 감정 검출부(412), 매핑부(413) 및 저장부(414)에 대한 구체적인 설명은 도 1에서 이미 설명하였으므로 생략한다.
추천부(420) 매핑부(413)에서 매핑된 기능 - 감정 상태('감정 정보') 및 감정 검출부(412)에서 검출된 감정 상태에 기초하여 사용자의 감정 상태에 적합한 적어도 하나의 기능을 추천할 수 있다.
출력부(430)는 시각, 청각 또는 촉각 등과 관련된 출력을 발생시킬 수 있다. 예를 들면, 출력부(430)는 정보를 표시할 수 있는 디스플레이부, 오디오 데이터를 출력할 수 있는 음향 출력 모듈, 진동을 생성할 수 있는 햅틱 모듈 등이 포함될 수 있다.
추천부(420)는 출력부(430)를 통해 적어도 하나의 기능을 사용자에게 추천할 수 있다.
기능 추천 장치는 사용자의 감정 상태 및 감정 상태 변화를 각 기능에 매핑시킨 정보를 이용함으로써, 사용자의 감정 상태에 적합한 기능을 자동으로 추천할 수 있다.
도 5a 및 도 5b는 도 4의 기능 추천 장치가 기능을 사용자에게 추천하는 과정을 설명하기 위한 도면이다.
도 4 및 도 5a를 참조하면, 기능 추천 장치(400)는 기능에 대응되는 감정 상태 변화를 포함하는 테이블(500)을 생성할 수 있다.
도 4 및 도 5b를 참조하면, 기능 추천 장치(400)는 단말기의 사용 상태 정보에 기초하여 사용자의 감정 상태를 검출할 수 있다. 이하에서는, 사용자의 감정 상태가 '(우울'인 경우를 가정한다. 기능 추천 장치(400)는 테이블(500)에 기초하여 사용자가 '카메라 기능'을 실행한 경우, 사용자의 기분이 '행복'으로 변경됨을 파악할 수 있다. 이 경우, 기능 추천 장치(400)는 사용자의 기분을 전환시키기 위해, 단말기의 디스플레이부(510)를 통해 사용자에게 '카메라 기능'을 실행하도록 추천할 수 있습니다. 기능 추천 장치(400)는 기분 전환을 유도하는 메시지 및 즉시 실행 가능한 아이콘(511)을 디스플레이부(510)에 표시할 수 있다. 사용자는 아이콘(511)을 이용하여 즉시 '카메라 기능'을 실행할 수 있다.
본 실시예에서는 기능 추천 장치(400)가 기능을 디스플레이부(510)를 통해 추천하는 경우를 기준으로 설명하였으나, 출력부(430) 중 디스플레이부(510) 이외의 다른 장치를 이용하여 기능을 추천할 수 있다.
기능 추천 장치는 사용자의 감정 상태 및 감정 상태 변화를 각 기능에 매핑시킨 정보를 이용함으로써, 사용자의 감정 상태에 적합한 기능을 자동으로 추천할 수 있다.
도 6은 본 발명의 일 실시예에 따른 감정 정보 생성 방법을 설명하기 위한 흐르도이다.
도 6을 참조하면, 감정 정보 생성 장치는 단말기의 기능(function) 실행 상태를 검출한다(600).
감정 정보 생성 장치는 단말기의 사용 상태 정보에 기초하여 사용자의 감정 상태를 검출한다(610). 예를 들면, 감정 정보 생성 장치는 기능이 실행되기 전의 감정 상태 및 기능이 실행된 후의 감정 상태를 비교하여 사용자의 감정 상태 변화를 검출할 수 있다. 또 다른 예를 들면, 감정 정보 생성 장치는 단말기의 사용 상태 정보에 기초하여 감정 모델의 각 감정 요소를 점수화하여 감정 점수를 생성하고, 감정 정보에 기초하여 감정 상태를 검출할 수 있다. 감정 정보 생성 장치는 기능이 실행되기 전의 감정 점수 및 기능이 실행된 후의 감정 점수를 비교하여 사용자의 감정 상태 변화를 점수화할 수 있다.
감정 정보 생성 장치는 기능 실행 상태에 기초하여 감정 상태를 기능에 매핑시킨다(620). 감정 정보 생성 장치는 점수화된 감정 상태 변화를 기능에 매핑시키고, 기능 및 기능에 매핑된 감정 상태 변화를 포함하는 테이블, 매트릭스 및 벡터 중 어느 하나를 생성할 수 있다. 감정 정보 생성 장치는 기능 실행 상태에 기초하여 현재 또는 과거에 실행된 기능을 추출하고, 감정 상태를 추출된 기능에 매핑할 수 있다.
감정 정보 생성 장치는 매핑된 정보('감정 정보')를 저장부에 저장한다(630).
감정 정보 생성 방법은 사용자의 감정 상태를 각 기능에 매핑시킴으로써, 사용자의 감정 상태에 대응되는 기능을 용이하게 파악할 수 있다.
또한, 감정 정보 생성 방법은 기능의 실행 전 및 실행 후의 감정 상태에 기초하여 사용자의 감정 상태 변화를 인식함으로써, 기능의 실행에 따른 사용자의 감정 상태 변화를 용이하게 파악할 수 있다.
설명된 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.
또한, 실시예는 그 설명을 위한 것이며, 그 제한을 위한 것이 아님을 주의하여야 한다. 또한, 본 발명의 기술분야의 통상의 전문가라면 본 발명의 기술사상의 범위에서 다양한 실시예가 가능함을 이해할 수 있을 것이다.
또한, 본 발명의 일실시예에 의하면, 전술한 방법은, 프로그램이 기록된 매체에 프로세서가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 프로세서가 읽을 수 있는 매체의 예로는, ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장장치 등이 있으며, 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다.

Claims (17)

  1. 단말기의 복수의 기능(function) 중 제1 기능의 실행 상태를 검출하는 기능 검출부;
    제1 기능 실행 전의 상기 단말기의 사용 상태 정보에 기초하여 감정 모델의 각 감정 요소를 점수화하여 제1 감정 점수를 생성하고, 제1 기능 실행 완료 후의 상기 단말기의 사용 상태 정보에 기초하여 상기 감정 모델의 각 감정 요소를 점수화하여 제2 감정 점수를 생성하고, 상기 제1 감정 점수와 상기 제2 감정 점수를 비교하여 상기 제1 기능의 실행에 따른 사용자의 감정 상태 변화를 점수화하는 감정 검출부; 및
    상기 점수화된 감정 상태 변화를 상기 제1 기능 및 상기 제1 기능에 포함된 정보 중 적어도 하나에 매핑시키는 매핑부를 포함하는 감정 정보 생성 장치.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 제 1 항에 있어서,
    상기 매핑부는,
    상기 제1 기능 및 상기 제1 기능에 매핑된 감정 상태 변화를 포함하는 테이블, 매트릭스 및 벡터 중 어느 하나를 생성하는 감정 정보 생성 장치.
  6. 제 1 항에 있어서,
    상기 제1 기능은 현재 실행 중이거나 과거에 실행된 기능인 감정 정보 생성 장치.
  7. 단말기의 복수의 기능(function) 중 제1 기능의 실행 상태를 검출하는 기능 검출부와, 제1 기능 실행 전의 단말기의 사용 상태 정보에 기초하여 감정 모델의 각 감정 요소를 점수화하여 제1 감정 점수를 생성하고, 제1 기능 실행 완료 후의 단말기의 사용 상태 정보에 기초하여 상기 감정 모델의 각 감정 요소를 점수화하여 제2 감정 점수를 생성하고, 상기 제1 감정 점수와 상기 제2 감정 점수를 비교하여 상기 제1 기능의 실행에 따른 사용자의 감정 상태 변화를 점수화하는 감정 검출부 및 상기 점수화된 감정 상태 변화를 상기 제1 기능 및 상기 제1 기능에 포함된 정보 중 적어도 하나에 매핑시키는 매핑부를 포함하는 감정 정보 생성부; 및
    매핑된 기능 - 감정 상태 변화 및 사용자의 감정 상태에 기초하여 적어도 하나의 기능을 추천하는 추천부를 포함하는 감정 정보 기반 기능 추천 장치.
  8. 삭제
  9. 삭제
  10. 삭제
  11. 제 7 항에 있어서,
    상기 추천부는,
    출력부를 통해 적어도 하나의 기능을 사용자에게 추천하는 감정 정보 기반 기능 추천 장치.
  12. 감정 정보 생성 장치의 감정 정보 생성 방법에 있어서,
    단말기의 복수의 기능(function) 중 제1 기능의 실행 상태를 검출하는 단계;
    제1 기능 실행 전의 단말기의 사용 상태 정보에 기초하여 감정 모델의 각 감정 요소를 점수화하여 제1 감정 점수를 생성하고, 제1 기능 실행 완료 후의 단말기의 사용 상태 정보에 기초하여 감정 모델의 각 감정 요소를 점수화하여 제2 감정 점수를 생성하고, 상기 제1 감정 점수와 상기 제2 감정 점수를 비교하여 상기 제1 기능의 실행에 따른 사용자의 감정 상태 변화를 점수화하는 단계; 및
    상기 점수화된 감정 상태 변화를 상기 제1 기능 및 상기 제1 기능에 포함된 정보 중 적어도 하나에 매핑시키는 단계를 포함하는 감정 정보 생성 방법.
  13. 삭제
  14. 삭제
  15. 삭제
  16. 제 12 항에 있어서,
    상기 매핑시키는 단계는,
    상기 제1 기능 및 상기 제1 기능에 매핑된 감정 상태 변화를 포함하는 테이블, 매트릭스 및 벡터 중 어느 하나를 생성하는 단계를 포함하는 감정 정보 생성 방법.
  17. 제 12 항에 있어서,
    상기 제1 기능은 현재 실행 중이거나 과거에 실행된 기능인 감정 정보 생성 방법.
KR1020110076112A 2011-07-29 2011-07-29 감정 정보 생성 장치, 감정 정보 생성 방법 및 감정 정보 기반 기능 추천 장치 KR101801327B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020110076112A KR101801327B1 (ko) 2011-07-29 2011-07-29 감정 정보 생성 장치, 감정 정보 생성 방법 및 감정 정보 기반 기능 추천 장치
US13/345,401 US9311680B2 (en) 2011-07-29 2012-01-06 Apparatus and method for generating emotion information, and function recommendation apparatus based on emotion information

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110076112A KR101801327B1 (ko) 2011-07-29 2011-07-29 감정 정보 생성 장치, 감정 정보 생성 방법 및 감정 정보 기반 기능 추천 장치

Publications (2)

Publication Number Publication Date
KR20130014161A KR20130014161A (ko) 2013-02-07
KR101801327B1 true KR101801327B1 (ko) 2017-11-27

Family

ID=47597968

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110076112A KR101801327B1 (ko) 2011-07-29 2011-07-29 감정 정보 생성 장치, 감정 정보 생성 방법 및 감정 정보 기반 기능 추천 장치

Country Status (2)

Country Link
US (1) US9311680B2 (ko)
KR (1) KR101801327B1 (ko)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140108135A1 (en) * 2012-10-17 2014-04-17 Tech 4 Profit Llc System and method to evaluate, present, and facilitate the advertisement and purchasing of products and services based on the emotion evoked in a recipient upon receipt of the product or service
US9141604B2 (en) * 2013-02-22 2015-09-22 Riaex Inc Human emotion assessment reporting technology—system and method
US9093081B2 (en) * 2013-03-10 2015-07-28 Nice-Systems Ltd Method and apparatus for real time emotion detection in audio interactions
CN103745575B (zh) * 2014-01-10 2016-04-20 宁波多尔贝家居制品实业有限公司 一种家庭气氛调节装置及其工作控制方法
CN103720210B (zh) * 2014-01-10 2016-04-27 宁波多尔贝家居制品实业有限公司 一种家庭气氛调节衣柜及其工作控制方法
CN103970892B (zh) * 2014-05-23 2017-03-01 无锡清华信息科学与技术国家实验室物联网技术中心 基于智能家居设备的多维度观影系统控制方法
GB201411633D0 (en) * 2014-06-30 2014-08-13 Moment Us Ltd A media player
US10052056B2 (en) * 2014-09-01 2018-08-21 Beyond Verbal Communication Ltd System for configuring collective emotional architecture of individual and methods thereof
US9659564B2 (en) * 2014-10-24 2017-05-23 Sestek Ses Ve Iletisim Bilgisayar Teknolojileri Sanayi Ticaret Anonim Sirketi Speaker verification based on acoustic behavioral characteristics of the speaker
US10552752B2 (en) * 2015-11-02 2020-02-04 Microsoft Technology Licensing, Llc Predictive controller for applications
WO2017187712A1 (ja) * 2016-04-26 2017-11-02 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置
CN106445110A (zh) * 2016-08-30 2017-02-22 珠海市魅族科技有限公司 状态更新方法和装置
CN108093526A (zh) * 2017-12-28 2018-05-29 美的智慧家居科技有限公司 Led灯的控制方法、装置和可读存储介质
CN108553905A (zh) * 2018-03-30 2018-09-21 努比亚技术有限公司 基于游戏应用的数据反馈方法、终端及计算机存储介质
CN110998725B (zh) * 2018-04-19 2024-04-12 微软技术许可有限责任公司 在对话中生成响应
US10621983B2 (en) * 2018-04-20 2020-04-14 Spotify Ab Systems and methods for enhancing responsiveness to utterances having detectable emotion
US10622007B2 (en) * 2018-04-20 2020-04-14 Spotify Ab Systems and methods for enhancing responsiveness to utterances having detectable emotion
US10566010B2 (en) * 2018-04-20 2020-02-18 Spotify Ab Systems and methods for enhancing responsiveness to utterances having detectable emotion
AU2019376682A1 (en) 2018-11-09 2021-05-27 Akili Interactive Labs, Inc, Facial expression detection for screening and treatment of affective disorders
CN112120714B (zh) * 2019-06-25 2023-04-25 奇酷互联网络科技（深圳）有限公司 可穿戴设备的监测方法、可穿戴设备及计算机存储介质
US11212383B2 (en) * 2020-05-20 2021-12-28 Snap Inc. Customizing text messages in modifiable videos of multimedia messaging application
KR102544204B1 (ko) * 2021-06-30 2023-06-16 (주)알에프캠프 전자 장치, 알림 신호들에 대한 반응 입력을 분석하여 사용자의 심리 상태 값을 산출하는 방법 및 컴퓨터 프로그램

Family Cites Families (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3727604A (en) * 1971-10-26 1973-04-17 T Sidwell Emotional level indicator
US5029214A (en) * 1986-08-11 1991-07-02 Hollander James F Electronic speech control apparatus and methods
US5918222A (en) * 1995-03-17 1999-06-29 Kabushiki Kaisha Toshiba Information disclosing apparatus and multi-modal information input/output system
US5720619A (en) * 1995-04-24 1998-02-24 Fisslinger; Johannes Interactive computer assisted multi-media biofeedback system
US6072467A (en) * 1996-05-03 2000-06-06 Mitsubishi Electric Information Technology Center America, Inc. (Ita) Continuously variable control of animated on-screen characters
US6263326B1 (en) * 1998-05-13 2001-07-17 International Business Machines Corporation Method product ‘apparatus for modulations’
US6035288A (en) * 1998-06-29 2000-03-07 Cendant Publishing, Inc. Interactive computer-implemented system and method for negotiating sale of goods and/or services
JP2000064933A (ja) * 1998-08-19 2000-03-03 Yamaha Motor Co Ltd ２サイクル筒内噴射エンジンの始動方法
US7007235B1 (en) * 1999-04-02 2006-02-28 Massachusetts Institute Of Technology Collaborative agent interaction control and synchronization system
US6658388B1 (en) * 1999-09-10 2003-12-02 International Business Machines Corporation Personality generator for conversational systems
JP2001154681A (ja) * 1999-11-30 2001-06-08 Sony Corp 音声処理装置および音声処理方法、並びに記録媒体
JP2001157976A (ja) * 1999-11-30 2001-06-12 Sony Corp ロボット制御装置およびロボット制御方法、並びに記録媒体
US6721706B1 (en) * 2000-10-30 2004-04-13 Koninklijke Philips Electronics N.V. Environment-responsive user interface/entertainment device that simulates personal interaction
US6964023B2 (en) * 2001-02-05 2005-11-08 International Business Machines Corporation System and method for multi-modal focus detection, referential ambiguity resolution and mood classification using multi-modal input
EP1336956B1 (en) * 2002-02-13 2006-07-19 Sony Deutschland GmbH Method, system and computer program for recognizing speech/speaker using emotional state change to govern unsupervised adaptation of the recognition process
US7921036B1 (en) * 2002-04-30 2011-04-05 Videomining Corporation Method and system for dynamically targeting content based on automatic demographics and behavior analysis
JP4204839B2 (ja) * 2002-10-04 2009-01-07 株式会社エイ・ジー・アイ 発想モデル装置、自発感情モデル装置、発想のシミュレーション方法、自発感情のシミュレーション方法、およびプログラム
DE60320414T2 (de) * 2003-11-12 2009-05-20 Sony Deutschland Gmbh Vorrichtung und Verfahren zur automatischen Extraktion von wichtigen Ereignissen in Audiosignalen
US20070223871A1 (en) 2004-04-15 2007-09-27 Koninklijke Philips Electronic, N.V. Method of Generating a Content Item Having a Specific Emotional Influence on a User
US20060122834A1 (en) * 2004-12-03 2006-06-08 Bennett Ian M Emotion detection device & method for use in distributed systems
KR20060075704A (ko) 2004-12-29 2006-07-04 엘지전자 주식회사 감정신호 출력기능을 가지는 이동통신 단말기 및 그 방법
KR100678212B1 (ko) * 2005-03-11 2007-02-02 삼성전자주식회사 휴대단말기의 감정정보 제어방법
US7912720B1 (en) * 2005-07-20 2011-03-22 At&T Intellectual Property Ii, L.P. System and method for building emotional machines
US20070143127A1 (en) * 2005-12-21 2007-06-21 Dodd Matthew L Virtual host
JP2007202063A (ja) 2006-01-30 2007-08-09 Kyocera Corp 通信機器及び通信方法
US7983910B2 (en) * 2006-03-03 2011-07-19 International Business Machines Corporation Communicating across voice and text channels with emotion preservation
US8150692B2 (en) * 2006-05-18 2012-04-03 Nuance Communications, Inc. Method and apparatus for recognizing a user personality trait based on a number of compound words used by the user
US8204747B2 (en) * 2006-06-23 2012-06-19 Panasonic Corporation Emotion recognition apparatus
KR20090017149A (ko) 2007-08-14 2009-02-18 주식회사 케이티 감정 콘텐츠 제공 시스템 및 방법
US8130935B1 (en) * 2007-09-18 2012-03-06 Avaya Inc. Routing of calls based on agents emotional state
US10419611B2 (en) * 2007-09-28 2019-09-17 Mattersight Corporation System and methods for determining trends in electronic communications
ATE508452T1 (de) * 2007-11-12 2011-05-15 Harman Becker Automotive Sys Unterscheidung zwischen vordergrundsprache und hintergrundgeräuschen
KR101020843B1 (ko) 2008-01-30 2011-03-09 단국대학교 산학협력단 소비자 감성에 따른 콘텐츠 및/또는 채널 추천 방법 및 그시스템
JP5366173B2 (ja) * 2008-02-28 2013-12-11 インターナショナル・ビジネス・マシーンズ・コーポレーション 操作支援サーバ装置、操作支援方法およびコンピュータ・プログラム
US20110043635A1 (en) * 2008-02-28 2011-02-24 Ryujiro Fujita Vehicle driving evaluation apparatus and method, and computer program
KR100919825B1 (ko) 2008-03-25 2009-10-01 한국전자통신연구원 다차원 벡터공간에서 복합감성 모델링 방법
US8433612B1 (en) * 2008-03-27 2013-04-30 Videomining Corporation Method and system for measuring packaging effectiveness using video-based analysis of in-store shopper response
US8308562B2 (en) * 2008-04-29 2012-11-13 Bally Gaming, Inc. Biofeedback for a gaming device, such as an electronic gaming machine (EGM)
WO2010001512A1 (ja) * 2008-07-03 2010-01-07 パナソニック株式会社 印象度抽出装置および印象度抽出方法
US8264364B2 (en) * 2008-09-08 2012-09-11 Phillip Roger Sprague Psychophysiological touch screen stress analyzer
US9418662B2 (en) * 2009-01-21 2016-08-16 Nokia Technologies Oy Method, apparatus and computer program product for providing compound models for speech recognition adaptation
KR101558553B1 (ko) * 2009-02-18 2015-10-08 삼성전자 주식회사 아바타 얼굴 표정 제어장치
US20120002848A1 (en) * 2009-04-16 2012-01-05 Hill Daniel A Method of assessing people's self-presentation and actions to evaluate personality type, behavioral tendencies, credibility, motivations and other insights through facial muscle activity and expressions
US9665563B2 (en) * 2009-05-28 2017-05-30 Samsung Electronics Co., Ltd. Animation system and methods for generating animation based on text-based data and user information
US20110106536A1 (en) * 2009-10-29 2011-05-05 Rovi Technologies Corporation Systems and methods for simulating dialog between a user and media equipment device
US20110145040A1 (en) * 2009-12-16 2011-06-16 Microsoft Corporation Content recommendation
KR101299220B1 (ko) * 2010-01-08 2013-08-22 한국전자통신연구원 감성 신호 감지 장치와 감성 서비스 제공 장치 간의 감성 통신 방법
US8417524B2 (en) * 2010-02-11 2013-04-09 International Business Machines Corporation Analysis of the temporal evolution of emotions in an audio interaction in a service delivery environment
US8595005B2 (en) * 2010-05-31 2013-11-26 Simple Emotion, Inc. System and method for recognizing emotional state from a speech signal
US10398366B2 (en) * 2010-07-01 2019-09-03 Nokia Technologies Oy Responding to changes in emotional condition of a user
US20120047447A1 (en) * 2010-08-23 2012-02-23 Saad Ul Haq Emotion based messaging system and statistical research tool
US8364395B2 (en) * 2010-12-14 2013-01-29 International Business Machines Corporation Human emotion metrics for navigation plans and maps
US8694307B2 (en) * 2011-05-19 2014-04-08 Nice Systems Ltd. Method and apparatus for temporal speech scoring

Also Published As

Publication number Publication date
US20130030812A1 (en) 2013-01-31
US9311680B2 (en) 2016-04-12
KR20130014161A (ko) 2013-02-07

Similar Documents

Publication Publication Date Title
KR101801327B1 (ko) 감정 정보 생성 장치, 감정 정보 생성 방법 및 감정 정보 기반 기능 추천 장치
US11009958B2 (en) Method and apparatus for providing sight independent activity reports responsive to a touch gesture
CN106464758B (zh) 利用用户信号来发起通信
CN108197327B (zh) 歌曲推荐方法、装置及存储介质
CN102737527B (zh) 移动终端和用于控制移动终端的方法
CN104104768B (zh) 通过使用呼叫方电话号码来提供附加信息的装置和方法
CN107301213A (zh) 智能问答方法及装置
CN110020140A (zh) 推荐内容显示方法、装置及系统
CN108369574A (zh) 智能设备识别
CN110110203A (zh) 资源信息推送方法及服务器、资源信息展示方法及终端
CN107491469A (zh) 智能任务发现
CN108292203A (zh) 基于设备间对话通信的主动协助
US10791072B2 (en) Generating conversations for behavior encouragement
CN106575149A (zh) 用于捕获和传输媒体和位置内容的消息用户界面
CN103713843A (zh) 用于在移动装置中产生任务推荐图标的方法和设备
CN110471858A (zh) 应用程序测试方法、装置及存储介质
CN109918669A (zh) 实体确定方法、装置及存储介质
WO2021003673A1 (zh) 内容推送方法及相关产品
US9418076B2 (en) System and method for determining interests from location data
CN107621886A (zh) 一种输入推荐方法、装置及电子设备
CN108228715A (zh) 一种显示图像的方法、终端及计算机可读存储介质
CN107967271A (zh) 一种信息搜索方法及装置
CN112328136A (zh) 评论信息的显示方法、装置、设备及存储介质
CN108460651A (zh) 车辆推荐方法及装置
CN106777016A (zh) 基于即时通信进行信息推荐的方法及装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant