KR20110064526A - 감성신호 감지 장치 및 그 방법 - Google Patents

감성신호 감지 장치 및 그 방법 Download PDF

Info

Publication number
KR20110064526A
KR20110064526A KR1020090121185A KR20090121185A KR20110064526A KR 20110064526 A KR20110064526 A KR 20110064526A KR 1020090121185 A KR1020090121185 A KR 1020090121185A KR 20090121185 A KR20090121185 A KR 20090121185A KR 20110064526 A KR20110064526 A KR 20110064526A
Authority
KR
South Korea
Prior art keywords
emotional
signals
signal
index
unit
Prior art date
Application number
KR1020090121185A
Other languages
English (en)
Other versions
KR101303648B1 (ko
Inventor
신현순
이용귀
조준
김지훈
최준식
한인탁
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020090121185A priority Critical patent/KR101303648B1/ko
Priority to US12/959,214 priority patent/US8764656B2/en
Publication of KR20110064526A publication Critical patent/KR20110064526A/ko
Application granted granted Critical
Publication of KR101303648B1 publication Critical patent/KR101303648B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02405—Determining heart rate variability
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1123—Discriminating type of movement, e.g. walking or running
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/32—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/01—Measuring temperature of body parts ; Diagnostic temperature sensing, e.g. for malignant or inflamed tissue
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/145—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/1455—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters
    • A61B5/14551—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters for measuring blood gases
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/44—Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
    • A61B5/441—Skin evaluation, e.g. for skin disorder diagnosis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Cardiology (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Educational Technology (AREA)
  • Business, Economics & Management (AREA)
  • Psychiatry (AREA)
  • Physiology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Social Psychology (AREA)
  • Educational Administration (AREA)
  • Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Hospice & Palliative Care (AREA)
  • Child & Adolescent Psychology (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Security & Cryptography (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Multimedia (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephone Function (AREA)

Abstract

본 발명은 감성신호 감지 장치 및 그 방법에 관한 것으로, 특히 사용자의 적어도 하나 이상의 생체신호들 및 주변 환경신호들을 수집하여 감성의 변이를 인지 분석하고, 사용자에게 감성의 상태를 안내해주고 인증된 사람들간에 감성의 정보를 공유하여 서로 교감할 수 있도록 하는 감성신호 감지 장치 및 그 방법에 관한 것이다. 본 발명의 실시예에 따른 감성신호 감지 장치는 사용자에 대한 복수의 생체신호들 및 주변 환경신호들을 센싱하는 센싱신호 처리부; 센싱된 생체신호들 각각에 관하여 사용자의 감성상태를 표현하는 감성신호들을 생성하고, 감성신호들을 취합하여 감성지수를 생성하는 감성신호 처리부; 및 감성신호들 및 감성지수를 선택적으로 외부의 인증된 기기로 제공하는 감성신호 통신부를 포함하는 것을 특징으로 한다.
멀티 센서, 광학식, 생체신호, 감성신호, 감성신호통신, 감성지수, 멀티모달 감성추론

Description

감성신호 감지 장치 및 그 방법{Sensing Device of Emotion Signal and method of the same}
본 발명은 감성신호 감지 장치 및 그 방법에 관한 것으로, 특히 사용자의 적어도 하나 이상의 생체신호들 및 주변 환경신호들을 수집하여 감성의 변이를 인지 분석하고, 사용자에게 감성의 상태를 안내해주고 인증된 사람들간에 감성의 정보를 공유하여 서로 교감할 수 있도록 하는 감성신호 감지 장치 및 그 방법에 관한 것이다.
본 발명은 지식경제부 및 한국산업기술평가관리원의 산업원천기술개발사업의 일환으로 수행한 연구로부터 도출된 것이다[과제관리번호: 2009-S-014-01, 과제명: 센싱기반 감성서비스 모바일 단말 기술개발].
최근 감성과 더불어 사람의 인지적인 측면을 고려하여 사용자가 의도하는 것 또는 서비스를 지능적으로 파악하여 제공하기 위한 방법으로 인지 또는 인식 기술의 필요성이 대두되고 있다. 이러한 필요성에 의해 많은 연구들이 진행되고 있지만 감성인식 기술에 의한 감성정보 서비스는 현실화 되지 못하고 있다.
향후 개인화 및 고령화되는 미래 사회에는 감성을 교감하고 기쁨을 누릴 수 있는 감성기반 서비스가 필요하다. 특히, 사용자의 무구속, 무자각 상태에서 생체신호 및 환경신호 인식에 의한 감성인식 기술 및 감성정보 교환 기술 등이 필요하다.
따라서, 본 발명의 목적은 사용자에 대한 적어도 하나 이상의 생체신호들 및 주변 환경신호들을 무구속, 무자각 상태에서 간편하게 센싱하고 센싱된 신호를 분석하여 감성신호들을 추출하고, 사용자에 대한 감성의 상태를 파악하여 공유하기 위한 감성신호 감지 장치 및 그 방법을 제공함에 있다.
또한, 본 발명의 다른 목적은 감성신호 감지를 위한 센싱 디바이스의 구조를 구축하고, 그 구조하에 감성신호들을 추출하고 감성지수를 결정하여 이를 감성기반 감성서비스를 제공하는 것이 가능하도록 함에 있다.
상술한 목적을 달성하기 위하여, 본 발명의 실시예에 따른 감성신호 감지 장치는 사용자에 대한 복수의 생체신호들 및 주변 환경신호들을 센싱하는 센싱신호 처리부; 센싱된 생체신호들 각각에 관하여 사용자의 감성상태를 표현하는 감성신호들을 생성하고, 감성신호들을 취합하여 감성지수를 생성하는 감성신호 처리부; 및 감성신호들 및 감성지수를 선택적으로 외부의 인증된 기기로 제공하는 감성신호 통신부를 포함하는 것을 특징으로 한다.
또, 감성신호 처리부는, 감성신호들 및 센싱된 주변 환경신호들을 이용하여 감성지수를 생성하는 것이 바람직하다.
또, 센싱신호 처리부는, 무구속 무자각 센싱을 위한 PPG센서, GSR센서, 온도/습도센서, 가속도센서, 음성센서 및 적외선 센서 중 적어도 하나 이상을 포함하는 것이 바람직하다.
또, 감성신호 처리부는, 사용자의 감성 변이를 알아낼 수 있는 감성변이 임계치값들을 이용하여 생체신호들로부터 감성신호들을 추출하는 것이 바람직하다.
또, 감성신호 처리부는, 주변 환경신호들과 함께 움직임 신호를 이용하여 감성신호들 각각에 대한 오류를 인지하여 오류인지정보를 생성하고, 오류인지정보를 이용하여 감성신호들 각각에 대한 오류 보상을 수행하는 것이 바람직하다.
또, 감성신호 처리부는, 감성신호들을 이용한 멀티모달 융합 감성추론을 수행하여 감성지수를 결정하는 것이 바람직하다.
또, 감성신호 통신부는, 감성신호들 자체를 필요로 하는 외부 기기이면 감성신호들을 공유시키고, 감성지수를 필요로 하는 외부 기기이면 감성지수를 공유시키는 것이 바람직하다.
또, 감성신호 통신부는, 사용자의 감성상태에 대한 프라이버시 보장을 위해 프라이버시 보안통신을 수행하는 것이 바람직하다.
또, 센싱신호 처리부는, 생체신호들 및 주변 환경신호들을 센싱하는 복수의 센서들을 갖는 센서부; 복수의 센서들로부터 들어온 신호들을 증폭하는 증폭부; 증폭된 신호들에서 외부 노이즈를 제거해 주는 노이즈 필터링부; 노이즈 필터링부의 출력 신호들을 디지털 신호로 변환해 주는 아날로그/디지털 I/F부; 및 디지털 신호 를 출력하는 디지털 신호 출력부를 포함하는 것이 바람직하다.
또, 감성신호 처리부는, 사용자에 대한 감성 변이를 알아낼 수 있는 감성 변이 임계치값들을 생성하고, 생성된 감성 변이 임계치값들의 변화를 관리하는 감성신호 임계치 생성 및 조절부; 감성 변이 임계치값들을 이용하여 센싱된 생체신호들 각각에 관하여 사용자의 감성상태를 표현하는 감성신호들을 추출하는 감성신호 추출부; 주변 환경신호들 및 움직임 신호를 분석하여 감성신호들 각각에 대한 오류상황 인지를 수행하는 감성신호 오류상황 인지부; 오류상황 인지에 따라 해당 감성신호를 보상하여 최적화하는 감성신호 보상부; 감성신호들 및 주변 환경신호들을 입력으로 한 감성 추론을 수행하여 감성지수를 추론하는 감성지수 추론부; 및 감성신호들 및 감성지수를 관리하는 감성신호 정보 관리부; 를 포함하는 것이 바람직하다.
또, 감성신호 통신부는, 감성신호들을 주변의 디바이스 및 단말들에게 제공하기 위해 포맷팅하는 감성신호 정보 포맷팅 처리부; 사용자의 감성상태에 대한 프라이버시 보장을 위한 보안 처리를 하는 감성신호 보안 처리부; 및 감성신호 통신을 위한 프로토콜을 처리하는 감성신호 통신 프로토콜 처리부; 감성신호 통신을 위한 무선신호를 정합하는 감성신호 통신 정합부를 포함하는 것이 바람직하다.
또, 센싱신호 처리부, 감성신호 처리부 및 감성신호 통신부의 실행을 위한 플랫폼을 제공하는 H/W 제어부를 더 포함하고, H/W제어부는, 복수의 센서들로부터 아날로그 신호를 수신하는 센서 아날로그 인터페이스부; 복수의 센서들의 부팅 및 SW모듈 실행을 담당하는 메인시그널 프로세서; 저전력 서비스 제공을 위한 저전력 유닛; 및 감성신호 무선통신을 위한 무선통신 모듈을 포함하는 것이 바람직하다.
한편, 본 발명의 실시예에 따른 감성신호 감지 방법은 센싱신호 처리부가, 사용자에 대한 복수의 생체신호들 및 주변 환경신호들을 센싱하는 단계; 감성신호 처리부가, 센싱된 생체신호들 각각에 관하여 사용자의 감성상태를 표현하는 감성신호들을 생성하고, 감성신호들을 취합하여 감성지수를 생성하는 단계; 및 감성신호 통신부가, 감성신호들 및 감성지수를 선택적으로 외부의 인증된 기기에 제공하는 단계를 포함하는 것을 특징으로 한다.
또, 센싱하는 단계는, 무구속 무자각 센싱을 위한 PPG센서, GSR센서, 온도/습도센서, 가속도센서, 음성센서 및 적외선 센서 중 적어도 하나 이상의 센서를 이용하여 센싱을 수행하는 것이 바람직하다.
또, 감성지수를 생성하는 단계는, 감성신호들 및 센싱된 주변 환경신호들을 이용하여 감성지수를 생성하는 것이 바람직하다.
또, 감성지수를 생성하는 단계는, 사용자의 감성 변이를 알아낼 수 있는 감성 변이 임계치값들을 생성하는 단계; 및 감성 변이 임계치값들을 이용하여 생체신호들로부터 감성신호들을 추출하는 것이 바람직하다.
또, 감성지수를 생성하는 단계는, 주변 환경신호들 및 움직임 신호를 기초로 오류상황을 인지하여 오류인지정보를 생성하고, 오류인지 정보를 이용하여 감성신호들 각각에 대한 오류 보상을 수행하는 것이 바람직하다.
또, 감성지수를 생성하는 단계는, 최종 보상된 멀티모달 방식의 감성신호들 을 이용한 융합 감성추론을 수행하여 감성지수를 결정하는 것이 바람직하다.
또, 외부의 인증된 기기에 제공하는 단계는, 감성신호들 자체를 필요로 하는 외부 기기이면 감성신호들을 공유시키고, 감성지수를 필요로 하는 외부 기기이면 감성지수를 공유시키는 것이 바람직하다.
또, 외부의 인증된 기기에 제공하는 단계는, 사용자의 감성상태에 대한 프라이버시 보장을 위해 프라이버시 보장 관리 및 프라이버시 보안 통신을 수행하는 것이 바람직하다.
본 발명에 따르면, 적어도 하나 이상의 생체신호들 및 주변 환경신호들을 무구속, 무자각 상태에서 간편하게 센싱하고 센싱된 신호를 분석하여 감성신호들을 추출함으로써, 개인의 감성의 상태를 무자각 상태에서 파악하여 감성상태를 제공하고, 개인 감성에 맞는 감성서비스를 제공할 수 있는 효과를 갖는다.
또한, 본 발명은, 감성신호들을 사용자 및 가족에게 제공함으로써 감성을 교감할 수 있는 서비스를 제공할 있는 효과를 갖는다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예를 설명하면 다음과 같다.
도 1은 본 발명에 따른 감성신호 감지 장치가 적용되는 시스템의 일례를 예시한 도면이다( 미설명부호 ADC0~ADC7 는 신호라인이고, SPI는 통신라인을 의미한다.)
도 1을 참조하면, 본 발명에 따른 감성신호 감지장치(100)는 센싱기반 감성서비스 장치에 적용될 수 있다. 특히 사용자의 적어도 하나 이상의 생체신호들로부터 감성신호들을 추출하도록 구성된다. 예를 들어, 감성신호 감지장치는 각종 센서를 구비한 센서보드(10)로부터의 각종 센싱신호들을 마이크로컴퓨터유닛(MCU) 등에서 처리하여 감성신호들 또는 감성지수를 표시부(30;LCD)에 표시하거나 통신부(50; 블루투스 등)을 통해 외부 기기(60; 컴퓨터, MP3, 핸드폰, PDA 등)와 공유하도록 구성할 수 있을 것이다. 물론, 자체 배터리(40)를 구비하여 휴대 가능하도록 구성할 수 있을 것이다(예를 들어, 목걸이, 팬던트, MP3, 핸드폰, PDA 등). 즉, 본 발명은 사용자의 적어도 하나 이상의 생체신호들 및 주변 환경신호들을 센싱하여 감성의 변이를 인지 분석하여 사용자에게 감성의 상태를 안내해주고 인증된 사람들간에 감성 정보를 공유할 수 있도록 한다. 여기서, 감성의 변이는 사용자의 감정상태(예컨데, 평온, 화남, 놀람, 슬픔 등)의 변화를 의미하는 것으로 한다.
이하 본 발명의 실시예에 따른 센싱기반 감성신호 감지 장치(100)의 구성을 좀 더 상세히 살펴보고자 한다.
도 2는 본 발명의 실시예에 따른 감성신호 감지 장치의 내부 구성을 예시한 도면이고, 도 3 내지 도 6은 도 2에 도시된 감성신호 감지 장치의 세부 구성을 개략적으로 도시한 도면이다.
도 2를 참조하면, 본 발명의 실시예에 따른 감성신호 감지 장치(100)는 센싱신호 처리부(130), 감성신호 처리부(140), 감성신호 통신부(150), H/W제어부(160)를 포함하여 구성된다.
본 발명에 따른 감성신호 감지 장치를 개략적으로 설명하면, 센싱신호 처리부(130)는 사용자에 대한 적어도 하나 이상의 생체신호들 및 주변 환경신호들을 센싱 한다. 감성신호 처리부(140)는 센싱된 적어도 하나이상의 생체신호들 각각에 관하여 사용자의 감성상태를 나타내는 감성신호들을생성하고, 감성신호들을 취합하여 감성지수를 생성한다.
또, 감성신호 처리부(140)는 감성신호들 및 처리된 주변 환경신호들을 이용하여 감성지수를 생성한다. 그리고 감성신호 통신부(150)는 인증된 기기 또는 사용자들 간에 공유되도록 감성신호들 및 감성지수를 선택적으로 외부에 제공한다. H/W 제어부(160)는 센싱처리, 감성신호처리 및 감성신호통신처리등이 실행될 수 있는 H/W 플랫폼을 제어하게 된다. 본 발명의 감성신호 감지 장치에 대한 상세한 구성 설명은 하술하도록 한다.
즉, 본 발명에서는 사용자의 적어도 하나 이상의 생체신호들 및 주변 환경신호들을 센싱하여 감성의 변이를 인지 분석하고, 사용자에게 감성의 상태를 안내해주고 인증된 사람들간에 감성의 정보를 공유할 수 있도록 한다. 이를 통해 사용자에게 개인의 감성 상태를 알려주고 감성을 교감할 수 있게 된다.
아울러, 본 발명의 실시예에 따른 감성신호 감지 장치는 사용자 인터페이스부(110; UI), 사용자 관리부(120)를 추가적으로 구성할 수 있다. 사용자 인터페이스부(110)는 하술된 감성신호 및 감성지수를 통해 안내해 주고(S266), 개인에 맞는 감성서비스를 제공하는 역할을 수행한다. 사용자 관리부(120)는 하술된 감성신호 및 감성지수를 제공한 사용자를 관리하는 역할을 수행한다. 즉, 사용자 관리부(120)는 사용자에 대한 감성상태를 나타내는 감성신호 또는 감성지수를 인증된 사람들과 공유할 수 있도록 인증처리를 하게 된다. 이러한 사용자 인증 및 제공 방식은 공지된 사항이므로 상세한 설명은 생략한다.
도 3을 참조하면, 센싱신호 처리부(130)는 센서부(131; 멀티모달 방식), 증폭부(132), 아날로그/디지털I/F부(134), 디지털 신호 출력부(135)를 포함하여 구성된다. 센서부(131)는 PPG센서(131a), GSR센서(131b), 온도센서(131c), 가속도센서(131d), 음성센서(131e), 적외선센서(131f) 등과 같은 무구속 무자각 센싱을 위한 적어도 하나 이상의 센서를 포함하여 구성된다. 그리고 센서부(131)는 사용자에 대한 적어도 하나 이상의 생체신호들 및 주변 환경신호들을 적어도 하나이상의 센서들(131a~131f)을 통해 센싱 한다. 증폭부(132)는 센서들로부터 들어온 신호들을 증폭하여 준다. 노이즈 필터링부(133)는 증폭된 신호들에서 외부 노이즈를 제거해 준다. 아날로그/디지털I/F부(134)는 아날로그 신호들을 디지털 신호로 변환해 준다. 디지털 신호 출력부(135)는 생체신호들을 분석할 수 있도록 변환된 디지털 신 호를 출력해 준다. 이처럼 센싱신호 처리부(130)의 각 구성은 사용자의 생체신호들 및 주변 환경신호들을 센싱하여 처리하기 위한 구성을 채용한 것으로 이에 한정되지는 않는다.
여기서, 센싱신호 처리부(130)는 센싱된 신호들을 멀티모달 방식으로 처리하여 하술된 감성신호 처리부(140)에서 사용자의 감성 상태를 분석할 수 있도록 제공하게 된다. 가속도센서(131e)의 경우 사용자가 운동에 의한 움직임인지 감성의 변화에 의한 행동인지를 인식할 수 있다. 그리고 센싱된 신호들은 증폭부(132), 노이즈 필터링부(133), 아날로그/디지털I/F부(134) 및 디지털 신호 출력부(135)를 거치면서 분석 가능한 신호들로 처리되게 된다. 상술한 멀티모달 방식은 공지된 사항이므로 보다 상세한 설명은 생략한다.
도 4를 참조하면, 감성신호 처리부(140)는 감성신호 임계치 생성 및 조절부(141), 감성신호 추출부(142), 감성신호 오류상황 인지부(143), 감성신호 보상부(144), 감성지수 추론부(145), 감성신호 정보 관리부(146)를 포함하여 구성된다.
감성신호 임계치 생성 및 조절부(141)는 상술한 센싱신호 처리부(103)에서 센싱 처리된 신호들로부터 사용자에 대한 감성 변이를 판단하기 위한 기준값을 처리한다. 즉, 감성신호 임계치 생성 및 조절부(141)는 감성 변이를 알아낼 수 있는 감성신호에 대한 임계치값을 생성하고, 생성된 임계치값의 변화를 관리한다. 감성신호 추출부(142)는 임계치값을 기반으로 감성신호를 추출한다. 감성신호 오류상황 인지부(143)는 주변 환경 신호들을 분석하여 오류상황을 인지한다. 감성신호 보상 부(144)는 감성신호 오류 상황 인지에 따른 감성신호 최적화를 수행한다. 감성지수 추론부(145)는 감성신호들 및 주변 환경신호를 입력으로 한 감성 추론을 수행한다. 감성신호 정보 관리부(146)는 추출된 감성신호들 및 피드백된 감성신호 상태 정보 등을 관리한다.
도 5를 참조하면, 감성신호 통신부(150)는 감성신호 정보 포맷팅 처리부(152), 감성신호 보안 처리부(153), 감성신호 통신 프로토콜 처리부(154), 감성신호 통신 정합부(155)를 포함하여 구성된다.
감성신호 정보 포맷팅 처리부(152)는 적어도 하나 이상의 감성신호들을 주변의 디바이스 및 단말들에게 제공하기 위해 감성신호 통신 메세지를 작성한다. 감성신호 보안 처리부(153)는 개인의 감성신호 정보에 대한 프라이버시 보장을 처리한다. 감성신호 통신 프로토콜 처리부(154)는 감성신호 통신을 위한 프로토콜을 처리한다. 감성신호 통신 정합부(155)는 무선 감성신호 통신을 처리한다.
도 6을 참조하면, H/W제어부(160)는 센서 아날로그 인터페이스부(161), 메인시그널 프로세서(162), 저전력 유닛(163), 무선통신 모듈(164)을 포함하여 구성된다.
센서 아날로그 인터페이스부(161)는 각종 센서로부터 아날로그 신호를 수신한다. 메인시그널 프로세서(162)는 센서 디바이스의 부팅 및 SW모듈 실행을 담당한다. 저전력 유닛(163)은 저전력 서비스 제공을 수행한다. 무선통신 모듈(164)은 감 성신호 무선통신을 수행한다.
이하, 본 발명의 실시예에 따른 감성신호 감지 방법을 첨부된 도면을 참조하여 설명하도록 한다. 설명에 있어서, 상술한 구성을 갖는 감성신호 감지 장치를 예로 설명하도록 한다. 아울러, 감성신호 감지 장치는 생체신호 및 환경신호를 센싱할 수 있도록 시스템상에 연결 구성된 상태인 것으로 한다.
도 7은 본 발명의 실시예에 따른 감성신호 감지 방법의 순서를 도시한 도면이다. 설명에 있어서, 상술한 구성을 갖는 감성신호 감지 장치를 예로 설명하도록 한다.
도 7을 참조하면, 먼저 사용자에 의해서 본 발명에 따른 감성신호 감지 장치(100)를 이용하게 되면, 센싱신호 처리부(130)는 사용자에 대한 적어도 하나 이상의 생체신호들 및 주변 환경신호들을 센싱하여 분석 가능한 신호로 처리하게 된다(S10).
다음, 감성신호 처리부(140)는 센싱신호 처리부(130)로부터의 각종 신호들(즉, 센싱된 생체신호들 및 주변 환경신호들로부터 처리된 신호들)을 처리하여 사용자에 대한 감성 상태를 나타내는 감성신호로 처리한다(S20). 여기서, 감성신호 처리부(140)는, 사용자의 감성 변이를 알아낼 수 있는 감성 변이 임계치값을 생성하고 이를 이용하여 적어도 하나 이상의 생체신호들로부터 각각의 감성신호들을 추 출하게 된다.
이어, 감성신호를 최적화하기 위하여 피드백 및 보상기능을 수행한다. 즉, 감성신호 처리부(140)는, 주변 환경신호들을 이용하여 감성신호들에 대한 오류 보상을 수행하여 오류를 감소시키게 된다.
다음, 감성신호 처리부(140)는 감성신호들을 주변 환경신호들을 이용하여 융합 추론을 통해 감성지수를 결정하게 된다.
마지막으로, 결정된 감성신호들 또는 감성지수를 사용자 인터페이스 및 무선통신으로 사용자에게 제공한다. 즉, 감성신호 통신부(150)는 감성신호 자체를 필요로 하는 외부 기기이면 감성신호들을 공유시킨다. 또, 감성신호 통신부(150)는 감성신호 자체를 필요로 하는 외부 기기가 아니면 감성지수를 공유시키게 된다.
상술한 바와 같이, 본 발명에서는 무구속, 무자각 상태에서 간편하게 적어도 하나 이상의 생체신호들 및 주변 환경신호들을 센싱하고 센싱된 신호를 분석하여 감성신호들을 추출함으로써, 개인의 감성의 상태를 무자각 상태에서 파악하여 감성상태를 제공하고, 개인 감성에 맞는 감성서비스를 제공할 수 있게 된다.
물론, 본 발명에서는 감성신호들을 사용자 및 가족에게 제공함으로써 감성을 교감할 수 있는 서비스를 제공할 수도 있게 된다.
이하, 본 발명의 실시예에 따른 감성신호 감지 장치에 따른 감성신호 처리 과정 및 통신과정을 일례를 들어 상세히 설명하도록 한다.
도 8 내지 도 13은 본 발명의 실시예에 따른 감성신호 감지 장치에서 센싱기반의 감성신호 처리 과정 및 통신 과정의 순서를 도시한 도면이다.
도 8 내지 도 13을 참조하여 본 발명에 따른 감성신호 감지 장치의 센싱 및 처리 과정을 일례를 들어예시하도록 한다.
우선, 센서신호 처리부(130)의 센서부(131)에서는 무구속 무자각 신호센싱을 위한 PPG센서(131a)로부터 특정 파장대역의 빛을 조사하여 반사 및 투과된 광을 검출하는 방법으로 생체신호를 검출하고(S201), GSR센서(131b)를 이용하여 피부 저항 및 체온변화를 인식하기 위해 체온를 측정하고(S202), 음성센서(131e; 마이크)를 이용하여 음성을 인식하고(S203), 적외선 센서(131f)를 이용하여 피부의 색체, 경련을 센싱하고(S204), 가속도 센서(131d)를 이용하여 움직임 및 운동량 등을 측정하고(S205), 온도 센서(131c; 또는 습도 센서(미도시))를 이용하여 환경의 온도(또는 습도)를 측정한다(S206).
단계 'S206' 이후, 증폭부(132)는 센싱된 미약한 생체신호를 강화하기 위하여 생체신호를 증폭시킨다(S207).
단계 'S207' 를 수행한 후, 노이즈 필터링부(133)는 각 대역에 맞는 신호를 추출하고 노이즈 신호를 추출하여(S208) 노치필터를 통해 노이즈를 필터링 한다(S209).
단계 'S209'를 수행한 후, 아날로그/디지털I/F부(134)는 얻어진 6개의 아날로그 생체신호를 디지털 신호로 변환하여(S210) 각각의 디지털 생체신호를 분류한다(S211).
단계 'S211'를 수행한 후, 감성신호 처리부(140)는 PPG센서(131a)를 이용해 센싱된 신호로부터 HRV, 맥파, 혈류 산소포화도, 혈류의 세기 신호 등을 검출하여(S212), HRV, 맥파, 혈류 산소포화도, 혈류의 세기 등을 분석한다(S219).
단계 'S219'를 수행한 후, 감성신호 처리부(140)는 감성변화에 따른 HRV 변이 임계치, 맥파 변이 임계치, 혈류 산소포화도 변이 임계치, 혈류 세기 변이 임계치를 생성/조절 및 조사하고(S220), 임계치 등급에 따른 감성신호를 맵핑하여(S221), PPG기반의 감성신호를 추출한다(S222). 여기서, 임계치를 생성/조절 및 조사하는 것은 임계치를 생성하거나, 기존 임계치를 새로 생성된 임계치에 따라 조정하거나 임계치를 비교 등의 방식으로 조사하는 것을 포함하는 것으로 한다. 이하, 이러한 임계치를 생성/조절 및 조사하는 방식은 공지된 방식을 채용할 수 있는 것으로 한다.
한편, 단계 'S211'를 수행한 후, 감성신호 처리부(140)는 GSR센서(131b)를 이용해 센싱된 신호로부터 피부 전기전도도(SC) 신호를 검출하여(S213), 피부 전기전도도를 분석한다(S223).
단계 'S223'을 수행한 후, 감성신호 처리부(140)는 감성변화에 따른 피부 전기전도도 변이 임계치를 생성/조절 및 조사하고(S224), 임계치 등급에 따른 감성신 호를 맵핑하여(S225), SC변이 기반의 감성신호를 추출한다(S226).
또, 단계 'S211'를 수행한 후, 감성신호 처리부(140)는 적외선 센서(131f;체온센서)를 이용해 센싱된 신호로부터 피부체온(SKT)을 검출하고(S214), 피부 체온의 변화를 분석한다(S226).
단계 'S226'를 수행한 후, 감성신호 처리부(140)는 감성변화에 따른 피부 체온 변이 임계치를 생성/조절 및 조사하고(S223), 임계치 등급에 따른 감성신호를 맵핑하여(S224), SKT변이 기반의 감성신호를 추출한다(S225).
또한, 단계 'S211'를 수행한 후, 감성신호 처리부(140)는 음성을 이루는 음파를 검출하고(S215), 음의 피치 변화를 분석하고(S230), 피치간의 진동변이를 분석한다(S231).
단계 'S231'를 수행한 후, 감성신호 처리부(140)는 감성변화에 따른 음의 피치 변이 임계치를 생성/조절 및 조사하고(S232), 진동의 변이 임계치를 생성/조절 및 조사하여(S233) 임계치 등급에 따른 감성신호를 맵핑하여(S234), 음성세기 변이 기반의 감성신호를 추출한다(S235).
한편, 단계 'S211'를 수행한 후, 감성신호 처리부(140)는 음성단어들을 검출하고(S216), 음성의 단어를 분류하여(S236) 사용 단어를 분석한다(S237).
단계 'S237'를 수행한 후, 감성지수 등급에 따른 사용 단어를 조사하 고(S238), 감성지수 등급에 따른 감성신호를 맵핑하여(S239), 음성단어 기반의 감성신호를 추출한다(S240).
단계 'S240'을 수행한 후, 감성신호 처리부(140)는 음파 분석 기반의 감성신호와 음성단어 기반의 감성신호를 분석 및 처리하여 음성기반의 최적화된 감성신호를 추출한다(S241).
또, 단계 'S211'를 수행한 후, 감성신호 처리부(140)는 피부색을 검출하고(S217) 피부색의 변화를 분석한다(S242).
단계 'S242'를 수행한 후, 감성신호 처리부(140)는 감성변화에 따른 피부색 변이 생성/조절 및 조사하여(S243), 임계치 등급에 따른 감성신호를 맵핑하여(S244),피부색 변이 기반의 감성신호를 추출한다(S245).
또한, 단계 'S211'를 수행한 후, 감성신호 처리부(140)는 온도 센서(131c ; 또는 습도 센서)로부터 센싱된 환경의 온도(또는 습도) 정보를 검출하고(S218), 환경의 온도(또는 습도) 변화를 분석한다(S246).
단계 'S246'을 수행한 후, 감성신호 처리부(140)는 시간에 따른 온도 변이를 조사하여(S247), 환경지수 레벨(등급)을 결정한다(S248).
한편, 단계 'S201' 내지 'S248' 과정을 수행 후, 감성신호 처리부(140)는 가속도 센서(131d)를 이용한 가속도 센싱정보를 분석하여(S249), 움직임 종류 및 상 태를 분류한다(S250).
단계 'S250'를 수행한 후, 감성신호 처리부(140)는 움직임의 종류 및 상태를 분석하여(S251), 오류상황 인지를 위한 파라메터를 추출한다(S252).
단계 'S252'를 수행한 후, 감성신호 처리부(140)는 상술한 단계 'S246' 내지 'S248' 과정에서 결정된 환경지수 레벨과 상술한 'S251' 내지 'S252' 과정에서 추출된 움직임 오류 상황 정보를 입력으로 하여 감성신호 오류상황 인지 알고리즘을 수행하여 감성신호 오류상황을 인지한다(S253).
단계 'S253'를 수행한 후, 감성신호 처리부(140)는 인지된 오류상황 정보를 기반으로 각각 추출된 PPG, GSR, 적외선, 음성, 온도/습도 신호로부터 추출된 감성신호를 보상하는 과정을 수행한다(S254).
단계 'S254'를 수행한 후, 감성신호 처리부(140)는 보상된 멀티모달 감성신호들을 이용하여 멀티모달 융합 감성추론을 수행하여(S255), 최적의 감성지수를 결정한다(S256).
단계 'S256'를 수행한 후, 감성신호 통신부(150)는 감성신호 자체를 전송할 필요성이 있는지를 조사하여(S257), 감성신호 자체 전송이 요구될 경우, 감성신호 통신부(150)를 통해 보상된 멀티모달 센싱 신호기반 감성신호 자체를 필요로 하는 감성서비스 단말이나 기기들로 전송하기 위하여 송신할 감성신호를 정의 및 분류한다(S258). 감성신호 통신부(150)는 각각의 감성신호를 감성신호통신 프로토콜을 정 의하고(S259), 감성신호통신 메시지 포맷에 맞게 포맷팅하여(S260), 무선통신 기능을 이용하여 전송한다(S261).
단계 'S256'을 수행한 후, 감성신호 통신부(150)는 감성신호 자체 전송이 필요 없을 경우, 추출된 감성지수를 EML(Emotional Markup Language)로 표현한다(S262). 감성신호 통신부(150)는 감성정보통신 프로토콜을 정의하고(S263), 감성정보통신 메시지 포맷에 맞게 포맷팅하여(S264), 무선통신 기능을 이용하여 통신한다(S265).
한편, 단계 'S256' 또는 'S261' 또는 'S265'수행 후, 감성신호 및 감성지수를 사용자 인터페이스부(110 : UI)를 통해 안내해 주고(S266), 개인에 맞는 감성서비스를 제공해 준다(S267).
이상과 같이 본 발명에 의한 감성신호 센싱 디바이스 장치 및 그 방법은 예시된 도면을 참조로 설명하였으나, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형 실시예들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
도 1은 본 발명에 따른 감성신호 감지 장치가 적용되는 시스템의 일례를 예시한 도면.
도 2는 본 발명의 실시예에 따른 감성신호 감지 장치의 내부 구성을 예시한 도면.
도 3 내지 도6은 도 2에 도시된 감성신호 감지 장치의 세부 구성을 개략적으로 도시한 도면.
도 7은 본 발명의 실시예에 따른 감성신호 감지 방법의 순서를 도시한 도면.
도 8 내지 도 13은 본 발명의 실시예에 따른 감성신호 감지 장치에서 센싱기반의 감성신호 처리 과정 및 통신 과정의 순서를 도시한 도면.
*도면의 주요부분에 대한 부호의 설명*
110 : 사용자 인터페이스부 120 : 사용자 관리부
130 : 센싱신호 처리부 140 : 감성신호 처리부
150 : 감성신호 통신부 160 : H/W제어부

Claims (20)

  1. 사용자에 대한 복수의 생체신호들 및 주변 환경신호들을 센싱하는 센싱신호 처리부;
    센싱된 상기 생체신호들 각각에 관하여 상기 사용자의 감성상태를 표현하는 감성신호들을 생성하고, 상기 감성신호들을 취합하여 감성지수를 생성하는 감성신호 처리부; 및
    상기 감성신호들 및 감성지수를 선택적으로 외부의 인증된 기기로 제공하는 감성신호 통신부를 포함하는 것을 특징으로 하는 감성신호 감지 장치.
  2. 청구항 1에 있어서,
    상기 감성신호 처리부는,
    상기 감성신호들 및 센싱된 상기 주변 환경신호들을 이용하여 상기 감성지수를 생성하는 것을 특징으로 하는 감성신호 감지 장치.
  3. 청구항 1에 있어서,
    상기 센싱신호 처리부는,
    무구속 무자각 센싱을 위한 PPG센서, GSR센서, 온도/습도센서, 가속도센서, 음성센서 및 적외선 센서 중 적어도 하나 이상을 포함하는 것을 특징으로 하는 감성신호 감지 장치.
  4. 청구항 1에 있어서,
    상기 감성신호 처리부는,
    상기 사용자의 감성 변이를 알아낼 수 있는 감성변이 임계치값들을 이용하여 상기 생체신호들로부터 상기 감성신호들을 추출하는 것을 특징으로 하는 감성신호 감지 장치.
  5. 청구항 1에 있어서,
    상기 감성신호 처리부는,
    상기 주변 환경신호들과 함께 움직임 신호를 이용하여 상기 감성신호들 각각에 대한 오류를 인지하여 오류인지정보를 생성하고, 상기 오류인지정보를 이용하여 상기 감성신호들 각각에 대한 오류 보상을 수행하는 것을 특징으로 하는 감성신호 감지 장치.
  6. 청구항 1에 있어서,
    상기 감성신호 처리부는,
    상기 감성신호들을 이용한 멀티모달 융합 감성추론을 수행하여 상기 감성지수를 결정하는 것을 특징으로 하는 감성신호 감지 장치.
  7. 청구항 1에 있어서,
    상기 감성신호 통신부는,
    상기 감성신호들 자체를 필요로 하는 외부 기기이면 상기 감성신호들을 공유시키고, 상기 감성지수를 필요로 하는 외부 기기이면 상기 감성지수를 공유시키는 것을 특징으로 하는 감성신호 감지 장치.
  8. 청구항 1에 있어서,
    상기 감성신호 통신부는,
    상기 사용자의 감성상태에 대한 프라이버시 보장을 위해 프라이버시 보안통신을 수행하는 것을 특징으로 하는 감성신호 감지 장치.
  9. 청구항 1에 있어서,
    상기 센싱신호 처리부는,
    상기 생체신호들 및 주변 환경신호들을 센싱하는 복수의 센서들을 갖는 센서부;
    상기 복수의 센서들로부터 들어온 신호들을 증폭하는 증폭부;
    증폭된 상기 신호들에서 외부 노이즈를 제거해 주는 노이즈 필터링부;
    상기 노이즈 필터링부의 출력 신호들을 디지털 신호로 변환해 주는 아날로그/디지털 I/F부; 및
    상기 디지털 신호를 출력하는 디지털 신호 출력부를 포함하는 것을 특징으로 하는 감성신호 감지 장치.
  10. 청구항 1에 있어서,
    상기 감성신호 처리부는,
    상기 사용자에 대한 감성 변이를 알아낼 수 있는 감성 변이 임계치값들을 생성하고, 생성된 상기 감성 변이 임계치값들의 변화를 관리하는 감성신호 임계치 생성 및 조절부;
    상기 감성 변이 임계치값들을 이용하여 센싱된 상기 생체신호들 각각에 관하여 상기 사용자의 감성상태를 표현하는 감성신호들을 추출하는 감성신호 추출부;
    상기 주변 환경신호들 및 움직임 신호를 분석하여 상기 감성신호들 각각에 대한 오류상황 인지를 수행하는 감성신호 오류상황 인지부;
    상기 오류상황 인지에 따라 해당 감성신호를 보상하여 최적화하는 감성신호 보상부;
    상기 감성신호들 및 주변 환경신호들을 입력으로 한 감성 추론을 수행하여 감성지수를 추론하는 감성지수 추론부; 및
    상기 감성신호들 및 감성지수를 관리하는 감성신호 정보 관리부;
    를 포함하는 것을 특징으로 하는 감성신호 감지 장치.
  11. 청구항 1에 있어서,
    상기 감성신호 통신부는,
    상기 감성신호들을 주변의 디바이스 및 단말들에게 제공하기 위해 포맷팅하 는 감성신호 정보 포맷팅 처리부;
    상기 사용자의 감성상태에 대한 프라이버시 보장을 위한 보안 처리를 하는 감성신호 보안 처리부;
    감성신호 통신을 위한 프로토콜을 처리하는 감성신호 통신 프로토콜 처리부; 및
    상기 감성신호 통신을 위한 무선신호를 정합하는 감성신호 통신 정합부를 포함하는 것을 특징으로 하는 감성신호 감지 장치.
  12. 청구항 9에 있어서,
    상기 센싱신호 처리부, 감성신호 처리부 및 감성신호 통신부의 실행을 위한 플랫폼을 제공하는 H/W 제어부를 더 포함하고,
    상기 H/W제어부는,
    상기 복수의 센서들로부터 아날로그 신호를 수신하는 센서 아날로그 인터페이스부;
    상기 복수의 센서들의 부팅 및 SW모듈 실행을 담당하는 메인시그널 프로세서;
    저전력 서비스 제공을 위한 저전력 유닛; 및
    감성신호 무선통신을 위한 무선통신 모듈을 포함하는 것을 특징으로 하는 감성신호 감지 장치.
  13. 센싱신호 처리부가, 사용자에 대한 복수의 생체신호들 및 주변 환경신호들을 센싱하는 단계;
    감성신호 처리부가, 센싱된 상기 생체신호들 각각에 관하여 상기 사용자의 감성상태를 표현하는 감성신호들을 생성하고, 상기 감성신호들을 취합하여 감성지수를 생성하는 단계; 및
    감성신호 통신부가, 상기 감성신호들 및 감성지수를 선택적으로 외부의 인증된 기기에 제공하는 단계를 포함하는 것을 특징으로 하는 감성신호 감지 방법.
  14. 청구항 13에 있어서,
    상기 센싱하는 단계는,
    무구속 무자각 센싱을 위한 PPG센서, GSR센서, 온도/습도센서, 가속도센서, 음성센서 및 적외선 센서 중 적어도 하나 이상의 센서를 이용하여 센싱을 수행하는 것을 특징으로 하는 감성신호 감지 방법.
  15. 청구항 13에 있어서,
    상기 감성지수를 생성하는 단계는,
    상기 감성신호들 및 센싱된 상기 주변 환경신호들을 이용하여 상기 감성지수를 생성하는 것을 특징으로 하는 감성신호 감지 방법.
  16. 청구항 13에 있어서,
    상기 감성지수를 생성하는 단계는,
    상기 사용자의 감성 변이를 알아낼 수 있는 감성 변이 임계치값들을 생성하는 단계; 및
    상기 감성 변이 임계치값들을 이용하여 상기 생체신호들로부터 감성신호들을 추출하는 것을 특징으로 하는 감성신호 감지 방법.
  17. 청구항 16에 있어서,
    상기 감성지수를 생성하는 단계는,
    상기 주변 환경신호들 및 움직임 신호를 기초로 오류상황을 인지하여 오류인지정보를 생성하고, 상기 오류인지 정보를 이용하여 상기 감성신호들 각각에 대한 오류 보상을 수행하는 것을 특징으로 하는 감성신호 감지 방법.
  18. 청구항 17에 있어서,
    상기 감성지수를 생성하는 단계는,
    최종 보상된 멀티모달 방식의 상기 감성신호들을 이용한 융합 감성추론을 수행하여 상기 감성지수를 결정하는 것을 특징으로 하는 감성신호 감지 방법.
  19. 청구항 13에 있어서,
    상기 외부의 인증된 기기에 제공하는 단계는,
    상기 감성신호들 자체를 필요로 하는 외부 기기이면 상기 감성신호들을 공유시 키고, 상기 감성지수를 필요로 하는 외부 기기이면 상기 감성지수를 공유시키는 것을 특징으로 하는 감성신호 감지 방법.
  20. 청구항 13에 있어서,
    상기 외부의 인증된 기기에 제공하는 단계는,
    상기 사용자의 감성상태에 대한 프라이버시 보장을 위해 프라이버시 보장 관리 및 프라이버시 보안 통신을 수행하는 것을 특징으로 하는 감성신호 감지 방법.
KR1020090121185A 2009-12-08 2009-12-08 감성신호 감지 장치 및 그 방법 KR101303648B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020090121185A KR101303648B1 (ko) 2009-12-08 2009-12-08 감성신호 감지 장치 및 그 방법
US12/959,214 US8764656B2 (en) 2009-12-08 2010-12-02 Sensing device of emotion signal and method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090121185A KR101303648B1 (ko) 2009-12-08 2009-12-08 감성신호 감지 장치 및 그 방법

Publications (2)

Publication Number Publication Date
KR20110064526A true KR20110064526A (ko) 2011-06-15
KR101303648B1 KR101303648B1 (ko) 2013-09-04

Family

ID=44082679

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090121185A KR101303648B1 (ko) 2009-12-08 2009-12-08 감성신호 감지 장치 및 그 방법

Country Status (2)

Country Link
US (1) US8764656B2 (ko)
KR (1) KR101303648B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101527895B1 (ko) * 2014-12-15 2015-06-10 주식회사 진진 사용자의 모션을 인식하는 레이더 디텍터
KR20160146424A (ko) * 2015-06-12 2016-12-21 삼성전자주식회사 전자 장치 및 그 제어 방법

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8712948B2 (en) * 2009-04-15 2014-04-29 Koninklijke Philips N.V. Methods and systems for adapting a user environment
KR101299220B1 (ko) * 2010-01-08 2013-08-22 한국전자통신연구원 감성 신호 감지 장치와 감성 서비스 제공 장치 간의 감성 통신 방법
US8404892B2 (en) * 2010-05-27 2013-03-26 Eastman Kodak Company Aromatic amic acid salts and compositions
CN102479024A (zh) * 2010-11-24 2012-05-30 国基电子（上海）有限公司 手持装置及其用户界面构建方法
TWI482108B (zh) * 2011-12-29 2015-04-21 Univ Nat Taiwan To bring virtual social networks into real-life social systems and methods
KR20140104537A (ko) * 2013-02-18 2014-08-29 한국전자통신연구원 생체 신호 기반의 감성 인터랙션 장치 및 방법
US20140287387A1 (en) * 2013-03-24 2014-09-25 Emozia, Inc. Emotion recognition system and method for assessing, monitoring, predicting and broadcasting a user's emotive state
KR101727592B1 (ko) * 2013-06-26 2017-04-18 한국전자통신연구원 감성추론 기반 사용자 맞춤형 실감미디어 재현 장치 및 방법
US9619980B2 (en) 2013-09-06 2017-04-11 Immersion Corporation Systems and methods for generating haptic effects associated with audio signals
US9711014B2 (en) 2013-09-06 2017-07-18 Immersion Corporation Systems and methods for generating haptic effects associated with transitions in audio signals
US9576445B2 (en) 2013-09-06 2017-02-21 Immersion Corp. Systems and methods for generating haptic effects associated with an envelope in audio signals
US9652945B2 (en) 2013-09-06 2017-05-16 Immersion Corporation Method and system for providing haptic effects based on information complementary to multimedia content
KR102154912B1 (ko) 2013-10-11 2020-09-11 인터디지탈 패튼 홀딩스, 인크 시선 구동 증강 현실
US9358475B2 (en) 2013-12-12 2016-06-07 Beatbots, LLC Robot
US9421688B2 (en) * 2013-12-12 2016-08-23 Beatbots, LLC Robot
US20150169832A1 (en) * 2013-12-18 2015-06-18 Lenovo (Singapore) Pte, Ltd. Systems and methods to determine user emotions and moods based on acceleration data and biometric data
US20170316117A1 (en) * 2014-10-30 2017-11-02 Philips Lighting Holding B.V. Controlling the output of information using a computing device
US11311203B2 (en) 2015-01-29 2022-04-26 Pixart Imaging Inc. Microcirculation detection system
TWI547261B (zh) 2015-01-29 2016-09-01 原相科技股份有限公司 陣列式生理偵測系統及其運作方法
US11020013B2 (en) 2015-01-29 2021-06-01 Pixart Imaging Inc. Array physiological detection system and device
US20160262690A1 (en) * 2015-03-12 2016-09-15 Mediatek Inc. Method for managing sleep quality and apparatus utilizing the same
US10133918B1 (en) 2015-04-20 2018-11-20 Snap Inc. Generating a mood log based on user images
KR102314644B1 (ko) 2015-06-16 2021-10-19 삼성전자주식회사 주변 디바이스의 정보를 제공하는 시스템 및 방법
EP3468476B1 (en) * 2016-06-13 2022-11-16 Koninklijke Philips N.V. Optical monitoring of facial characteristics during the menstrual cycle of women
KR102497299B1 (ko) * 2016-06-29 2023-02-08 삼성전자주식회사 전자 장치 및 이의 제어 방법
SG10201608155TA (en) * 2016-09-29 2018-04-27 Creative Tech Ltd An apparatus for controlling lighting behavior of one or more lighting elements and a method therefor
US10950052B1 (en) 2016-10-14 2021-03-16 Purity LLC Computer implemented display system responsive to a detected mood of a person
EP3549002A4 (en) * 2016-11-30 2020-07-15 Microsoft Technology Licensing, LLC FEELING-BASED INTERACTION METHOD AND APPARATUS
CN107168134B (zh) * 2017-06-27 2020-08-11 福州大学 脑眼混合驱动的家电控制方法
US10159435B1 (en) * 2017-09-29 2018-12-25 Novelic D.O.O. Emotion sensor system
KR20190102803A (ko) 2018-02-27 2019-09-04 연세대학교 산학협력단 복합 생체정보 센서를 활용한 긍정적 정서 추론 장치 및 방법
KR20200093090A (ko) * 2019-01-07 2020-08-05 현대자동차주식회사 차량 및 그 제어방법
KR102569000B1 (ko) * 2019-01-16 2023-08-23 한국전자통신연구원 감성 적응형 UI(User Interface)를 제공하는 방법 및 장치
WO2020251585A1 (en) * 2019-06-14 2020-12-17 Hewlett-Packard Development Company, L.P. Headset signals to determine emotional states
KR20210020312A (ko) * 2019-08-14 2021-02-24 엘지전자 주식회사 로봇 및 그의 제어 방법
CN111904402A (zh) * 2020-09-07 2020-11-10 广东省建言智能系统有限公司 一种能感知情绪和调节情绪的文胸

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5377258A (en) * 1993-08-30 1994-12-27 National Medical Research Council Method and apparatus for an automated and interactive behavioral guidance system
US6001065A (en) * 1995-08-02 1999-12-14 Ibva Technologies, Inc. Method and apparatus for measuring and analyzing physiological signals for active or passive control of physical and virtual spaces and the contents therein
JP2001344352A (ja) * 2000-05-31 2001-12-14 Toshiba Corp 生活支援装置および生活支援方法および広告情報提供方法
US6623427B2 (en) * 2001-09-25 2003-09-23 Hewlett-Packard Development Company, L.P. Biofeedback based personal entertainment system
JP3846872B2 (ja) * 2002-06-27 2006-11-15 パイオニア株式会社 運転者精神状態情報提供システム
WO2005081185A1 (ja) * 2004-02-25 2005-09-01 Brother Kogyo Kabushiki Kaisha 推論情報作成装置、推論情報管理システム、推論情報作成システム、推論情報作成プログラム、推論情報作成プログラムをコンピュータに読取可能に記録した記録媒体、及び推論情報の作成方法
JP4215256B2 (ja) 2004-04-13 2009-01-28 日本電信電話株式会社 一体感を伝える通信システム
JP2005315802A (ja) * 2004-04-30 2005-11-10 Olympus Corp ユーザ支援装置
JP2008532587A (ja) * 2005-02-22 2008-08-21 ヘルス−スマート リミテッド 生理学的及び心理学的／生理学的モニタリングのための方法及びシステム並びにその使用
KR100825719B1 (ko) 2005-12-09 2008-04-29 한국전자통신연구원 복수의 감정 생성 로봇 및 로봇에서 복수의 감정 생성 방법
JP4509042B2 (ja) * 2006-02-13 2010-07-21 株式会社デンソー 自動車用もてなし情報提供システム
US8652040B2 (en) * 2006-12-19 2014-02-18 Valencell, Inc. Telemetric apparatus for health and environmental monitoring
US8157730B2 (en) * 2006-12-19 2012-04-17 Valencell, Inc. Physiological and environmental monitoring systems and methods
US20080208015A1 (en) * 2007-02-09 2008-08-28 Morris Margaret E System, apparatus and method for real-time health feedback on a mobile device based on physiological, contextual and self-monitored indicators of mental and physical health states
KR100962530B1 (ko) 2007-09-28 2010-06-14 한국전자통신연구원 생체신호 측정 장치 및 방법
KR100965380B1 (ko) 2008-01-16 2010-06-22 성균관대학교산학협력단 이동통신망을 이용한 화상 통화 시스템 및 화상 통화 방법
KR20090081885A (ko) 2008-01-25 2009-07-29 삼성전자주식회사 심박 검출장치 및 그 제어방법
JP4547721B2 (ja) * 2008-05-21 2010-09-22 株式会社デンソー 自動車用情報提供システム
US20100234692A1 (en) * 2009-03-13 2010-09-16 Bo-Jau Kuo System for health management used in vehicle and method thereof

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101527895B1 (ko) * 2014-12-15 2015-06-10 주식회사 진진 사용자의 모션을 인식하는 레이더 디텍터
KR20160146424A (ko) * 2015-06-12 2016-12-21 삼성전자주식회사 전자 장치 및 그 제어 방법

Also Published As

Publication number Publication date
US20110137137A1 (en) 2011-06-09
US8764656B2 (en) 2014-07-01
KR101303648B1 (ko) 2013-09-04

Similar Documents

Publication Publication Date Title
KR101303648B1 (ko) 감성신호 감지 장치 및 그 방법
US11670324B2 (en) Method for predicting emotion status and robot
US20110144452A1 (en) Apparatus and method for determining emotional quotient according to emotion variation
KR101307248B1 (ko) 사용자의 생체정보 분석을 통한 감정상태 분석장치 및 방법
CN102298694A (zh) 一种应用于远程信息服务的人机交互识别系统
CN110742595A (zh) 基于认知云系统的异常血压监护系统
CN117041807B (zh) 蓝牙耳机播放控制方法
CN112735418A (zh) 一种语音交互的处理方法、装置、终端及存储介质
CN108074581A (zh) 用于人机交互智能终端的控制系统
Simeone et al. Cloud-based platform for intelligent healthcare monitoring and risk prevention in hazardous manufacturing contexts
CN115206491A (zh) 睡眠干预设备控制方法、装置、存储介质及计算机设备
CN107610705A (zh) 一种根据年龄智能音色语音机器人
KR20120092316A (ko) 유비쿼터스 지능형 육아 서비스 및 맞춤형 교육 서비스 방법, 장치 및 기록 매체
CN112017740A (zh) 一种基于知识图谱的疾病推理方法、装置、设备及储存介质
JP3233390U (ja) 通知装置及びウェアラブル装置
Doukas et al. An assistive environment for improving human safety utilizing advanced sound and motion data classification
Jat et al. Speech-based automation system for the patient in orthopedic trauma ward
KR20230135844A (ko) 생체 및 감성 반응형 마스킹 사운드 자동 제어 장치, 방법 및 시스템
Istrate et al. Real time sound analysis for medical remote monitoring
US11393447B2 (en) Speech synthesizer using artificial intelligence, method of operating speech synthesizer and computer-readable recording medium
KR102122095B1 (ko) Ai컴패니언의 상황인지, 현황 및 표현 정보를 통신프로토콜을 이용하여 모니터링하는 인터페이스 시스템 및 그 방법
CN114533063B (zh) 一种多源监测结合的情感计算系统及方法
Al-Dhlan RETRACTED ARTICLE: An adaptive speech signal processing for COVID-19 detection using deep learning approach
JP2016029561A (ja) エージェント、プログラム
RU2408087C2 (ru) Система эмоциональной стабилизации речевых коммуникаций "эмос"

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160726

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170727

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190725

Year of fee payment: 7