KR20160029375A - 사용자의 생체신호를 모니터링 및 분석하는 장치 및 방법 - Google Patents

사용자의 생체신호를 모니터링 및 분석하는 장치 및 방법 Download PDF

Info

Publication number
KR20160029375A
KR20160029375A KR1020140118823A KR20140118823A KR20160029375A KR 20160029375 A KR20160029375 A KR 20160029375A KR 1020140118823 A KR1020140118823 A KR 1020140118823A KR 20140118823 A KR20140118823 A KR 20140118823A KR 20160029375 A KR20160029375 A KR 20160029375A
Authority
KR
South Korea
Prior art keywords
user
event
signal
emotion
monitoring
Prior art date
Application number
KR1020140118823A
Other languages
English (en)
Other versions
KR102302871B1 (ko
Inventor
이탁형
채영숙
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020140118823A priority Critical patent/KR102302871B1/ko
Priority to US14/691,074 priority patent/US9874862B2/en
Publication of KR20160029375A publication Critical patent/KR20160029375A/ko
Application granted granted Critical
Publication of KR102302871B1 publication Critical patent/KR102302871B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B15/00—Systems controlled by a computer
    • G05B15/02—Systems controlled by a computer electric
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A61B5/0004—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by the type of physiological signal transmitted
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802—Sensor mounted on worn items
    • A61B5/681—Wristwatch-type devices
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6887—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
    • A61B5/6898—Portable consumer electronic devices, e.g. music players, telephones, tablet computers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/01—Measuring temperature of body parts ; Diagnostic temperature sensing, e.g. for malignant or inflamed tissue
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/0205—Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/053—Measuring electrical impedance or conductance of a portion of the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/7475—User input or interface means, e.g. keyboard, pointing device, joystick

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Psychiatry (AREA)
  • Physiology (AREA)
  • Automation & Control Theory (AREA)
  • Psychology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Educational Technology (AREA)
  • Hospice & Palliative Care (AREA)
  • Child & Adolescent Psychology (AREA)
  • Social Psychology (AREA)
  • Multimedia (AREA)
  • Developmental Disabilities (AREA)
  • Cardiology (AREA)
  • Pulmonology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

생체신호를 모니터링 및 분석하는 방법 및 장치가 제공된다. 예를 들어, 생체신호를 모니터링하는 장치는 사용자로부터 생체신호를 측정하고, 상기 생체신호에 기초하여 상기 사용자와 연관된 감정 이벤트를 분석하며, 상기 감정 이벤트를 분석한 결과에 응답하여 제어 명령을 생성할 수 있다. 생성된 제어 명령은 외부 기기를 제어할 수 있다.

Description

사용자의 생체신호를 모니터링 및 분석하는 장치 및 방법{METHOD AND DEVICE TO MONITOR AND ANALYZING BIO SIGNAL OF USER}
이하, 생체신호를 모니터링 및 분석하는 장치 및 방법이 제공된다.
피보호자들(예를 들어, 어린이 및 노인 등)이 생활하는 공간(예를 들어, 어린이집 및 노인정 등)에서 피보호자들의 생활 모습을 알기 위해서 카메라가 피보호자들의 생활 상태와 연관된 영상을 촬영할 수 있다. 또한, 카메라가 유무선 통신(예를 들어, 인터넷)을 통해 보호자와 연결됨으로써, 촬영된 영상을 실시간으로 보호자가 확인할 수 있다.
다만, 카메라를 실시간으로 사용하는 경우, 피보호자의 생활 모습뿐만 아니라, 피보호자를 돌보는 사람의 모습도 함께 촬영될 수 있다. 따라서, 특별한 상황(예를 들어, 사고 또는 사건)이 발생하지 않는데도, 피보호자를 돌보는 사람의 모습이 계속적으로 촬영되기 때문에 피보호자를 돌보는 사람은 감시 받는 스트레스를 받을 수 있다.
또한 특별한 상황이 아닌데도 영상이 계속적으로 기록되므로, 불필요한 데이터가 양산되어 누적될 수 있다.
일 실시예에 따르면 사용자의 생체신호(bio-signal)를 모니터링하는 장치는 사용자로부터 생체신호를 측정하는 생체신호측정부(bio-signal measurer); 상기 생체신호에 기초하여 상기 사용자와 연관된 감정 이벤트(emotion event)를 분석하는 분석부(analyzer); 및 상기 감정 이벤트를 분석한 결과에 응답하여 제어 명령(control command)을 생성하는 명령 생성부(command generator)를 포함할 수 있다.
상기 명령 생성부는, 상기 감정 이벤트를 분석한 결과에 응답하여, 외부 기기가 미리 정한 동작을 수행하도록 제어하기 위한 제어 명령을 생성할 수 있다.
상기 명령 생성부는, 상기 감정 이벤트로부터 분석된 상기 사용자의 감정 상태(emotion state)에 응답하여, 상기 감정 상태에 대응하는 제어 명령을 생성할 수 있다.
생체신호를 모니터링하는 장치는 외부 기기로 상기 감정 이벤트와 연관된 이벤트 정보를 전송하는 통신부를 더 포함할 수 있다.
상기 명령 생성부는, 상기 감정 이벤트가 미리 정한 감정 상태로 판단되면, 상기 이벤트 정보를 전송하도록 상기 통신부를 제어하기 위한 제어 명령을 생성할 수 있다.
생체신호를 모니터링하는 장치는 상기 감정 이벤트를 분석한 결과에 응답하여, 상기 이벤트 정보를 생성하여 저장하는 저장부(storage)를 더 포함하고, 상기 명령 생성부는, 상기 이벤트 정보에 대한 상기 외부 기기의 접근 요청에 응답하여, 상기 이벤트 정보를 상기 외부 기기로 제공하도록 상기 통신부를 제어하기 위한 제어 명령을 생성할 수 있다.
생체신호를 모니터링하는 장치는 상기 사용자 및 상기 사용자의 주변 환경 중 적어도 하나와 연관된 영상 정보 및 소리 정보 중 적어도 하나를 기록하는 기록부(recorder); 및 상기 감정 이벤트가 미리 정한 감정 상태(predetermined emotion state)로 판단되면, 상기 감정 이벤트가 발생한 시간 구간에 대응하는 영상 정보 및 소리 정보 중 적어도 하나를 전송하는 통신부를 더 포함할 수 있다.
생체신호를 모니터링하는 장치는 상기 사용자의 모션 정보를 측정하는 모션 정보 측정부를 더 포함하고, 상기 분석부는, 상기 모션 정보와 연관된 생체신호 변화에 기초하여 상기 감정 이벤트를 판단할 수 있다.
생체신호를 모니터링하는 장치는 상기 사용자의 위치 정보를 측정하는 위치 정보 측정부를 더 포함하고, 상기 분석부는, 상기 위치 정보에 기초하여 상기 감정 이벤트를 판단할 수 있다.
상기 생체신호는, 생체전기신호(예를 들어, ExG, ECG(electrocardiogram), EEG(Electroencephalogram), EMG(electromyography), EOG(electrooculogram) 등), 생체광학신호, 피부 온도 신호, 생체임피던스신호, 및 압력 신호(예를 들어, 혈압, 호흡에 의한 흉곽의 체면적 변화 등) 중 적어도 하나를 포함할 수 있다.
일 실시예에 따르면 사용자의 생체신호를 분석하는 장치는 사용자로부터 측정된 생체신호를 수신하는 통신부; 상기 생체신호에 기초하여 상기 사용자와 연관된 감정 이벤트를 분석하는 분석부; 및 상기 감정 이벤트에 응답하여 상기 장치 및 외부 기기 중 적어도 하나를 제어하기 위한 제어 명령을 생성하는 명령 생성부를 포함할 수 있다.
상기 명령 생성부는, 상기 감정 이벤트로부터 분석된 상기 사용자의 감정 상태에 응답하여, 상기 감정 상태에 대응하는 동작을 상기 장치 및 상기 외부 기기 중 적어도 하나가 수행하도록 제어하기 위한 제어 명령을 생성할 수 있다.
일 실시예에 따르면 사용자의 생체신호를 모니터링하는 방법은 사용자로부터 생체신호를 측정하는 단계; 상기 생체신호에 기초하여 상기 사용자와 연관된 감정 이벤트를 분석하는 단계; 및 상기 감정 이벤트를 분석한 결과에 응답하여 제어 명령을 생성하는 단계를 포함할 수 있다.
상기 제어 명령을 생성하는 단계는, 상기 감정 이벤트를 분석한 결과에 응답하여, 외부 기기가 미리 정한 동작을 수행하도록 제어하기 위한 제어 명령을 생성하는 단계를 포함할 수 있다.
상기 제어 명령을 생성하는 단계는, 상기 감정 이벤트로부터 분석된 상기 사용자의 감정 상태에 응답하여, 상기 감정 상태에 대응하는 제어 명령을 생성하는 단계를 포함할 수 있다.
생체신호를 모니터링하는 방법은 외부 기기로 상기 감정 이벤트와 연관된 이벤트 정보를 전송하는 단계를 더 포함할 수 있다.
상기 이벤트 정보를 전송하는 단계는, 상기 감정 이벤트가 미리 정한 감정 상태로 판단되면, 상기 이벤트 정보를 전송하는 단계를 포함할 수 있다.
생체신호를 모니터링하는 방법은 상기 감정 이벤트를 분석한 결과에 응답하여, 상기 이벤트 정보를 생성하여 저장하는 단계를 더 포함하고, 상기 이벤트 정보를 전송하는 단계는, 상기 이벤트 정보에 대한 상기 외부 기기의 접근 요청에 응답하여, 상기 이벤트 정보를 상기 외부 기기로 제공하는 단계를 포함할 수 있다.
생체신호를 모니터링하는 방법은 상기 사용자 및 상기 사용자의 주변 환경 중 적어도 하나와 연관된 영상 정보 및 소리 정보 중 적어도 하나를 기록하는 단계; 및 상기 감정 이벤트가 미리 정한 감정 상태로 판단되면, 상기 감정 이벤트가 발생한 시간 구간에 대응하는 영상 정보 및 소리 정보 중 적어도 하나를 전송하는 단계를 더 포함할 수 있다.
생체신호를 모니터링하는 방법은 상기 사용자의 모션 정보 및 위치 정보 중 적어도 하나를 측정하는 단계를 더 포함하고, 상기 감정 이벤트를 분석하는 단계는, 상기 모션 정보 및 상기 위치 정보 중 적어도 하나와 연관된 생체신호 변화에 기초하여 상기 감정 이벤트를 판단하는 단계를 포함할 수 있다.
도 1은 일 실시예에 따른 생체신호를 모니터링하는 시스템을 도시한 도면이다.
도 2 및 도 3은 일 실시예에 따른 사용자의 생체신호를 모니터링하는 장치를 도시한 블럭도이다.
도 4는 일 실시예에 따른 생체신호측정부를 도시한 도면이다.
도 5는 일 실시예에 따른 모션정보측정부를 도시한 도면이다.
도 6은 일 실시예에 따른 기록부를 도시한 도면이다.
도 7은 일 실시예에 따른 생체신호를 분석하는 시스템을 도시한 도면이다.
도 8은 일 실시예에 따른 생체신호를 모니터링하는 방법을 도시한 흐름도이다.
도 9는 일 실시예에 따른 감정 이벤트를 분석한 결과에 응답하여 제어 명령을 생성하는 방법을 도시한 흐름도이다.
도 10은 일 실시예에 따른 사용자의 생체신호를 모니터링하는 장치의 예시를 도시한 도면이다.
이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다.
이하, 본 명세서에서 피보호자는 보호자의 보호가 필요한 사람을 나타낼 수 있다. 예를 들어 피보호자는 의사 표현이 용이하지 않은 사람을 포함할 수 있다. 의사 표현이 용이하지 않은 사람은 자신의 감정 상태 및 특정 사건이 발생한 상황 등을 타인에게 알리기 어려울 수 있다. 예를 들어, 어린이는 유아시기부터 어린이집이나 유치원 등에 맡겨지고, 보호자(예를 들어, 부모)는 어린이들이 어린이집이나 유치원에서 어떻게 생활하는지 궁금해할 수 있다.
부모는 어린이의 어린이집에서의 생활 모습 또는 집에서의 보모가 어린이를 돌보는 모습을 모니터링하기 위해 CCTV 또는 IP 카메라(IP camera) 등을 설치할 수 있다. 부모는 실시간 또는 특정 시간대의 자녀들의 생활 모습을 모니터링할 수 있다. 다만, 보모의 모습이 실시간으로 계속 촬영되면서, 보모는 감시 당한다는 스트레스를 받을 수 있다. 이러한 스트레스로 인해, 피보호자를 돌보는 사람은 영상을 이용한 모니터링 시스템을 선호하지 않을 수 있다.
도 1은 일 실시예에 따른 생체신호를 모니터링하는 시스템을 도시한 도면이다.
일 실시예에 따르면, 피보호자의 생체신호를 기반으로 피보호자가 생활하는 동안 발생하는 감정 이벤트를 인식하여, 피보호자에게 발생한 감정 이벤트를 보호자에게 알릴 수 있다. 이하, 본 명세서에서 피보호자는 사용자로 나타낼 수 있다. 예를 들어, 어린이집이나 보모에게 맡겨졌을 때 어린이가 정신적으로 안 좋은 사건 및 상태를 경험하는 지 여부를 부모에게 원격으로 전달할 수 있다.
이하, 본 명세서에서 감정 이벤트(emotion event)는 감정의 변화가 일어나는 이벤트를 나타낼 수 있고, 감정 상태(emotion state)는 사용자의 현재 감정의 상태를 나타낼 수 있다. 예를 들어, 감정 상태는 사용자의 감정이 긍정적인지 부정적인지 여부 및 흥분도(irritation) 등에 따라 분류될 수 있다. 예를 들어, 감정 상태는 분노, 무료함, 기쁨, 슬픔 및 스트레스 등을 포함할 수 있다. 다만, 감정 상태의 분류를 이로 한정하는 것은 아니고, 다양한 분류 체계가 적용될 수 있다.
이하, 본 명세서에서 생체신호는 사용자의 생체로부터 측정되는 신호로서, 생체전기신호(예를 들어, ExG, ECG(electrocardiogram), EEG(Electroencephalogram), EMG(electromyography), EOG(electrooculogram) 등), 생체광학신호, 피부 온도 신호, 생체임피던스신호, 및 압력 신호(예를 들어, 혈압, 호흡에 의한 흉곽의 체면적 변화 등) 중 적어도 하나를 포함할 수 있다.
생체신호를 모니터링하는 시스템(100)은 사용자의 생체신호를 모니터링하는 장치(110) 및 외부 기기(120)를 포함할 수 있다.
생체신호를 모니터링하는 장치(110)는 사용자로부터 생체신호를 측정한다. 생체신호를 모니터링하는 장치(110)는 측정된 생체신호를 사용자에게 발생한 감정 이벤트를 분석하는데 사용할 수 있다. 여기서, 생체신호를 모니터링하는 장치(110)는 감정 이벤트로부터 사용자가 느끼는 감정 상태를 분석할 수 있다. 도 1에서 생체신호를 모니터링하는 장치(110)는 웨어러블 장치(wearable device)로 예시적으로 도시되었으나, 이로 한정하는 것은 아니고 생체신호를 측정하여 분석할 수 있는 모든 전자 장치를 포함할 수 있다.
예를 들어, 사람의 감정 상태의 변화는 생체신호 변화(예를 들어, 심박수가 빨라지거나, 체온의 상승, 및 피부의 땀 증가 등)를 유발할 수 있다. 따라서 사람의 생체 신호로부터, 사람의 감정 상태가 추정될 수 있다. 예를 들어, 사용자가 아무런 감정도 느끼지 않는 상태에서의 생체신호를 기준으로, 생체신호를 모니터링하는 장치(110)는 상술한 생체신호 변화를 검출하여 감정 이벤트를 분석할 수 있다.
상술한 바와 같이, 감정 표현이나 의사소통에 서툰 어린이들을 대상으로 생체신호를 측정하여, 어린이들의 감정 상태를 추정할 수 있다. 부모들은 어린이들의 생체신호가 모니터링된 데이터로부터, 부모가 직접 돌보지 않는 상태에서도 어린이들이 어떤 감정 상태로 하루를 보냈는지 파악할 수 있다. 아이를 돌보는 사람의 감시 받는 스트레스가 감소되면서도, 아이를 맡긴 부모는 아이의 하루 동안의 감정 상태를 파악할 수 있다.
또한, 사용자의 생체신호를 모니터링하는 하는 장치는 사용자의 생체신호로부터 분석된 감정 이벤트에 응답하여, 외부 기기(120)를 제어할 수 있다. 여기서, 외부 기기는 사용자의 감정 상태에 응답하여 부가 기능을 수행하기 위한 기기를 포함할 수 있다. 예를 들어, 외부 기기(120)가 음악을 재생하는 경우 외부 기기(120)는 사용자의 감정 상태에 따라 음량을 조절하거나 특정 노래를 선곡하도록 제어될 수 있다. 또한, 외부 기기(120)가 조명 기기인 경우, 외부 기기(120)는 사용자의 감정 상태에 따라 광량을 조절하도록 제어될 수 있다.
도 1에는 외부 기기(120)가 스마트폰으로 예시적으로 도시되었으나, 이로 한정하는 것은 아니고, 부가 기능을 수행할 수 있는 모든 전자 기기를 포함할 수 있다.
이하, 본 명세서에서 부가 기능은 사용자의 감정 상태에 응답하여 사용자의 감정에 영향을 미치기 위한 기능을 나타낼 수 있고, 부가 기능은 생체신호를 모니터링하는 장치(110), 외부 기기(120) 및 생체신호를 분석하는 장치(도 7의 710) 등에 의해 수행될 수 있다. 예를 들어, 부가 기능은 사용자가 부정적인 감정 상태에 있는 경우, 사용자가 긍정적인 감정 상태가 되도록 음량이 조절되거나 음악이 선곡되는 동작을 포함할 수 있다. 다른 예를 들어, 부가 기능은 사용자가 흥분 상태에 있는 경우, 사용자가 안정 상태가 되도록 조명의 광량이 감소되는 동작을 포함할 수 있다.
도 2 및 도 3은 일 실시예에 따른 사용자의 생체신호를 모니터링하는 장치를 도시한 블럭도이다.
도 2는 사용자의 생체신호를 모니터링하는 장치(200)의 개괄적인 구성을 도시한 블럭도이다.
사용자의 생체 신호를 모니터링하는 장치(200)는 생체신호측정부(bio-signal measurer)(210), 분석부(analyzer)(221) 및 명령 생성부(command generator)(222)를 포함한다.
생체신호측정부(210)는 사용자로부터 생체신호를 측정할 수 있다. 여기서, 생체신호는 사용자의 생체와 연관된 신호로서, 생체전기신호(예를 들어, ExG, ECG(electrocardiogram), EEG(Electroencephalogram), EMG(electromyography), EOG(electrooculogram) 등), 생체광학신호, 피부 온도 신호, 생체임피던스신호, 및 압력 신호(예를 들어, 혈압, 호흡에 의한 흉곽의 체면적 변화 등) 등을 포함할 수 있다. 예를 들어, 생체신호측정부(210)는 사용자의 인체와 간접 접촉(indirect contact)하여 상술한 생체신호를 측정할 수 있다. 구체적으로는 하기 도 4 및 도 10에서 상세히 설명한다.
분석부(221)는 생체신호에 기초하여 사용자와 연관된 감정 이벤트(emotion event)를 분석할 수 있다. 여기서, 분석부(221)는 생체신호로부터 미리 정한 범위에 대응하는 변화 또는 특정 패턴에 대응하는 변화를 검출할 수 있다. 사용자와 연관된 감정 이벤트는 상술한 생체신호가 미리 정한 범위의 변화를 나타내는 이벤트 또는 생체신호가 특정 패턴의 변화를 나타내는 이벤트를 포함할 수 있다.
예를 들어, 분석부(221)는 생체신호측정부(210)에서 현재 측정된 혈압 또는 체온이 기준값(예를 들어, 사용자가 아무 감정도 느끼지 않는 상태에서 측정된 값) 또는 산출된 평균값(예를 들어, 모니터링하는 동안 일정 시간 구간에서의 평균)보다 소정 레벨 이상 높으면 "흥분 또는 분노" 등으로 인식하고, 생체신호측정부(210)에서 현재 측정된 피부 저항이 소정의 기준값 또는 평균값보다 소정 레벨만큼 낮으면 "긴장"등으로 인식할 수 있다. 이는, 긴장 시에는 땀이 평소보다 많이 분비되고, 땀이 많이 분비되면 피부저항은 떨어지기 때문이다. 이러한 인식되는 신체와 감정의 상태들은 실험을 통하여 여러 가지로 추가 또는 변경될 수 있다. 또한, 인식된 상태들의 조합에 의해 신뢰성이 더욱 높은 인식 데이터를 얻을 수도 있다.
또한, 분석부(221)는 피부 온도, 피부 저항도, 심전도의 주파수 및 호흡에 따른 심전도에 대한 생체신호들을 이용하여 감정 상태가 무료함인 것을 인식할 수 있다. 분석부(221)는 피부 저항도 및 호흡에 따른 심전도에 대한 생체신호들을 이용하여 감정 상태가 분노인 것을 인식할 수 있다. 분석부(221)는 심장의 박동 횟수, 심전도의 주파수 및 호흡률에 대한 생체신호들을 이용하여 감정 상태가 기쁨인 것을 인식할 수 있다. 분석부(221)는 심장의 박동 횟수 및 피부 저항도에 대한 생체신호들을 이용하여 감정 상태가 슬픔인 것을 인식할 수 있다. 분석부(221)는 피부 저항도에 대한 생체신호들을 이용하여 감정 상태가 스트레스인 것을 인식할 수 있다.
명령 생성부(222)는 감정 이벤트를 분석한 결과에 응답하여 제어 명령(control command)을 생성할 수 있다. 여기서, 감정 이벤트를 분석한 결과는, 감정 이벤트가 발생한 시각, 장소, 사용자의 감정 상태 등을 포함할 수 있다. 제어 명령은 사용자의 생체신호를 모니터링하는 장치 및 외부 기기 중 적어도 하나를 제어하기 위한 명령으로서, 디지털 또는 아날로그 형태의 데이터로서 생성될 수 있다.
예를 들어, 명령 생성부(222)는 감정 이벤트를 분석한 결과에 응답하여, 외부 기기가 미리 정한 동작을 수행하도록 제어하기 위한 제어 명령을 생성할 수 있다. 외부 기기가 음악을 재생할 수 있는 경우, 제어 명령은 사용자의 감정 상태에 따라 음량이 조절되거나 특정 노래가 선택되도록 제어하는 명령을 포함할 수 있다. 외부 기기가 조명 기기인 경우, 제어 명령은 사용자의 감정 상태에 따라 광량이 조절되도록 제어하는 명령을 포함할 수 있다.
또한, 명령 생성부(222)는 감정 이벤트로부터 분석된 사용자의 감정 상태(emotion state)에 응답하여, 해당 감정 상태에 대응하는 제어 명령을 생성할 수 있다. 예를 들어, 명령 생성부(222)는 사용자의 감정 상태가 부정적인 경우 사용자의 감정이 긍정적으로 변화되도록 유도하기 위한 동작을 생체신호를 모니터링하는 장치 및 외부 기기가 수행하도록 제어하기 위한 제어 명령을 생성할 수 있다. 또한, 제어 명령은 사용자의 감정 상태가 긍정적인 경우 사용자의 긍정적인 감정이 유지되도록 유도하기 위한 동작을 수행하도록 제어하기 위한 명령을 포함할 수 있다.
예를 들어, 사용자의 감정 상태가 분노 상태라면, 명령 생성부(222)는 조명의 광량 또는 재생 중인 음악의 음량이 감소되도록 제어하는 제어 명령을 생성할 수 있다.
도 3은 사용자의 생체신호를 모니터링하는 장치(300)의 세부적인 구성을 도시한 블럭도이다.
사용자의 생체신호를 모니터링하는 장치(300)는 생체신호측정부(310), 분석부(321), 명령 생성부(322), 통신부(330), 저장부(340), 기록부(350), 모션 정보 측정부(360), 위치 정보 측정부(370), 및 디스플레이(380)를 포함할 수 있다. 생체신호측정부(310), 분석부(321), 명령 생성부(322)는 도 2에 도시된 생체신호측정부(210), 분석부(221) 및 명령 생성부(222)와 유사하게 구성될 수 있다.
MCU(Micro Control Unit)(320)는 분석부(321) 및 명령 생성부(322)를 포함할 수 있다. 예를 들어, 생체신호측정부(310)에서 측정된 생체신호는 MCU(320)로 전달되어, MCU(320)에서 분석될 수 있다. 다른 예를 들어, 생체신호는 통신부(330)를 통해 외부의 생체신호를 분석하는 장치로 전달되어 분석될 수 있다.
통신부(330)는 외부 기기로 감정 이벤트와 연관된 이벤트 정보를 전송할 수 있다. 예를 들어, 통신부(330)는 유선 또는 무선 통신을 통해 외부 기기와 연결될 수 있다. 여기서, 유선 통신은 데이터를 전달하기 위한 인터페이스(예를 들어, USB)를 포함할 수 있다. 예를 들어, 외부 기기는 보호자 등이 상술한 이벤트 정보를 전달받기 위한 관리자 단말을 포함할 수 있다. 감정 이벤트와 연관된 이벤트 정보는 감정 이벤트에 대응하는 영상 정보, 소리 정보, 감정 정보 및 생체 정보 등을 포함할 수 있다.
감정 이벤트에 대응하는 영상 정보는 감정 이벤트가 발생한 사용자 자신 및 사용자 주변의 영상을 포함할 수 있다. 감정 이벤트에 대응하는 소리 정보는 감정 이벤트가 발생한 사용자 자신 및 사용자 주변의 소리를 포함할 수 있다. 감정 이벤트에 대응하는 감정 정보는 감정 이벤트가 발생한 때의 사용자의 감정 상태를 포함할 수 있다. 감정 이벤트에 대응하는 생체 정보는 감정 이벤트가 발생한 때의 사용자의 생체신호를 포함할 수 있다.
명령 생성부(322)는, 감정 이벤트가 미리 정한 감정 상태로 판단되면, 이벤트 정보를 전송하도록 통신부(330)를 제어하기 위한 제어 명령을 생성할 수 있다. 예를 들어, 감정 이벤트가 부정적인 감정 상태로 분석되면, 명령 생성부(322)는 외부 기기로 상술한 이벤트 정보를 전송할 수 있다.
저장부(340)는 감정 이벤트를 분석한 결과에 응답하여, 이벤트 정보를 생성하여 저장할 수 있다. 예를 들어, 저장부(340)는 감정 이벤트가 발생한 경우, 해당 감정 이벤트에 대응하는 이벤트 정보를 생성하여 저장할 수 있다. 또한 저장부(340)는 생체신호를 실시간으로 저장할 수도 있다.
명령 생성부(322)는 이벤트 정보에 대한 외부 기기의 접근 요청에 응답하여, 이벤트 정보를 외부 기기로 제공하도록 통신부(330)를 제어하기 위한 제어 명령을 생성할 수 있다. 접근 요청은 외부 기기로부터 수신될 수 있다. 예를 들어, 명령 생성부(322)는 접근 요청이 정당한 것으로 인증되는 경우에 응답하여, 이벤트 정보를 외부 기기로 제공할 수 있다.
예를 들어, 생체신호를 모니터링하는 장치는 감정 이벤트가 발생할 때마다 이벤트 정보를 전송하는 대신, 저장하는 동작을 반복하고 접근 요청이 있는 경우에만 이벤트 정보를 전송할 수 있다. 이를 통해 소모 전력이 최소화되어 사용시간이 극대화될 수 있다. 또한, 생체신호를 모니터링하는 장치는 기록부(350)를 포함하지 않거나, 통신부(330)에서 무선 통신 기능이 배제됨으로써, 가장 단순한 형태로 사용자의 생체신호 및 감정 상태만을 저장하도록 구성되어, 휴대용 기기의 크기가 최소화될 수 있다.
기록부(350)는 사용자 및 사용자의 주변 환경 중 적어도 하나와 연관된 영상 정보 및 소리 정보 중 적어도 하나를 기록할 수 있다. 기록된 영상 정보 및 소리 정보는 이벤트 정보로서 저장부(340)에 저장될 수 있다. 여기서, 통신부(330)는 감정 이벤트가 미리 정한 감정 상태(predetermined emotion state)로 판단되면, 감정 이벤트가 발생한 시간 구간에 대응하는 영상 정보 및 소리 정보 중 적어도 하나를 전송할 수 있다. 예를 들어, 미리 정한 감정 상태는 부정적인 감정 상태, 긍정적인 감정 상태, 흥분한 감정 상태, 안정된 감정 상태 등을 포함할 수 있다. 이 때, 외부 기기를 소지한 보호자는 사용자(예를 들어, 피보호자)가 부정적인 감정을 느끼는 때, 사용자 및 사용자의 주변 환경과 연관된 영상 및 소리를 제공받을 수 있다.
모션 정보 측정부(360)는 사용자의 모션 정보를 측정할 수 있다. 여기서, 모션 정보는 사용자의 움직임과 관련된 정보로서, 사용자의 가속도(예를 들어, 3축에 대한 가속도 또는 6축에 대한 가속도), 사용자에게 영향을 미치는 지축의 자기장, 사용자의 평형 상태 등을 포함할 수 있다. 이 때, 분석부(321)는 모션 정보와 연관된 생체신호 변화에 기초하여 감정 이벤트를 판단할 수 있다. 예를 들어, 분석부(321)는 모션 정보로부터 사용자의 움직임과 연관된 생체신호 변화를 배제하고 생체신호를 분석함으로써 보다 정확하게 감정 이벤트를 분석할 수 있다.
위치 정보 측정부(370)는 사용자의 위치 정보를 측정할 수 있다. 예를 들어, 위치 정보 측정부(370)는 GPS(Global Positioning System)를 통해 사용자의 위치 정보를 측정할 수 있다. 이 때, 분석부(321)는 위치 정보에 기초하여 감정 이벤트를 판단할 수 있다. 예를 들어, 분석부(321)는 위치 정보로부터 사용자의 감정과 연관되지 않은 생체신호 변화를 배제하고 생체신호를 분석함으로써 보다 정확하게 감정 이벤트를 분석할 수 있다. 예를 들어, 사용자가 운동장에 있는 경우, 사용자는 운동을 하고 있을 가능성이 높으므로 운동에 의한 생체신호 변화를 배제하고 생체신호를 분석할 수 있다.
디스플레이(380)는 이벤트 정보를 디스플레이할 수 있다. 예를 들어, 디스플레이(380)는 사용자의 생체 정보 및 감정 정보 등을 디스플레이할 수 있다.
도 4는 일 실시예에 따른 생체신호측정부를 도시한 도면이다.
생체신호측정부(410)는 사용자로부터 생체신호를 측정하는 센서로서, 도 4에 도시된 센서들을 포함할 수 있다. 예를 들어, 생체신호측정부(410)는 ECG 센서(411), PPG 센서(412), 온도 센서(413), GSR 센서(414), 및 압전 센서(415) 등을 포함할 수 있다. ECG 센서(411)는 심장에서 발생되는 전기 신호인 ECG(electrocardiogram) 신호를 센싱하고, PPG 센서(412)는 혈류의 흐름에 의해 변화하는 광신호인 PPG(Photoplethymogram) 신호를 센싱하며, 온도 센서(413)는 피부 표면의 온도를 센싱하고, GSR 센서(414)는 피부 표면의 임피던스인 GSR(Galvanic skin reponse) 신호를 센싱하며, 압전 센서(415)를 피부에 부착된 센서 표면의 압력 변화인 압전기(Piezoelectric) 신호를 센싱할 수 있다.
도 5는 일 실시예에 따른 모션정보측정부를 도시한 도면이다.
모션정보측정부(560)는 사용자의 움직임을 측정하기 위한 센서로서 도 5에 도시된 센서들을 포함할 수 있다. 예를 들어, 모션정보측정부(560)는 가속도계(561), 자이로 센서(562) 및 지자기 센서(563)를 포함할 수 있다. 가속도계(561)는 사용자의 가속도를 센싱하고, 자이로 센서(562)는 사용자의 평형 상태를 센싱하며, 지자기 센서(563)는 사용자에게 영향이 미치는 지축의 자기장을 센싱할 수 있다.
상술한 모션정보들은 도 3의 분석부(321)가 감정 외의 요인에 의한 생체신호 변화를 배제하는데 사용될 수 있다.
도 6은 일 실시예에 따른 기록부를 도시한 도면이다.
기록부(650)는 마이크(MIC)(651) 및 카메라(652)를 포함할 수 있다. 마이크(651)는 사용자 및 사용자 주변의 소리를 기록할 수 있다. 카메라(652)는 사용자 및 사용자 주변의 영상을 기록할 수 있다. 여기서, 기록부(650)는 생체신호를 모니터링하는 장치에 내장되거나 독립적인 외부 기기로서 구성될 수 있다.
도 7은 일 실시예에 따른 생체신호를 분석하는 시스템을 도시한 도면이다.
생체신호를 분석하는 시스템(700)은 생체신호측정장치(701), 사용자의 생체신호를 분석하는 장치(710) 및 외부 기기(720)를 포함할 수 있다.
생체신호측정장치(701)는 사용자의 생체신호를 측정하는 장치로서, 측정된 생체신호를 사용자의 생체신호를 분석하는 장치(710)로 전송할 수 있다. 예를 들어, 생체신호측정장치(701)는 생체신호를 가공(예를 들어, 잡음 제거 및 압축 등)하여 전송할 수도 있다.
사용자의 생체신호를 분석하는 장치(710)는 통신부(711), 분석부(712) 및 명령 생성부(713)를 포함할 수 있다.
통신부(711)는 사용자로부터 측정된 생체신호를 생체신호측정장치(701)로부터 수신할 수 있다. 예를 들어, 통신부(711)는 유선 통신 또는 무선 통신을 통해 생체신호를 수신할 수 있다.
분석부(712)는 생체신호에 기초하여 사용자와 연관된 감정 이벤트를 분석할 수 있다.
명령 생성부(713)는 감정 이벤트에 응답하여 장치(710) 및 외부 기기(720) 중 적어도 하나를 제어하기 위한 제어 명령을 생성할 수 있다. 여기서, 명령 생성부(713)는 감정 이벤트로부터 분석된 사용자의 감정 상태에 응답하여, 감정 상태에 대응하는 동작을 장치(710) 및 외부 기기(720) 중 적어도 하나가 수행하도록 제어하기 위한 제어 명령을 생성할 수 있다.
예를 들어, 사용자의 생체신호를 분석하는 장치(710)가 부가 기능을 제공하는 경우, 명령 생성부(713)는 해당 장치(710)가 특정 감정 상태에 대응하는 부가 기능을 수행하도록 제어하기 위한 제어 명령을 생성할 수 있다. 다른 예를 들어, 외부 기기(720)가 부가 기능을 제공하는 경우, 명령 생성부(713)는 외부 기기(720)가 특정 감정 상태에 대응하는 부가 기능을 수행하도록 제어하기 위한 제어 명령을 생성할 수 있다.
도 8은 일 실시예에 따른 생체신호를 모니터링하는 방법을 도시한 흐름도이다.
우선, 단계(810)에서는 생체신호측정부가 생체신호를 측정할 수 있다. 각 센서들에서 측정 된 생체신호들은 MCU로 전송되어, 사용자의 감정 상태를 판단하는데 사용될 수 있다.
그리고 단계(820)에서는 분석부가 생체신호에 기초하여 감정 이벤트를 분석할 수 있다. 생체신호가 분석된 결과를 포함하는 이벤트 정보 및 측정된 생체신호는 저장부에 저장될 수 있다. 여기서, 분석부는 사용자의 모션 정보 및 위치 정보와 연관된 생체신호 변화에 기초하여 감정 이벤트를 판단할 수 있다.
이어서 단계(830)에서는 명령 생성부가 감정 이벤트를 분석한 결과에 응답하여 제어 명령을 생성할 수 있다. 명령 생성부는 감정 이벤트를 분석한 결과에 응답하여, 외부 기기가 미리 정한 동작을 수행하도록 제어하기 위한 제어 명령을 생성할 수 있다. 미리 정한 동작은 부가 기능을 수행하도록 하는 동작을 나타낼 수 있다.
일 실시예에 따르면, 명령 생성부는 분석된 감정 이벤트가 부정적인 감정 상태로 판단된 경우, 부가 기능 중 적어도 하나를 동작시키도록 하는 제어 명령을 생성할 수 있다. 예를 들어, 부가 기능은 무선 통신 기능을 이용한 알람 기능(예를 들어, 보호자에게 피보호자의 감정 상태를 경고), 사용자 또는 사용자 주변의 영상 및 소리 기록 및 전송 기능 등을 포함할 수 있다. 또한, 부가 기능은 무선 통신 기능을 통해 제3자(예를 들어, 보호자 등)의 외부 기기와 연결되어 감정 이벤트와 연관된 이벤트 정보를 전송하는 기능을 포함할 수 있다.
도 9는 일 실시예에 따른 감정 이벤트를 분석한 결과에 응답하여 제어 명령을 생성하는 방법을 도시한 흐름도이다.
상술한 도 8의 단계(830)은 하기와 같이 수행될 수 있다.
우선 단계(931)에서는 분석부가 감정 이벤트가 미리 정한 감정 상태인 지 판단할 수 있다. 예를 들어, 분석부는 사용자의 생체신호로부터 사용자의 감정 상태가 미리 정한 감정 상태(예를 들어, 긍정/부정 및 흥분/안정 상태)인 지를 판단할 수 있다. 여기서, 사용자의 감정 상태에서 긍정적인 정도(level), 부정적인 정도, 흥분된 정도, 및 안정된 정도는 복수로 분류될 수 있다.
그리고 단계(932)에서는 명령 생성부가 미리 정한 감정 상태에 대응하는 제어 명령을 생성할 수 있다. 예를 들어, 명령 생성부는 감정 이벤트가 미리 정한 감정 상태로 판단되면, 이벤트 정보를 전송하는 제어 명령을 생성할 수 있다. 명령 생성부는 감정 이벤트가 미리 정한 감정 상태로 판단되면 이벤트 정보를 생성하여 저장하는 제어 명령을 생성할 수 있다. 명령 생성부는 감정 이벤트가 미리 정한 감정 상태로 판단되면, 감정 이벤트가 발생한 시간 구간에 대응하는 영상 정보 및 소리 정보 중 적어도 하나를 전송하는 제어 명령을 생성할 수 있다.
이어서 단계(940)에서는 외부 기기, 생체신호를 모니터링하는 장치 및 생체신호를 분석하는 장치가 제어 명령에 기초한 동작을 수행할 수 있다. 예를 들어, 외부 기기, 생체신호를 모니터링하는 장치 및 생체신호를 분석하는 장치 중 적어도 하나는 상술한 단계(932)의 각각의 제어 명령에 기초한 동작을 수행할 수 있다. 다만, 제어 명령을 이로 한정하는 것은 아니고 사용자의 감정 상태에 응답하여 생성된 모든 제어 명령이 포함될 수 있다.
도 10은 일 실시예에 따른 사용자의 생체신호를 모니터링하는 장치의 예시를 도시한 도면이다.
예를 들어, 생체신호를 모니터링하는 장치(1000)는 웨어러블 장치의 형태로 구성될 수 있다. 도 10에 도시된 생체신호를 모니터링하는 장치(1000)는 손목에 착용하는 시계 형태의 장치로서, 장치(1000)의 아래쪽(예를 들어, 피부 접촉면)에 생체신호를 측정하기 위한 각종 센서가 부착될 수 있다. 예를 들어, 각종 센서는 ECG 센서(1011), PPG 센서(1012), 온도 센서(1013), 및 GSR 센서(1014)를 포함할 수 있다.
생체신호를 모니터링하는 장치(1000)는 본체와 스트랩(strap) 부분으로 분리될 수 있고, 생체신호를 측정하기 위한 전극 또는 피부 접촉 부분들은 스트랩 또는 본체에 위치될 수 있다. 또한, 스트랩은 고무, 플라스틱, 전도성 섬유, 및 일반 섬유 재질로 구성 될 수 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.
110: 사용자의 생체신호를 모니터링하는 장치
120: 외부 기기

Claims (20)

  1. 사용자의 생체신호(bio-signal)를 모니터링하는 장치에 있어서,
    사용자로부터 생체신호를 측정하는 생체신호측정부(bio-signal measurer);
    상기 생체신호에 기초하여 상기 사용자와 연관된 감정 이벤트(emotion event)를 분석하는 분석부(analyzer); 및
    상기 감정 이벤트를 분석한 결과에 응답하여 제어 명령(control command)을 생성하는 명령 생성부(command generator)
    를 포함하는 사용자의 생체신호를 모니터링하는 장치.
  2. 제1항에 있어서,
    상기 명령 생성부는,
    상기 감정 이벤트를 분석한 결과에 응답하여, 외부 기기가 미리 정한 동작을 수행하도록 제어하기 위한 제어 명령을 생성하는,
    사용자의 생체신호를 모니터링하는 장치.
  3. 제1항에 있어서,
    상기 명령 생성부는,
    상기 감정 이벤트로부터 분석된 상기 사용자의 감정 상태(emotion state)에 응답하여, 상기 감정 상태에 대응하는 제어 명령을 생성하는
    사용자의 생체신호를 모니터링하는 장치.
  4. 제1항에 있어서,
    외부 기기로 상기 감정 이벤트와 연관된 이벤트 정보를 전송하는 통신부
    를 더 포함하는 사용자의 생체신호를 모니터링하는 장치.
  5. 제4항에 있어서,
    상기 명령 생성부는,
    상기 감정 이벤트가 미리 정한 감정 상태로 판단되면, 상기 이벤트 정보를 전송하도록 상기 통신부를 제어하기 위한 제어 명령을 생성하는,
    사용자의 생체신호를 모니터링하는 장치.
  6. 제4항에 있어서,
    상기 감정 이벤트를 분석한 결과에 응답하여, 상기 이벤트 정보를 생성하여 저장하는 저장부(storage)
    를 더 포함하고,
    상기 명령 생성부는,
    상기 이벤트 정보에 대한 상기 외부 기기의 접근 요청에 응답하여, 상기 이벤트 정보를 상기 외부 기기로 제공하도록 상기 통신부를 제어하기 위한 제어 명령을 생성하는,
    사용자의 생체신호를 모니터링하는 장치.
  7. 제1항에 있어서,
    상기 사용자 및 상기 사용자의 주변 환경 중 적어도 하나와 연관된 영상 정보 및 소리 정보 중 적어도 하나를 기록하는 기록부(recorder); 및
    상기 감정 이벤트가 미리 정한 감정 상태(predetermined emotion state)로 판단되면, 상기 감정 이벤트가 발생한 시간 구간에 대응하는 영상 정보 및 소리 정보 중 적어도 하나를 전송하는 통신부
    를 더 포함하는 사용자의 생체신호를 모니터링하는 장치.
  8. 제1항에 있어서,
    상기 사용자의 모션 정보를 측정하는 모션 정보 측정부
    를 더 포함하고,
    상기 분석부는,
    상기 모션 정보와 연관된 생체신호 변화에 기초하여 상기 감정 이벤트를 판단하는,
    사용자의 생체신호를 모니터링하는 장치.
  9. 제1항에 있어서,
    상기 사용자의 위치 정보를 측정하는 위치 정보 측정부
    를 더 포함하고,
    상기 분석부는,
    상기 위치 정보에 기초하여 상기 감정 이벤트를 판단하는,
    사용자의 생체신호를 모니터링하는 장치.
  10. 제1항에 있어서,
    상기 생체신호는,
    생체전기신호, 생체광학신호, 피부 온도 신호, 생체임피던스신호, 및 압력 신호 중 적어도 하나를 포함하는,
    사용자의 생체신호를 모니터링하는 장치.
  11. 사용자의 생체신호를 분석하는 장치에 있어서,
    사용자로부터 측정된 생체신호를 수신하는 통신부;
    상기 생체신호에 기초하여 상기 사용자와 연관된 감정 이벤트를 분석하는 분석부; 및
    상기 감정 이벤트에 응답하여 상기 장치 및 외부 기기 중 적어도 하나를 제어하기 위한 제어 명령을 생성하는 명령 생성부
    를 포함하는 사용자의 생체신호를 분석하는 장치.
  12. 제11항에 있어서,
    상기 명령 생성부는,
    상기 감정 이벤트로부터 분석된 상기 사용자의 감정 상태에 응답하여, 상기 감정 상태에 대응하는 동작을 상기 장치 및 상기 외부 기기 중 적어도 하나가 수행하도록 제어하기 위한 제어 명령을 생성하는,
    사용자의 생체신호를 분석하는 장치.
  13. 사용자의 생체신호를 모니터링하는 방법에 있어서,
    사용자로부터 생체신호를 측정하는 단계;
    상기 생체신호에 기초하여 상기 사용자와 연관된 감정 이벤트를 분석하는 단계; 및
    상기 감정 이벤트를 분석한 결과에 응답하여 제어 명령을 생성하는 단계
    를 포함하는 사용자의 생체신호를 모니터링하는 방법.
  14. 제13항에 있어서,
    상기 제어 명령을 생성하는 단계는,
    상기 감정 이벤트를 분석한 결과에 응답하여, 외부 기기가 미리 정한 동작을 수행하도록 제어하기 위한 제어 명령을 생성하는 단계
    를 포함하는 사용자의 생체신호를 모니터링하는 방법.
  15. 제13항에 있어서,
    상기 제어 명령을 생성하는 단계는,
    상기 감정 이벤트로부터 분석된 상기 사용자의 감정 상태에 응답하여, 상기 감정 상태에 대응하는 제어 명령을 생성하는 단계
    를 포함하는 사용자의 생체신호를 모니터링하는 방법.
  16. 제13항에 있어서,
    외부 기기로 상기 감정 이벤트와 연관된 이벤트 정보를 전송하는 단계
    를 더 포함하는 사용자의 생체신호를 모니터링하는 방법.
  17. 제16항에 있어서,
    상기 이벤트 정보를 전송하는 단계는,
    상기 감정 이벤트가 미리 정한 감정 상태로 판단되면, 상기 이벤트 정보를 전송하는 단계
    를 포함하는 사용자의 생체신호를 모니터링하는 방법.
  18. 제16항에 있어서,
    상기 감정 이벤트를 분석한 결과에 응답하여, 상기 이벤트 정보를 생성하여 저장하는 단계
    를 더 포함하고,
    상기 이벤트 정보를 전송하는 단계는,
    상기 이벤트 정보에 대한 상기 외부 기기의 접근 요청에 응답하여, 상기 이벤트 정보를 상기 외부 기기로 제공하는 단계
    를 포함하는 사용자의 생체신호를 모니터링하는 방법.
  19. 제13항에 있어서,
    상기 사용자 및 상기 사용자의 주변 환경 중 적어도 하나와 연관된 영상 정보 및 소리 정보 중 적어도 하나를 기록하는 단계; 및
    상기 감정 이벤트가 미리 정한 감정 상태로 판단되면, 상기 감정 이벤트가 발생한 시간 구간에 대응하는 영상 정보 및 소리 정보 중 적어도 하나를 전송하는 단계
    를 더 포함하는 사용자의 생체신호를 모니터링하는 방법.
  20. 제13항에 있어서,
    상기 사용자의 모션 정보 및 위치 정보 중 적어도 하나를 측정하는 단계
    를 더 포함하고,
    상기 감정 이벤트를 분석하는 단계는,
    상기 모션 정보 및 상기 위치 정보 중 적어도 하나와 연관된 생체신호 변화에 기초하여 상기 감정 이벤트를 판단하는 단계
    를 포함하는 사용자의 생체신호를 모니터링하는 방법.
KR1020140118823A 2014-09-05 2014-09-05 사용자의 생체신호를 모니터링 및 분석하는 장치 및 방법 KR102302871B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020140118823A KR102302871B1 (ko) 2014-09-05 2014-09-05 사용자의 생체신호를 모니터링 및 분석하는 장치 및 방법
US14/691,074 US9874862B2 (en) 2014-09-05 2015-04-20 Method and device to monitor and analyze biosignal of user

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140118823A KR102302871B1 (ko) 2014-09-05 2014-09-05 사용자의 생체신호를 모니터링 및 분석하는 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20160029375A true KR20160029375A (ko) 2016-03-15
KR102302871B1 KR102302871B1 (ko) 2021-09-16

Family

ID=55437442

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140118823A KR102302871B1 (ko) 2014-09-05 2014-09-05 사용자의 생체신호를 모니터링 및 분석하는 장치 및 방법

Country Status (2)

Country Link
US (1) US9874862B2 (ko)
KR (1) KR102302871B1 (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170143083A (ko) * 2016-06-17 2017-12-29 주식회사 라이프사이언스테크놀로지 휴대용 복합 생체신호 측정장치
JP2018093977A (ja) * 2016-12-09 2018-06-21 エヌ・ティ・ティ・コムウェア株式会社 看視システム、看視方法、及びプログラム
WO2018164298A1 (ko) * 2017-03-09 2018-09-13 상명대학교서울산학협력단 공간 및 시간 정보를 기반으로 하는 감성 정보 제공 장치
KR20200018094A (ko) * 2018-08-10 2020-02-19 경북대학교 산학협력단 노이즈 제거 알고리즘을 포함하는 전도성 섬유 기반의 손목형 ecg 장치 및 방법
US10960173B2 (en) 2018-11-02 2021-03-30 Sony Corporation Recommendation based on dominant emotion using user-specific baseline emotion and emotion analysis
US11191439B2 (en) 2017-03-24 2021-12-07 Samsung Electronics Co., Ltd. Electronic device and method for capturing contents

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10004408B2 (en) 2014-12-03 2018-06-26 Rethink Medical, Inc. Methods and systems for detecting physiology for monitoring cardiac health
US20170020399A1 (en) * 2015-06-02 2017-01-26 Sportracker Ltd. Methods Circuits Assemblies Devices Systems and Associated Machine Executable Code for Biological Sensing
US10849513B2 (en) 2015-06-02 2020-12-01 CardiacSense Ltd. Sensing at least one biological parameter, e.g., heart rate or heart rate variability of a subject
US9924265B2 (en) 2015-09-15 2018-03-20 Intel Corporation System for voice capture via nasal vibration sensing
US10348355B2 (en) * 2015-09-16 2019-07-09 Intel Corporation Techniques for gesture recognition using photoplethysmographic (PPMG) sensor and low-power wearable gesture recognition device using the same
US10324494B2 (en) 2015-11-25 2019-06-18 Intel Corporation Apparatus for detecting electromagnetic field change in response to gesture
US10206620B2 (en) 2016-03-23 2019-02-19 Intel Corporation User's physiological context measurement method and apparatus
US10736570B2 (en) * 2016-03-24 2020-08-11 CardiacSense Ltd. Methods circuits assemblies devices systems facets and associated machine executable code for detecting vital signs
CN108139792A (zh) * 2016-04-14 2018-06-08 深圳市汇顶科技股份有限公司 一种情绪感知智能终端及其感知方法
US10298282B2 (en) 2016-06-16 2019-05-21 Intel Corporation Multi-modal sensing wearable device for physiological context measurement
US10241583B2 (en) 2016-08-30 2019-03-26 Intel Corporation User command determination based on a vibration pattern
EP3300655A1 (en) 2016-09-28 2018-04-04 Stichting IMEC Nederland A method and system for emotion-triggered capturing of audio and/or image data
US20180110465A1 (en) * 2016-10-21 2018-04-26 Reza Naima Methods and systems for physiologic monitoring
JP7103769B2 (ja) * 2017-09-05 2022-07-20 京セラ株式会社 電子機器、携帯端末、コミュニケーションシステム、見守り方法、およびプログラム
US20190151640A1 (en) * 2017-11-21 2019-05-23 Boston Scientific Scimed, Inc. Interactive wearable and e-tattoo combinations
CN112105290B (zh) 2018-05-10 2024-08-06 卡迪艾克森思有限公司 一种用于测量生物参数的移位传感器
KR20200101195A (ko) * 2019-02-19 2020-08-27 현대자동차주식회사 전자 장치 및 그 제어 방법
US11043099B1 (en) * 2019-03-29 2021-06-22 NortonLifeLock Inc. Systems and methods for issuing proactive parental control alerts
US11686835B2 (en) * 2019-06-25 2023-06-27 Tactual Labs Co. Positioned enhanced sensor detection
KR102263585B1 (ko) * 2020-07-28 2021-06-10 주식회사 에이티센스 생체 신호 모니터링 장치
US11531394B2 (en) * 2020-09-09 2022-12-20 Emotional Imaging Inc. Systems and methods for emotional-imaging composer

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120092846A (ko) * 2011-02-14 2012-08-22 충남대학교산학협력단 멀티 모달리티 감정인식 시스템, 감정인식 방법 및 그 기록매체
KR20140089454A (ko) * 2013-01-04 2014-07-15 삼성전자주식회사 전자 장치에서 사용자의 감정 정보를 제공하기 위한 장치 및 방법

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100425342B1 (ko) 2000-09-02 2004-03-30 삼성전자주식회사 신체 및 감정 상태 인식 장치 및 방법
JP2004181218A (ja) 2002-11-21 2004-07-02 Seiko Instruments Inc 乳幼児の状況監視システムおよび状況監視方法
AU2004261302A1 (en) 2003-08-04 2005-02-10 Johannes De Klerk Pietersen Device for monitoring the condition of a human being
WO2006070823A1 (ja) 2004-12-28 2006-07-06 Intellectual Property Bank Corp. 生体情報監視システム
JP4736586B2 (ja) * 2005-07-19 2011-07-27 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
KR20070110158A (ko) 2006-05-12 2007-11-16 고려대학교 산학협력단 감정 상태에 따른 피드백 장치, 그 방법 및 그 기록 매체
KR100822029B1 (ko) * 2007-01-11 2008-04-15 삼성전자주식회사 모바일 단말기에서의 사용자 히스토리를 이용한 개인화서비스 방법 및 그 시스템
JP2009118420A (ja) * 2007-11-09 2009-05-28 Sony Corp 情報処理装置、情報処理方法、プログラム、記録媒体及び情報処理システム
KR20100080730A (ko) 2009-01-02 2010-07-12 강재민 영ㆍ유아용 안전관리 기능이 있는 침대
KR101390845B1 (ko) 2010-06-18 2014-05-02 을지대학교 산학협력단 기저귀형 생체신호 측정 장치
KR101307248B1 (ko) 2010-10-19 2013-09-12 주식회사 라이프사이언스테크놀로지 사용자의 생체정보 분석을 통한 감정상태 분석장치 및 방법
KR101273619B1 (ko) 2011-06-09 2013-06-11 (주)아람솔루션 블루투스를 이용한 전자 혈압계
KR20130025675A (ko) * 2011-09-02 2013-03-12 삼성전자주식회사 3ｄ안경과 디스플레이장치를 포함하는 사용자 건강 모니터링 시스템 및 디스플레이장치와 그 제어방법
KR20130064473A (ko) * 2011-12-08 2013-06-18 한국전자통신연구원 생체 신호 송신 장치, 자동차 제어 장치, 이를 이용한 자동차 자동 제어 시스템 및 그 방법
KR20130072428A (ko) 2011-12-22 2013-07-02 조동기 유아 급사 방지구 및 유아 급사 방지구를 포함하는 유아 안전 관리 시스템

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120092846A (ko) * 2011-02-14 2012-08-22 충남대학교산학협력단 멀티 모달리티 감정인식 시스템, 감정인식 방법 및 그 기록매체
KR20140089454A (ko) * 2013-01-04 2014-07-15 삼성전자주식회사 전자 장치에서 사용자의 감정 정보를 제공하기 위한 장치 및 방법

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170143083A (ko) * 2016-06-17 2017-12-29 주식회사 라이프사이언스테크놀로지 휴대용 복합 생체신호 측정장치
JP2018093977A (ja) * 2016-12-09 2018-06-21 エヌ・ティ・ティ・コムウェア株式会社 看視システム、看視方法、及びプログラム
WO2018164298A1 (ko) * 2017-03-09 2018-09-13 상명대학교서울산학협력단 공간 및 시간 정보를 기반으로 하는 감성 정보 제공 장치
US11191439B2 (en) 2017-03-24 2021-12-07 Samsung Electronics Co., Ltd. Electronic device and method for capturing contents
KR20200018094A (ko) * 2018-08-10 2020-02-19 경북대학교 산학협력단 노이즈 제거 알고리즘을 포함하는 전도성 섬유 기반의 손목형 ecg 장치 및 방법
US10960173B2 (en) 2018-11-02 2021-03-30 Sony Corporation Recommendation based on dominant emotion using user-specific baseline emotion and emotion analysis

Also Published As

Publication number Publication date
US9874862B2 (en) 2018-01-23
US20160070245A1 (en) 2016-03-10
KR102302871B1 (ko) 2021-09-16

Similar Documents

Publication Publication Date Title
KR102302871B1 (ko) 사용자의 생체신호를 모니터링 및 분석하는 장치 및 방법
US12089914B2 (en) Enhanced physiological monitoring devices and computer-implemented systems and methods of remote physiological monitoring of subjects
US10383571B1 (en) Pain quantification and management system and device, and method of using
JP6330199B2 (ja) スマートウェアラブル装置の身体位置最適化及び生体信号フィードバック
US10231664B2 (en) Method and apparatus to predict, report, and prevent episodes of emotional and physical responses to physiological and environmental conditions
Mukhopadhyay Wearable sensors for human activity monitoring: A review
US20180368755A1 (en) Sensory stimuli to increase accuracy of sleep staging
CN111867475A (zh) 次声生物传感器系统和方法
US20140371547A1 (en) Sleep Monitoring and Stimulation
JP2016147089A (ja) 発作の検出及び監視のためのドライセンサｅｅｇ／ｅｍｇ・動作検知システム
KR20180058870A (ko) 뇌 건강의 다중 모드 생리학적 평가를 위한 폼 팩터
Makhlouf et al. Ambient assistance service for fall and heart problem detection
KR20060058105A (ko) 화상표시시스템, 화상표시장치, 화상표시방법
KR20130010207A (ko) 무구속 무자각 생체신호 획득을 통한 워치타입 건강상태 분석시스템
CN110582228A (zh) 用于确定婴儿的健康状态的方法和装置
US20230317217A1 (en) System and Method for Populating Electronic Health Records with Wireless Earpieces
Sanei et al. Body sensor networking, design and algorithms
EP3302257B1 (en) System for supporting an elderly, frail and/or diseased person
JP2017536946A (ja) 意識状態を決定するデバイスおよび方法
WO2017190965A1 (en) A method and apparatus for verifying whether to change a determined wearing status of a device
Hu et al. Internet of Things (IoT) for healthcare application: Wearable sleep body position monitoring system using IoT platform
TWI418334B (zh) 用於生理訊號及環境訊號感測、分析及回饋之系統
US20230210464A1 (en) Ear-wearable system and method for detecting heat stress, heat stroke and related conditions
WO2022126024A1 (en) Foldable sensor-based devices
Sujin et al. Public e-health network system using arduino controller

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right