KR102635868B1 - 전자 장치 및 그의 제어방법 - Google Patents

전자 장치 및 그의 제어방법 Download PDF

Info

Publication number
KR102635868B1
KR102635868B1 KR1020160009382A KR20160009382A KR102635868B1 KR 102635868 B1 KR102635868 B1 KR 102635868B1 KR 1020160009382 A KR1020160009382 A KR 1020160009382A KR 20160009382 A KR20160009382 A KR 20160009382A KR 102635868 B1 KR102635868 B1 KR 102635868B1
Authority
KR
South Korea
Prior art keywords
user
electronic device
sensor
sleep
state
Prior art date
Application number
KR1020160009382A
Other languages
English (en)
Other versions
KR20170089231A (ko
Inventor
박상배
백현재
조재걸
최병훈
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020160009382A priority Critical patent/KR102635868B1/ko
Priority to US15/350,544 priority patent/US10417901B2/en
Priority to PCT/KR2017/000645 priority patent/WO2017131384A1/en
Priority to CN201780008111.9A priority patent/CN108496143B/zh
Priority to EP17744506.1A priority patent/EP3377963B1/en
Publication of KR20170089231A publication Critical patent/KR20170089231A/ko
Priority to US16/455,145 priority patent/US10706717B2/en
Application granted granted Critical
Publication of KR102635868B1 publication Critical patent/KR102635868B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • GPHYSICS
    • G08SIGNALLING
    • G08CTRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C17/00Arrangements for transmitting signals characterised by the use of a wireless electrical link
    • G08C17/02Arrangements for transmitting signals characterised by the use of a wireless electrical link using a radio link
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02416Detecting, measuring or recording pulse rate or heart rate using photoplethysmograph signals, e.g. generated by infrared radiation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/48Other medical applications
    • A61B5/4806Sleep evaluation
    • A61B5/4812Detecting sleep stages or cycles
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271Specific aspects of physiological measurement analysis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02Details of sensors specially adapted for in-vivo measurements
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0219Inertial sensors, e.g. accelerometers, gyroscopes, tilt switches
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0223Magnetic field sensors
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0247Pressure sensors
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6887Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
    • A61B5/6892Mats
    • GPHYSICS
    • G08SIGNALLING
    • G08CTRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00Transmission systems of control signals via wireless link
    • G08C2201/10Power supply of remote control devices
    • G08C2201/12Power saving techniques of remote control or controlled devices
    • GPHYSICS
    • G08SIGNALLING
    • G08CTRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00Transmission systems of control signals via wireless link
    • G08C2201/30User interface
    • G08C2201/32Remote control based on movements, attitude of remote control device
    • GPHYSICS
    • G08SIGNALLING
    • G08CTRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00Transmission systems of control signals via wireless link
    • G08C2201/50Receiving or transmitting feedback, e.g. replies, status updates, acknowledgements, from the controlled devices
    • G08C2201/51Remote controlling of devices based on replies, status thereof

Abstract

전자 장치가 개시된다. 본 전자 장치는, 사용자의 움직임에 따른 움직임 신호를 생성하는 제1 센서, 사용자에 접촉되어 사용자 생체 신호를 생성하는 제2 센서, 기설정된 주기마다 생성된 움직임 신호 및 생성된 사용자 생체 신호를 이용하여 사용자 수면 상태를 판단하고, 기설정된 주기마다 판단된 수면 상태에 기초하여 타 전자 장치의 동작 상태를 결정하는 프로세서 및 결정된 동작 상태에 대응되는 제어 명령을 타 전자 장치에 전송하는 통신부를 포함한다.

Description

전자 장치 및 그의 제어방법 { ELECTRONIC DEVICE AND CONTROLLING METHOD THEREOF }
본 개시는 전자 장치 및 그의 제어방법에 관한 것으로, 더욱 상세하게는 실시간으로 수면 상태 측정이 가능한 전자 장치 및 그의 제어방법에 관한 것이다.
일반적으로 수면을 생리적인 측면에 의해서 수면 상태와 각성 상태로 구분하고, 수면상태를 렘(REM) 수면과 비렘(NREM) 수면으로 구분한다. 이러한 수면 단계를 측정하는 방법으로 수면다원검사(polysomnography)가 이용된다.
수면다원검사에선 각종 센서가 필요하다. 구체적으로, 머리, 코, 가슴, 복부, 가슴 등에 센서를 부착하고 잠을 자게 된다. 이러한 수면다원검사는 병원에서 전문가에 의해 수행된다. 따라서 최근엔 집에서도 간편하게 수면 단계를 측정할 수 있는 기기들이 개발되었다.
그러나, 이러한 종래의 기기들은 수면 중에 센서가 계속 활성화되어 있어서 배터리의 소모량이 증가하게 되고, 그로 인해 배터리를 한번 충전하면 오랜 시간 사용할 수 없었다. 또한 후처리(Post-Processing) 방식으로 구동되기 때문에 사용자는 수면 결과를 확인하기 위해서는 수면 단계 검출 알고리즘의 수행이 모두 종료된 이후에 확인할 수 있었다. 일 예로, 사용자의 수면이 종료된 이후, 약 30분 정도 기다려야지만 결과를 확인할 수 있었다.
본 개시는 상술한 문제에 기초한 것으로, 본 개시의 목적은, 실시간으로 수면 상태 측정이 가능한 전자 장치 및 그의 제어방법을 제공함에 있다.
이상과 같은 목적을 달성하기 위한 본 개시의 일 실시 예에 따른 전자 장치에는, 사용자의 움직임에 따른 움직임 신호를 생성하는 제1 센서, 상기 사용자에 접촉되어 사용자 생체 신호를 생성하는 제2 센서, 기설정된 주기마다 상기 생성된 움직임 신호 및 상기 생성된 사용자 생체 신호를 이용하여 사용자 수면 상태를 판단하고, 상기 기설정된 주기마다 상기 판단된 수면 상태에 기초하여 타 전자 장치의 동작 상태를 결정하는 프로세서 및 상기 결정된 동작 상태에 대응되는 제어 명령을 상기 타 전자 장치에 전송하는 통신부를 포함한다.
이 경우, 상기 프로세서는, 상기 생성된 움직임 신호 및 상기 생성된 사용자 생체 신호를 이용하여 사용자 수면 상태를 각성 상태, 비렘 수면 상태 및 렘 수면 상태 중 어느 하나의 상태로 판단할 수 있다.
한편, 상기 프로세서는, 한 주기 동안 생성된 사용자 생체 신호를 상기 한 주기 이전에 생성된 사용자 생체 신호를 이용하여 스무딩 처리하고, 상기 스무딩 처리된 사용자 생체 신호와 기설정된 값을 비교하여 상기 한 주기에서의 사용자 수면 상태를 판단할 수 있다.
한편, 본 실시 예에 따른 전자 장치는, 수면 분석 개시 명령을 입력받는 입력부를 더 포함하고, 상기 프로세서는, 상기 수면 분석 개시 명령이 입력되면, 상기 제1 센서 및 상기 제2 센서 각각이 움직임 신호 및 사용자 생체 신호를 생성하도록 제어할 수 있다.
이 경우, 상기 입력부는, 수면 분석 종료 명령을 입력받고, 상기 프로세서는, 상기 수면 분석 종료 명령이 입력되면, 상기 수면 분석 개시 명령의 입력 시점부터 상기 수면 분석 종료 명령이 입력된 시점까지의 수면 효율을 산출할 수 있다.
한편, 상기 제1 센서는, 가속도 센서, 자이로 센서 및 중력 센서 중 적어도 하나이고, 상기 제2 센서는, 상기 사용자의 심장 박동을 측정하기 위한 심박 센서일 수 있다.
이 경우, 상기 심박 센서는, 빛을 조사하여 PPG(Photoplethysmography) 신호를 생성하는 센서일 수 있다.
이 경우, 상기 프로세서는, 단속적으로 빛이 조사되도록 상기 심박 센서를 제어할 수 있다.
한편, 상기 프로세서는, 타 전자 장치의 동작 상태가 변경되면, 변경된 동작 상태에 대응되는 제어 명령이 전송되도록 상기 통신부를 제어할 수 있다.
한편, 상기 전자 장치는, 웨어러블 장치일 수 있다.
한편, 본 개시의 일 실시 예에 따른 전자 장치의 제어방법은, 전자 장치의 제1 센서를 통해 사용자의 움직임에 따른 움직임 신호를 생성하는 단계, 상기 사용자에 접촉된 상기 전자 장치의 제2 센서를 통하여 사용자 생체 신호를 생성하는 단계, 기설정된 주기마다 상기 생성된 움직임 신호 및 상기 생성된 사용자 생체 신호를 이용하여 사용자 수면 상태를 판단하는 단계, 상기 기설정된 주기마다 상기 판단된 수면 상태에 기초하여 타 전자 장치의 동작 상태를 결정하는 단계 및 상기 결정된 동작 상태에 대응되는 제어 명령을 상기 타 전자 장치에 전송하는 단계를 포함한다.
이 경우, 상기 판단하는 단계는, 상기 생성된 움직임 신호 및 상기 생성된 사용자 생체 신호를 이용하여 사용자 수면 상태를 각성 상태, 비렘 수면 상태 및 렘 수면 상태 중 어느 하나의 상태로 판단할 수 있다.
한편, 상기 판단하는 단계는, 한 주기 동안 생성된 사용자 생체 신호를 상기 한 주기 이전에 생성된 사용자 생체 신호를 이용하여 스무딩 처리하고, 상기 스무딩 처리된 사용자 생체 신호와 기설정된 값을 비교하여 상기 한 주기에서의 사용자 수면 상태를 판단할 수 있다.
한편, 본 실시 예에 따른 전자 장치의 제어방법은, 수면 분석 개시 명령을 입력받는 단계 및 상기 수면 분석 개시 명령이 입력되면, 상기 제1 센서 및 상기 제2 센서 각각이 움직임 신호 및 사용자 생체 신호를 생성하도록 제어하는 단계를 더 포함할 수 있다.
이 경우, 본 실시 예에 따른 전자 장치의 제어방법은 수면 분석 종료 명령을 입력받는 단계 및 상기 수면 분석 종료 명령이 입력되면, 상기 수면 분석 개시 명령의 입력 시점부터 상기 수면 분석 종료 명령이 입력된 시점까지의 수면 효율을 산출하는 단계를 더 포함할 수 있다.
한편, 상기 제1 센서는, 가속도 센서, 자이로 센서 및 중력 센서 중 적어도 하나이고, 상기 제2 센서는, 상기 사용자의 심장 박동을 측정하기 위한 심박 센서일 수 있다.
이 경우, 상기 사용자 생체 신호를 생성하는 단계는, 상기 심박 센서가 빛을 조사하여 PPG(Photoplethysmography) 신호를 생성할 수 있다.
이 경우, 상기 사용자 생체 신호를 생성하는 단계는, 상기 심박 센서가 단속적으로 빛을 조사할 수 있다.
한편, 상기 전송하는 단계는, 타 전자 장치의 동작 상태가 변경되면, 변경된 동작 상태에 대응되는 제어 명령을 전송할 수 있다.
한편, 본 개시의 일 실시 예에 따른 전자 장치의 제어 방법을 실행하기 위한 프로그램을 포함하는 컴퓨터 판독가능 기록매체에 있어서, 상기 제어 방법은, 전자 장치의 제1 센서를 통해 사용자의 움직임에 따른 움직임 신호를 생성하는 단계, 상기 사용자에 접촉된 상기 전자 장치의 제2 센서를 통하여 사용자 생체 신호를 생성하는 단계, 기설정된 주기마다 상기 생성된 움직임 신호 및 상기 생성된 사용자 생체 신호를 이용하여 사용자 수면 상태를 판단하는 단계, 상기 기설정된 주기마다 상기 판단된 수면 상태에 기초하여 타 전자 장치의 동작 상태를 결정하는 단계 및 상기 결정된 동작 상태에 대응되는 제어 명령을 상기 타 전자 장치에 전송하는 단계를 포함한다.
도 1은 본 개시의 일 실시 예에 따른 수면 분석 시스템을 도시한 도면,
도 2는 본 개시의 일 실시 예에 따른 전자 장치의 구성을 설명하기 위한 블럭도,
도 3 내지 도 4는 본 개시의 다양한 실시 예에 따른 전자 장치를 도시한 도면,
도 5는 수면 상태에 따라 제어될 제어 대상 기기를 선택하는 UI의 일 예를 설명하기 위한 도면,
도 6은 본 개시의 일 실시 예에 따른 전자 장치와 사용자 단말 장치의 인터렉션을 설명하기 위한 도면,
도 7 내지 도 13은 본 개시의 다양한 실시 예에 따른 전자 장치의 제어방법을 설명하기 위한 흐름도이다.
본 개시를 설명함에 있어서, 관련된 공지기능 혹은 구성에 대한 구체적인 설명이 본 개시의 요지를 불필요하게 흐릴 수 있다고 판단된 경우 그 상세한 설명은 생략한다. 그리고 후술 되는 용어들은 본 개시에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관계 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
본 개시에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 권리범위를 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 개시에서, "포함하다" 또는 "구성되다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
실시 예에 있어서 ‘부’는 적어도 하나의 기능이나 동작을 수행하며, 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의‘부’는 특정한 하드웨어로 구현될 필요가 있는 ‘부’를 제외하고는 적어도 하나의 모듈로 일체화되어 적어도 하나의 프로세서로 구현될 수 있다.
이하에서는 도면을 참조하여 본 개시를 더욱 상세하게 설명한다.
도 1은 본 개시의 일 실시 예에 따른 수면 분석 시스템(1000)을 도시한 도면이다.
도 1을 참고하면, 수면 분석 시스템(1000)은 전자 장치(100) 및 전자 장치(100)에 의해 제어되는 타 전자 장치들(10, 20, 30, 40, 50)을 포함한다.
전자 장치(100)는 사용자의 수면 상태를 실시간으로 분석하여 수면 상태에 따라 타 전자 장치들(10, 20, 30, 40, 50)을 제어할 수 있다.
전자 장치(100)는 사용자의 수면 상태를 분석할 수 있는 기기로서, 예컨대, 도 1에 도시된 것처럼 시계 형태일 수 있고, 패치, 안경, 모자, 머리띠, 이어폰, 헤드셋 등 다양한 형태로 구현될 수 있다. 다만, 이와 같은 웨어러블 장치에만 한정되는 것은 아니고 스마트폰 등과 같은 기기로 구현될 수 있다.
타 전자 장치들(10, 20, 30, 40, 50)은 전자 장치(100)의 제어에 따라 동작할 수 있는 장치들로서, 전자 장치(100)와 무선 통신이 가능한 장치일 수 있다.
예를 들어, 조명 기기(10), TV(20), 에어컨(30), 로봇 청소기(40), 알람시계(50) 등이 전자 장치(100)의 제어에 의해 동작 상태를 변경할 수 있다.
구체적으로, 타 전자 장치들(10, 20, 30, 40, 50)은 사용자의 수면 상태에 따라 동작 상태를 변경할 수 있다. 예를 들어, 조명(10)의 경우 사용자의 수면 상태에 따라 조명 밝기가 조절될 수 있고, TV(20)의 경우 사용자의 수면 상태에 따라 전원이 off될 수 있고, 에어컨(30)의 경우 사용자의 수면 상태에 따라 온도가 조절될 수 있고, 로봇 청소기(40)의 경우 사용자의 수면 상태에 따라 전원이 off되거나, 사용자가 있는 방에는 들어가지 않도록 제어될 수 있고, 알람 시계(50)의 경우 사용자의 수면 상태에 따라 적절한 타이밍에 알람이 울리도록 제어될 수 있다.
한편, 전자 장치(100)는 타 전자 장치들(10, 20, 30, 40, 50)을 제어함에 있어서, 직접 명령을 전송할 수 있거나, 타 전자 장치들(10, 20, 30, 40, 50)을 관리하는 관리 장치를 통해 명령을 전송할 수 있다. 이 경우, 관리 장치는, 홈 서버, 스마트폰 등이 될 수 있고, 타 전자 장치들(10, 20, 30, 40, 50) 중 어느 하나가 될 수도 있다.
또 다른 실시 예에선, 타 전자 장치들(10, 20, 30, 40, 50)은 전자 장치(100)에 사용자의 수면 상태에 대한 정보를 요청하고, 타 전자 장치들(10, 20, 30, 40, 50)이 자체적으로 사용자의 수면 상태에 따라 동작 상태를 변경하는 것도 가능하다.
즉, 전자 장치(100)가 타 전자 장치들(10, 20, 30, 40, 50)을 제어하는 데 있어서 상술한 것과 같이 다양한 방식이 이용될 수 있다. 따라서, 전자 장치(100)가 타 전자 장치들(10, 20, 30, 40, 50)을 제어하기 위해 전송하는 정보는, 직접적으로 타 전자 장치들(10, 20, 30, 40, 50)의 동작 상태를 변경하기 위한 명령을 포함하거나, 타 전자 장치들(10, 20, 30, 40, 50)이 전자 장치(100)로부터 수신되는 정보에 기초하여 자체적으로 동작 상태를 변경할 수 있는 정보를 포함할 수 있다.
한편, 도 1에 도시된 타 전자 장치들(10, 20, 30, 40, 50)은 예시일 뿐, 전자 장치(100)가 제어 가능한 장치들이 이에 한정되는 것은 아니다.
이하 도 2를 참고하여, 전자 장치(100)에 대해 좀 더 자세히 설명하도록 한다.
도 2는 본 개시의 일 실시 예에 따른 전자 장치(100)의 구성을 설명하기 위한 블럭도이다.
도 2를 참고하면 전자 장치(100)는 제1 센서(110), 제2 센서(120), 통신부(130) 및 프로세서(140)를 포함한다.
제1 센서(110)는 사용자의 움직임에 따른 움직임 신호를 생성하는 센서이다. 전자 장치(100)가 웨어러블 장치인 경우, 제1 센서(110)는 전자 장치(100)를 착용한 사용자의 움직임에 따른 움직임 신호를 생성한다. 또는, 전자 장치(100)는 사용자가 누워있는 물체(예컨대 매트리스)의 위 또는 아래에 배치되고, 제1 센서(110)는 사용자 움직임에 대응되는 물체의 움직임에 따른 움직임 신호를 생성할 수 있다.
이 경우, 제1 센서(110)는 예컨대 자이로 센서, 지자기 센서, 가속도 센서 및 압력 센서 중 적어도 하나를 포함할 수 있다.
가속도 센서는 중력을 이용하여 기울어진 정도를 센싱하는 센서이다. 즉, 수직 방향으로 센싱하였을 경우의 중력 값이 1g라면, 비스듬히 기울어지게 되면 1g보다 작은 값이 나오게 되고, 거꾸로 세워지게 되면 -1g가 나오게 된다. 가속도 센서는 이러한 원리를 이용하여 피치각(pitch angle) 및 롤각(roll angle)을 출력할 수 있다. 가속도 센서에는 2축 또는 3축 플럭스게이트가 사용될 수 있다.
지자기 센서는 지구 자기의 세기 및 방향을 측정해 주는 장치로써, 특히, 플럭스게이트(flux-gate)를 사용한 지자기 센서를 플럭스게이트 형 지자기 센서라 한다. 지자기 센서 역시 가속도 센서와 마찬가지로 2축 또는 3축 플럭스게이트 센서로 구현될 수 있다.
자이로 센서는 각 속도를 검출하는 센서로 코리올리의 힘을 이용하여 회전축을 중심으로 어느 정도 경사를 갖고 있는지 센싱한다. 이러한 자이로 센서로는 기계식 센서와 전자식 센서 모두가 사용될 수 있다.
압력 센서는 압전형 압력 센서, 스트레인 게이지형 압력 센서, 정전 용량형 압력 센서 등으로 구현될 수 있다. 압전형 압력 센서란 힘을 받으면 전압이 유기되는 압전체를 이용하여, 그 전압 값에 따라 압력값을 산출하는 센서이다. 스트레인 게이지 형 압력 센서는 인장력이나 압축력을 받으면 저항값이 변하는 스트레인게이지를 이용하여, 그 저항값에 따라 압력값을 산출하는 센서이다. 스트레인 게이지는 와이어나 스프링 형태로 구현될 수 있다. 정전 용량형 압력 센서는 두 개의 전극을 이용하여, 가압 시에 변경되는 전극간 거리에 따른 용량 변화를 감지하여, 압력값을 산출하는 센서이다. 각 압력 센서는 이상과 같은 다양한 유형의 센서들로 구현될 수 있다.
한편, 전자 장치(100)는 사용자와 멀리 떨어진 상태로 사용자의 움직임에 따른 움직임 신호를 생성할 수 있다. 이 경우, 제1 센서(110)는 사용자를 촬영한 영상에 기초하여 사용자 움직임에 따른 움직임 신호를 생성할 수 있는 장치일 수 있다. 이 밖에도 사용자 움직임에 따른 움직임 신호를 생성할 수 있는 다양한 장치가 제1 센서(110)로 구현될 수 있다.
제2 센서(120)는 상기 사용자에 접촉되어 사용자 생체 신호를 생성하는 센서이다.
구체적으로 제2 센서(120)는, PPG(Photoplethysmography) 신호, ECG(Electrokardiogram) 신호, BVP(Blood Volume Pulse) 신호, HRV(Heart rate variability) 신호, EEG(electroencephalography) 신호, EMG(electromyography) 신호, 또는 EOG(electrooculography) 신호와 같은 사용자 생체 신호를 생성하는 장치일 수 있다.
일 예시로, 제2 센서(120)가 PPG(Photoplethysmography) 신호를 생성하는 장치인 경우에 대해 도 3을 참고하여 좀 더 자세히 설명하도록 한다.
도 3은 본 개시의 일 실시 예에 따른 전자 장치(100)를 도시한 것이다. 도 3을 참고하면, 전자 장치(100)는 시계 형태이고, 사용자 신체와 접촉하는 부분에 제2 센서(120)가 배치된다.
제2 센서(120)는 발광부(121) 및 수광부(123)를 포함한다.
발광부(121)는 사용자에게 빛을 조사하기 위한 구성이다. 발광부(121)는 통상의 발광 다이오드 또는 레이저 다이오드일 수 있다.
발광부(121)는 서로 다른 파장의 빛을 발광하는 복수의 발광 소자를 포함할 수 있다. 일 예로, 발광부(121)는 제1 파장의 빛을 발광하는 제1 발광 소자와 제1 파장과는 다른 제2 파장의 빛을 발광하는 제2 발광 소자를 포함할 수 있다.
수광부(123)는 빛을 수광할 수 있다. 수광된 빛은 광전 변환(photoelectric conversion)되어 전류 신호로 생성된다. 수광부(123)는 통상의 포토다이오드일 수 있다.
한편, 도 3에 도시된 바와 같이 발광부(121)와 수광부(123)가 배치된 경우 수광부(123)는 발광부(121)에서 조사되어 사용자로부터 반사된 빛을 수광한다. 그러나, 발광부(121)와 수광부(123)의 배치 형태가 도 3에 도시된 것에 한정된 것은 아니고, 발광부(121)와 수광부(123)는 사용자 신체 일부(예컨대 손목, 손가락)를 사이에 두고 서로 마주보도록 배치될 수도 있다. 이 경우, 수광부(123)는 발광부(121)에서 조사되어 사용자를 통과한 빛을 수광한다.
프로세서(140)는 수광된 빛의 양에 기초하여, 사용자의 혈관의 이완 및 수축 정도를 분석하여 사용자의 심장 박동을 측정할 수 있고, 이에 기초하여 심박수(hear rate)를 산출할 수 있다.
이와 같이 제2 센서(120)가 심장 박동을 측정하기 위한 센서인 경우, 심박 센서라고 명명될 수 있다.
상술한 바와 같이 빛을 조사하여 심장 박동을 측정하는 경우, 프로세서(140)는 빛이 단속적으로 조사되도록 제2 센서(120)를 제어할 수 있다.
구체적인 예로, 하나의 수면 상태가 결정되는 하나의 주기가 30초인 경우, 프로세서(140)는 30초 중 6초 동안만 빛을 조사하고, 나머지 24초는 빛이 조사되지 않도록 제2 센서(120)를 제어할 수 있다. 그리고 프로세서(140)는 6초 동안의 심장 박동에 기초하여 평균 심박수를 산출하고, 이것을 상기 하나의 주기의 심박수로 결정할 수 있다.
이와 같이 연속적으로 빛을 조사하는 대신에, 단속적으로 빛을 조사함으로써 소비 전력을 줄일 수 있다는 장점이 있다.
한편, 전자 장치(100)는 충전 단자(160)를 통해 배터리 충전될 수 있고, 프로세서(140)는 빛이 조사되는 시간을 전자 장치(100)의 배터리 충전 상태에 따라 조절하도록 제2 센서(120)를 제어할 수 있다.
예컨대, 배터리 충전량이 기 설정된 양 이상이라면 프로세서(140)는 연속적으로 빛을 조사하도록 제2 센서(120)를 제어할 수도 있다. 그리고 프로세서(140)는 배터리 충전 양이 기 설정된 양 미만이라면, 단속적으로 빛을 조사하고, 배터리 충전 양이 적을수록 빛이 조사되는 시간이 적어지도록 제어할 수 있다.
또 한편, 사용자가 수동으로 빛 조사 시간을 설정해둘 수도 있다.
통신부(130)는 각종 타 전자 장치와 통신을 수행하기 위한 구성이다. 통신부(130)는 NFC(Near Field Communication), 무선 LAN(Wireless LAN), IR(InfraRed) 통신, Zigbee 통신, WiFi, 블루투스(Bluetooth) 등 다양한 통신 방식에 따라 통신을 수행할 수 있다. 타 전자 장치는 도 1에서 설명한 것처럼 조명 기기, TV, 에어컨 등의 가전 기기이거나, 사용자가 소유하는 스마트 폰일 수 있다.
특히, 통신부(130)는 사용자의 수면 상태에 기초하여 결정된 동작 상태에 대응되는 제어 명령을 타 전자 장치로 전송할 수 있다. 또한 통신부(130)는 수면 분석 결과를 타 전자 장치로 전송할 수 있다. 그리고 통신부(130)는 타 전자 장치들로부터 상태 정보를 수신할 수 있다.
프로세서(140)는 전자 장치(100)의 전반적인 동작을 제어하기 위한 구성이다.
예를 들어, 프로세서(140)는 CPU, 램(RAM), 롬(ROM), 시스템 버스를 포함할 수 있다. 여기서, 롬은 시스템 부팅을 위한 명령어 세트가 저장되는 구성이고, CPU는 롬에 저장된 명령어에 따라 전자 장치(100)의 저장부에 저장된 운영체제를 램에 복사하고, O/S를 실행시켜 시스템을 부팅시킨다. 부팅이 완료되면, CPU는 저장부에 저장된 각종 애플리케이션을 램에 복사하고, 실행시켜 각종 동작을 수행할 수 있다. 이상에서는 프로세서(140)가 하나의 CPU만을 포함하는 것으로 설명하였지만, 구현시에는 복수의 CPU(또는 DSP, SoC 등)으로 구현될 수 있다.
특히, 프로세서(140)는 기설정된 주기마다 생성된 움직임 신호 및 생성된 사용자 생체 신호를 이용하여 사용자 수면 상태를 판단한다. 예컨대, 기 설정된 주기가 30초라면, 30초마다 수면 상태 판단동작을 수행한다.
프로세서(140)는 사용자 수면 상태를 3 단계의 수면 상태 중 어느 하나의 상태인 것으로 판단할 수 있다. 3 단계의 수면 상태는 제1 수면 상태, 제2 수면 상태 및 제3 수면 상태이다.
여기서 제1 수면 상태, 제2 수면 상태 및 제3 수면 상태는, 점점 더 깊은 수면 상태에 대응된다. 예컨대, 제1 수면 상태, 제2 수면 상태 및 제3 수면 상태는 '각성 상태, 렘(REM, Rapid eye movement) 수면 상태 및 깊은 수면 상태'이거나, '각성 상태, 렘 수면상태 및 비렘(Non-REM) 수면 상태'이거나, '얕은 수면 상태, 렘 수면 상태 및 비렘 수면 상태'이거나, '얕은 수면 상태, 렘 수면 상태 및 깊은 수면 상태'일 수 있다.
프로세서(140)는 제1 센서(110)에서 생성된 움직임 신호에 기초하여, 제1 수면 상태인지 여부를 판단할 수 있다. 예컨대, 특정 주기에서 움직임 신호에 기초하여 측정됨 움직임 정도가 기 설정된 정도 이상이면 제1 수면 상태인 것으로 판단한다. 즉, 움직임이 많으면 깨어있다거나 얕은 수면 상태라고 볼 수 있다.
이 경우, 프로세서(140)는 한 주기 동안 생성된 움직임 신호를 상기 한 주기 이전에 생성된 움직임 신호를 이용하여 스무딩 처리하고, 상기 스무딩 처리된 사용자 생체 신호와 기설정된 값을 비교하여 상기 한 주기에서의 사용자 수면 상태를 판단할 수 있다.
그리고, 프로세서(140)는 제2 센서(120)에서 생성된 사용자 생체 신호에 기초하여, 제2 수면 상태인지 여부를 판단할 수 있다. 예컨대, 특정 주기에서 사용자 생체 신호에 기초하여 측정된 심박수가 기 설정된 값 이상이면 제2 수면 상태인 것으로 판단한다.
이 경우, 프로세서(140)는 한 주기 동안 생성된 사용자 생체 신호를 상기 한 주기 이전에 생성된 사용자 생체 신호를 이용하여 스무딩 처리하고, 상기 스무딩 처리된 사용자 생체 신호와 기설정된 값을 비교하여 상기 한 주기에서의 사용자 수면 상태를 판단할 수 있다.
프로세서(140)는 특정 주기에서 제1 수면 상태인 것으로 판단되었다면, 제2 수면 상태 판단 여부와 상관없이 그 주기는 제1 수면 상태인 것으로 최종 결정한다. 다시 말해, 특정 주기에서 제1 수면 상태와 제2 수면 상태가 동시에 결정되면, 제2 수면 상태로 결정된 것은 무시하고, 제1 수면 상태인 것으로 결정된다. 즉, 프로세서(140)는 사용자의 움직임을 최우선으로 하여 수면 상태를 판단한다.
따라서, 프로세서(140)는 제1 수면 상태 판단 동작과 제2 수면 상태 판단 동작을 함께 수행할 수도 있고, 수면 상태 분석 프로세싱에 소모되는 메모리 소모를 줄이기 위하여, 제1 수면 상태 판단 동작을 먼저 수행하여 제1 수면 상태인 것으로 결정되었으면, 제2 수면 상태 판단 동작 수행은 필요 없으므로 수행하지 않는다.
그리고, 프로세서(140)는 상기와 같은 분석 결과, 특정 주기에서 제1 수면 상태도 아니고 제2 수면 상태도 아닌 것으로 판단되었으면, 그 특정 주기는 제3 수면 상태인 것으로 최종 판단한다.
프로세서(140)는 수면 상태가 판단되었으면, 판단된 수면 상태에 기초하여 타 전자 장치의 동작 상태를 결정한다.
타 전자 장치가 로봇 청소기인 경우를 예로 들어 설명하자면, 프로세서(140)는 특정 주기에서 수면 상태가 제1 수면 상태이거나 제2 수면 상태로 판단되면 로봇 청소기의 동작 상태를 전원 off 상태로 결정한다. 그리고, 수면 상태가 제3 수면 상태로 판단되면 로봇 청소기의 동작 상태를 전원 on 상태로 결정한다. 즉, 얕은 수면 상태에선 로봇 청소기가 동작하지 않도록 하고, 깊은 수면 상태에선 외부 자극에 둔감해지므로 로봇 청소기를 동작시키는 것이다.
프로세서(140)는 상기와 같이 타 전자 장치의 동작 상태를 결정하고, 결정된 동작 상태에 대응되는 제어 명령을 타 전자 장치에 전송하도록 통신부(130)를 제어한다.
이 경우, 제어 명령은 매 주기마다 결정된 동작 상태에 대응하여 매 주기 마다 전송될 수 있다.
또 다른 실시 예에 따르면, 제어 명령은 매 주기 마다 전송되는 대신, 동작 상태가 변경된 경우에만 전송될 수 있다. 구체적으로, 프로세서(140)는, 타 전자 장치의 동작 상태가 변경되면, 변경된 동작 상태에 대응되는 제어 명령이 전송되도록 통신부(130)를 제어할 수 있다.
예컨대, 프로세서(140)는 제1 주기에서 타 전자 장치인 로봇 청소기의 동작 상태를 전원 off 상태로 결정하고 제어명령을 전송한 이후, 제2 주기에서 상기 로봇 청소기의 전원 off 상태로 결정하면, 제2 주기의 전원 off 상태에 대응되는 제어 명령은 로봇 청소기로 전송하지 않는다. 그리고 프로세서(140)는 제3 주기에서 로봇 청소기의 동작 상태를 전원 on 상태로 결정하면, 동작 상태가 변경된 것으로 감지하고, 전원 on 상태에 대응되는 제어 명령을 로봇 청소기로 전송할 수 있다.
한편, 전자 장치(100)는 입력부를 통해 입력된 사용자 입력에 따라, 수면 상태 개시, 종료, 제어 대상 장치 선택 등을 할 수 있다. 이하 도 4는 본 개시의 일 실시 예에 따른 전자 장치(100)의 입력부를 설명하기 위한 도면이다.
도 4를 참고하면, 전자 장치(100)는 입력부(150)를 포함한다.
입력부(150)는 사용자 명령을 입력받기 위한 구성으로, 도 4에 도시된 바와 같이 터치 스크린 형태로 구현될 수 있다. 터치 스크린이란, 디스플레이 기능과 사용자 입력을 받을 수 있는 장치이다. 다만, 이에 한정되는 것은 아니고 입력부(150)는 물리 버튼 형태로 구현될 수도 있다.
프로세서(140)는 입력부(150)를 통해 수면 분석 개시 명령이 입력되면, 제1 센서(110) 및 제2 센서(120) 각각이 움직임 신호 및 사용자 생체 신호를 생성하도록 제어할 수 있다.
수면 분석 개시 명령 입력 이후, 프로세서(140)는 상술한 것과 같이 기 설정된 주기마다 사용자의 수면 상태를 판단하고, 기 설정된 주기바다 판단된 수면 상태에 기초하여 타 전자 장치의 동작 상태를 결정할 수 있다.
여기서 타 전자 장치는, 사용자가 기 선택한 타 전자 장치일 수 있다. 본 개시의 일 실시 예에 따르면, 사용자는 수면 동안 제어할 장치를 선택하기 위한 UI를 제공받을 수 있다.
프로세서(140)는 전자 장치(100)의 디스플레이부(예컨대 도 4에서 터치 스크린)를 통해 제어 대상 기기 선택 UI를 사용자에게 제공할 수 있다. 이에 대해선 도 5를 참조하여 설명하도록 한다.
도 5는 본 개시의 일 실시 예에 따른 제어 대상 기기 선택 UI를 설명하기 위한 도면이다.
사용자는 제어 대상 기기 선택 UI(510)를 통해, 수면 동안 제어할 기기를 선택할 수 있다. 이와 같은 UI(510)는 예컨대 전자 장치(100)의 터치 스크린에서 표시될 수 있다.
도 5의 경우와 같이, 'TV'와 '조명'이 선택되면, 프로세서(140)는 결정된 수면 상태에 대응되는 제어 명령을 TV와 조명 기기에 전송하도록 통신부(130)를 제어할 수 있다.
그리고, 프로세서(140)는 입력부(150)를 통하여 수면 종료 명령이 입력되면, 수면 분석 개시 명령의 입력 시점부터 수면 분석 종료 명령이 입력된 시점까지의 수면 효율을 산출할 수 있다.
수면 효율이란, 수면 기간 동안 사용자가 얼마나 뒤척였는지를 나타내는 지표이다. 따라서, 프로세서(140)는 수면 기간 동안 제1 센서(110)에서 생성된 움직임 신호에 기초하여, 수면 효율을 산출할 수 있다. 그리고 산출된 결과는 예컨대 전자 장치(100)의 디스플레이부에서 표시될 수 있다.
한편, 상술한 예들에선, 전자 장치(100)가 타 전자 장치를 직접 제어하며, 전자 장치(100)에 직접 수면 분석 개시 명령 등과 같은 사용자 명령이 입력되는 것으로 설명하였으나, 다른 실시 예에선 이와 같은 기능은 타 기기가 대신 수행하는 것으로 구현될 수도 있다.
여기서 타 기기는 다른 사용자 단말 장치일 수 있다. 이에 대해선 도 6을 참고하여 좀 더 설명하기로 한다.
도 6은 본 개시의 일 실시 예에 따른 전자 장치(100)와 다른 사용자 단말 장치(200)의 상호 작용을 설명하기 위한 도면이다.
도 6을 참고하면, 전자 장치(100)는 무선 또는 유선 통신으로 사용자 단말 장치(200)와 통신을 수행할 수 있다. 예컨대, 전자 장치(100)는 사용자 단말 장치(200)와 블루투스로 연결될 수 있다.
전자 장치(100)에선 제1 센서(110) 및 제2 센서(120)를 통해 움직임 신호와 사용자 생체 신호가 생성되는 단계까지만 수행되고, 사용자 수면 상태의 판단은 상기 생성된 신호들을 전송받은 사용자 단말 장치(200)에서 수행될 수 있다. 그리고 사용자 수면 상태에 따라 타 전자 장치의 동작 상태를 결정하는 것과, 동작 상태에 대응되는 제어 명령의 전송은 사용자 단말 장치(200)가 수행할 수 있다.
또는, 전자 장치(100)에서 사용자 수면 상태 판단까지 이루어지고, 그 이후 동작이 사용자 단말 장치(200)에서 이루어지는 것도 가능하다.
또 한편, 수면 분석 개시 명령, 수면 종료 개시 명령 등과 같은 사용자 명령도 전자 장치(100) 대신에 사용자 단말 장치(200)에서 입력되어 전자 장치(100)로 전송될 수 있고, 도 5에서 설명한 UI화면(510)도 전자 장치(100)가 아닌 사용자 단말 장치(200)에서 표시될 수 있으며, 제어 대상 기기의 관리도 사용자 단말 장치(200)에서 이루어질 수 있다. 또한, 앞서 설명한 산출된 수면 효율도 사용자 단말 장치(200)에서 표시될 수 있다.
이처럼 상술한 실시 예에 따르면, 전자 장치(100)가 소형의 웨어러블 장치로 구현되어 메모리가 크지 않은 경우, 메모리 소모가 큰 프로세싱은 사용자 단말 장치(200)에서 대신 수행될 수 있게 된다. 또한, 전자 장치(100)가 디스플레이부, 입력부를 구비하고 있지 않은 장치인 경우, 사용자는 디스플레이부 및 입력부를 구비한 사용자 단말 장치(200)를 통해 각종 정보를 볼 수 있으며, 각종 사용자 명령을 입력할 수 있게 된다. 또한, 전자 장치(100)가 블루투스와 같은 근거리 무선 통신만을 지원하는 경우, 멀리 떨어진 타 전자 장치 직접 제어가 불가능할 수 있다. 따라서, 블루투스와 같은 근거리 무선 통신뿐만 아니라 WiFi와 같은 원거리 무선 통신을 지원하는 사용자 단말 장치(200)가 전자 장치(100)로부터 수신된 정보(예컨대 움직임 신호, 사용자 생체 신호)에 기초하여 멀리 떨어진 타 전자 장치를 제어할 수 있다.
도 7은 본 개시의 일 실시 예에 따른 전자 장치의 제어 방법을 설명하기 위한 흐름도이다.
도 7을 참고하면, 먼저, 전자 장치(100)의 제1 센서(110)를 통해 사용자의 움직임에 따른 움직임 신호를 생성한다(S710).
또한, 사용자에 접촉된 전자 장치(100)의 제2 센서(120)를 통하여 사용자 생체 신호를 생성한다(S720).
제1 센서(110)와 제2 센서(120)는 움직임 신호와 사용자 생체 신호를 상시 생성하도록 설정될 수 있다. 또는, 상기 신호들을 정해진 시간에만 생성하도록 설정될 수 있다. 예를 들어, 사용자는 자신이 주로 자는 시간(예컨대 밤 11시부터 오전 7시까지)을 수면 분석 시간으로 미리 전자 장치(100)에 설정해둘 수 있다. 또는, 사용자가 수면 분석 개시 명령을 입력한 이후부터 상기 신호들을 생성하고 사용자가 수면 분석 종료 명령을 입력할 때까지 상기 신호들은 생성될 수 있다. 또는, 수면 분석 개시 명령 입력 이후, 제1 센서(110)를 통한 움직임 분석을 통해 사용자가 완전히 깨어난 것으로 판단되면 수면 분석이 종료될 수 있다.
그리고, 기설정된 주기마다 생성된 움직임 신호 및 생성된 사용자 생체 신호를 이용하여 사용자 수면 상태를 판단한다(S730).
그리고, 기설정된 주기마다 판단된 수면 상태에 기초하여 타 전자 장치의 동작 상태를 결정한다(S740).
여기서 타 전자 장치는, 전자 장치(100)에 기 등록된 타 전자 장치일 수 있다. 그리고 판단된 수면 상태에 따른 동작 상태는 전자 장치별로 상이할 수 있다.
예를 들어, 타 전자 장치가 스마트 폰인 경우, 렘 수면 상태 또는 비렘 수면 상태인 것으로 판단되면 무음 상태로 결정할 수 있다.
또 다른 예로, 타 전자 장치가 난방 장치인 경우, 전자 장치(100)는 난방 장치의 동작 상태를 각성 상태 또는 렘 수면 또는 비렘 수면 각각에 적절한 온도 상태로 결정할 수 있다.
또 다른 예로, 타 전자 장치가 오디오 장치인 경우, 전자 장치(100) 수면 지속 시간 및 수면 상태에 기초하여 오디오 장치의 동작 상태를 결정할 수 있다. 현재까지의 수면 지속 시간 및 현재의 수면 상태에 기초하였을 때, 사용자의 기상이 가까워진 것으로 판단되면, 전자 장치(100)는 오디오 장치의 동작 상태를 기 설정된 음악 on 상태로 결정할 수 있다. 여기서 기 설정된 음악은 감미로운 음악으로 사용자가 미리 설정한 것일 수 있다. 또 다른 예로, 타 전자 장치가 전기 밥솥 또는 커피 머신인 경우, 사용자의 기상이 가까워진 것으로 판단되면 전자 장치(100)는 전기 밥솥 또는 커피 머신의 동작 상태를 on 상태로 결정할 수 있다.
또 다른 예로, 타 전자 장치가 보안 장치인 경우, 전자 장치(100)는 렘 수면 상태 또는 비렘 수면 상태인 것으로 판단되면, 보안 장치를 on 상태로 결정할 수 있다.
그리고, 전자 장치(100)는 상기 결정된 동작 상태에 대응되는 제어 명령을 타 전자 장치에 전송한다(S750).
이 경우, 매 주기마다 결정된 동작 상태에 대응되는 제어 명령이, 매 주기마다 타 전자 장치에 전송되거나, 동작 상태가 변경된 경우에만 제어 명령이 전송되도록 제어될 수 있다.
한편, 제어 명령을 수신한 타 전자 장치는, 제어 명령에 따라 동작 상태를 변경할 수 있다.
예를 들어, TV의 경우, 전원 off의 동작 상태에 대응되는 제어 명령이 수신되면, 전원을 off할 수 있다. 또는, 이미 전원 off 상태였다면 그대로 전원 off 상태를 유지한다.
한편, 전자 장치(100)는 타 전자 장치와의 거리에 기초하여 제어 명령 전송 여부를 결정할 수 있다. 구체적으로, 전자 장치(100)는 타 전자 장치로부터의 수신 신호 세기(Received Signal Strength Indication, RSSI)를 이용하여 타 전자 장치와의 거리를 판단할 수 있다. 그리고 전자 장치(100)는 타 전자 장치의 거리가 기 설정된 거리 미만인 경우에만 제어 명령을 전송할 수 있다. 예를 들어, 타 전자 장치가 TV인 경우, TV와 전자 장치(100)를 착용한 사용자의 거리가 기 설정된 거리 이상인 경우라면 TV 소음으로부터 방해받지 않을 것이므로, 반드시 TV 전원이 off될 필요가 없다. 또한, 전자 장치(100)의 사용자가 방에서 자는 동안 다른 가족 구성원이 거실에서 TV를 보고 있을 수도 있으므로, 이러한 경우, TV가 자동으로 off되어선 안될 것이다.
이와 같이, 타 전자 장치를 제어하기 위한 제어 명령은, 상황에 따라, 타 전자 장치의 특성에 따라, 전송 여부가 결정될 수 있다. 또는, 타 전자 장치는, 제어 명령이 수신되더라도 상술한 것과 같이 상황에 따라, 타 전자 장치의 특성에 따라 제어 명령을 무시하도록 동작할 수 있다.
또 다른 실시 예에 따르면, 전자 장치(100)는 기 설정된 타 전자 장치들에게 상태 정보 전송을 요청하고, 타 전자 장치들로부터 상태 정보를 수신할 수 있다. 그리고 전자 장치(100)는 수신한 상태 정보에 기초하여 현재 타 전자 장치들의 동작 상태를 파악하고, 사용자 수면 상태에 따라 동작 상태 변경이 필요한 경우에만 제어 명령을 타 전자 장치에 전송할 수 있다. 예컨대, TV로부터 수신한 상태 정보에 기초하였을 때 이미 TV가 off 상태인 것으로 파악된 경우, 전자 장치(100)는 사용자 수면 상태에 따라 TV를 off하기 위한 제어 명령을 전송하지 않는다.
상술한 다양한 실시 예들에 따르면 사용자의 수면 상태에 따라 실시간으로 전자 장치들의 동작 상태가 제어될 수 있으므로 사용자의 편의성이 더욱 향상될 수 있다.
도 8 내지 도 10은 본 개시의 일 실시 예에 따른 전자 장치(100)의 렘 수면 또는 비렘 수면 상태 판단방법을 설명하기 위한 흐름도이다.
도 8은 평균 HR Data 추출 및 수집을 설명하기 위한 흐름도이다.
도 8을 참고하면, 먼저 프로세서(140)는 ECG 센서 또는 PPG 센서로부터 계산된 평균 HR 데이터(평균 Hear Rate 데이터)를 수집한다(S810). 이 경우, 30초(1 epoch) 구간에서 6 초 동안의 HR Data Group의 평균 HR(mHR; mean HR)을 계산한다.
그리고, 프로세서(140)는 mHR Data 수집 저장소에 수집된 mHR 데이터를 저장한다(S820).
그리고, 프로세서(140)는 저장된 mHR Data의 개수(n)가 20개보다 크거나 같은지 판단한다(S830). 이는, Feature 추출 시, 최소한으로 필요한 mHR Data의 개수를 20개로 미리 지정한 것에 기초한 것이다.
저장된 mHR Data의 개수(n)가 20개보다 적으면(S830, N), 계속 평균 HR Data를 수집한다.
그리고, 프로세서(140)는 저장된 mHR Data의 개수(n)가 20개보다 크거나 같으면(S830, Y), 저장된 mHR Data의 개수(n)가 60개보다 크거나 같은지 판단한다(S840). 이는, Feature 추출 시, 연산되는 mHR Data의 개수를 60개로 미리 지정한 것에 기초한 것이다.
저장된 mHR Data의 개수(n)가 60개보다 적으면(S840, N), 20개의 mHR Data를 60개로 복제한다(S850).
그리고, 저장된 mHR Data의 개수(n)가 60개보다 크거나 같으면(S840, Y), 이를 60 epoch의 mHR Data 저장소에 저장한다(S860).
그리고, 복제되기 전 mHR의 데이터 개수가 60epoch이면, mHR Data 저장소의 Memory를 60개에서 50개로 Shift시킨다(S870).
이어서, 도 9는 Feature Detection 및 단계 추정을 설명하기 위한 흐름도이다.
도 9를 참고하면, 이전 mHR Data들(30epoch)과 현재 mHR Data들(60 epoch)을 한 Memory에 정렬하여 Smoothing 알고리즘을 적용(Window Size 60으로 고정)한다(S910). 이는, 잡음 때문에 데이터에 좋지 않은 미세한 변동이나 불연속성이 존재하기 때문에, 이러한 변동이나 불연속성을 약하게 하거나 제거하기 위함이다. 또한, 본 단계는 주파수 영역에서의 처리로서, 저역 통과 필터에 의해 고주파 성분을 제거한다.
그리고, 프로세서(140)는 Smoothing 알고리즘 결과에서 30 epoch을 제거한 결과가 'mHR Group의 평균값 + 과거 Threshold 값'을 2로 나눈 값보다 작은지를 판단한다(S920). 즉, 본 단계는 1차 비교 후 분리하는 단계이다.
Smoothing 알고리즘 결과에서 30 epoch을 제거한 결과가 'mHR Group의 평균값 + 과거 Threshold 값'을 2로 나눈 값보다 작은 경우(S920, Y)는 nREM Stage로 지정된다(S930). 그리고, Smoothing 알고리즘 결과에서 30 epoch을 제거한 결과가 'mHR Group의 평균값 + 과거 Threshold 값'을 2로 나눈 값보다 작지 않은 경우(S920, N), REM Stage로 지정된다(S940).
그리고, 프로세서(140)는 Smoothing 알고리즘 결과에서 30 epoch을 제거한 Memory와 Smoothing 알고리즘 결과 값을 담고 있는 결과 Memory의 차를 구한다(S950). 여기서, Smoothing 알고리즘 결과에서 30 epoch을 제거한 Memory는 pS_MeanHR[i]이고, Smoothing 알고리즘 결과값을 담고 있는 결과 Memory: pSS_MeanHR[i]이다. 따라서, pDiff_S_MeanHR[i] = pS_MeanHR[i] - pSS_MeanHR[i].
그리고 프로세서(140)는 Smoothing 알고리즘 결과에서 30 epoch을 제거한 Memory와 Smoothing 알고리즘 결과값을 담고 있는 결과 Memory의 차의 값이 0보다 작은지 판단한다(S960). 즉, 본 단계는 2차 비교 후 분리하는 단계이다.
Smoothing 알고리즘 결과에서 30 epoch을 제거한 Memory와 Smoothing 알고리즘 결과값을 담고 있는 결과 Memory의 차의 값이 0보다 작으면(S960, Y), nREM Stage로 지정된다(S970). 그리고, Smoothing 알고리즘 결과에서 30 epoch을 제거한 Memory와 Smoothing 알고리즘 결과값을 담고 있는 결과 Memory의 차의 값이 0보다 작지 않으면(S960, N), REM Stage로 지정된다(S980).
이어서, 도 10은 추정된 단계 보정 및 최종 결과 도출을 설명하기 위한 흐름도이다.
도 10을 참고하면, 프로세서(140)는 이전 Stage Data 5epoch과 현재 Stage 10epoch을 한 메모리에 정렬한 후, Smoothing 알고리즘을 적용(Window Size는 10으로 고정)한다(S1010). 여기서, 10epoch 결과 중 5epoch만 결과에 반영한다. REM Sleep은 연속성을 갖는 특징이 있기 때문에 Smoothing 후 특정 Level 구간만 사용한다.
그리고 프로세서(140)는 Wake Level보다 작은지를 판단한다(S1020). 이 경우, REM Stage Memory에서 처음 5epoch의 Memory를 버린다(REM Stage Memory 10epoch).
Wake Level보다 작지 않으면 최종 nREM Stage로 지정되고(S1030), Wake Level보다 작으면 최종 REM Stage로 지정된다(S1040). 여기서, REM Stage 10epoch 중 처음 5epoch을 참값으로 판단하고, 5번째 epoch의 Stage 값을 결과 데이터로 Return 한다.
도 11 내지 도 12는 전자 장치(100)의 각성 상태 판단방법을 설명하기 위한 흐름도이다.
도 11은, 가속도 데이터 수집과, Feature Data 추출 및 단계 추정을 설명하기 위한 흐름도이다.
도 11을 참고하면, 가속도(X,Y,Z 축) Data를 10Hz 주기로 전송한다(S1110).
그리고, 프로세서(140)는 가속도 Data를 IIR SOS Filter 처리한 후, 3축 데이터의 합을 구한다(S1120). 여기서, IIR Filter의 Bandwidth는 0.5Hz이고, pOutput_ACC_Sum[g_nRawDataCnt] = Abs(Filter(X) + Abs(Filter(X)) + Abs(Filter(X))).
상기 S1110 단계와 S1120 단계와 같이 가속도 데이터를 수집하고, Feature Data 추출 및 수면 단계 추정이 수행된다.
구체적으로, 프로세서(140)는 30초 동안 데이터의 개수가 300개보다 크거나 같은지 판단한다(S1130). 즉, g_nRawDataCnt == SAMPLE_DATA_LENGTH(=300). 이는, 1epoch이 30초이고, 10Hz의 Sampling 주파수를 사용하기 때문에 300개의 Data가 필요한 것이다.
30초 동안 데이터의 개수가 300개보다 크거나 같지 않으면(S1130, N), 다시 S1110 단계로 돌아간다.
30초 동안 데이터의 개수가 300개보다 크거나 같으면(S1130, Y), 프로세서(140)는 Feature Data를 추출하기 위하여 Sum한 결과의 데이터들을 가중치를 적용하여 Median 알고리즘과 평균 연산을 수행한다(S1140). 여기서 Feature Data 추출은, Activity = 0.4*median(sum_data) + 0.6*mean(sum_data)에 기초한다.
그리고 프로세서(140)는 Activity의 Length가 10 epoch 이상인지 판단한다(S1150). 이는 Wake Stage를 추정하기 위한 최소한의 Epoch을 10epoch으로 설정한 것에 기초한다.
Activity의 Length가 10 epoch 이상이 아니면(S1150, N), 다시 S1110 단계로 돌아간다.
Activity의 Length가 10 epoch 이상이면(S1150, Y), 프로세서(140)는 이전 Feature Data 5epoch과 현재 Feature Data 10epoch의 데이터를 한 Memory에 정렬하여 Smoothing 알고리즘을 적용(Window size는 10으로 고정)한다(S1160). 여기서, Smoothing 알고리즘 처리 후, Memory의 처음 5epoch을 삭제한다.
그리고, 프로세서(140)는 Smoothing이 적용된 Feature Data의 길이가 15 epoch과 같은지 판단한다(S1170). 본 단계에선, 이전 과정에서 Smoothing 알고리즘을 사용하기 때문에 5epoch을 추가로 더 받아 연산한다.
Smoothing이 적용된 Feature Data의 길이가 15 epoch과 같지 않으면(S1170, N), 다시 S1110 단계로 돌아간다.
Smoothing이 적용된 Feature Data의 길이가 15 epoch과 같으면(S1170, Y), 프로세서(140)는 Smoothing이 적용된 Feature Data의 값이 특정 Motion 값 이상인지 판단한다(S1180).
Smoothing이 적용된 Feature Data의 값이 특정 Motion 값 이상이면(S1180, Y), 프로세서(140)는 현재 Stage를 Wake 단계로 판단한다(S1190).
Smoothing이 적용된 Feature Data의 값이 특정 Motion 값 이상이 아니면, (S1180, N), 프로세서(140)는 Wake 상태와 Sleep 상태를 판단하기 위하여 Threshold를 설정한다(S1191).
여기서, Threshold 1은 Smoothing된 feature data의 평균값과 이전 Threshold 값을 이용하여 설정된다. Threshold 1=(Mean(pFeatureData_Smooth, FEATURE_SIZE)+g_dUpdata_Threshold)/2.0
그리고, Threshold 2는 이전 2epoch의 데이터를 이용하여 Threshold가 설정된다. Threshold 2 = ((pFeatureData_Smooth[i-2]+pFeatureData_Smooth[i-1]_/2.0)+0.5
그리고, 프로세서(140)는 Smoothing 이 적용된 Feature Data들이 2개의 Threshold 보다 작은지 판단한다(S1192). 여기서 두가지 조건은 다음과 같다.
조건 1 = (pFeatureData_Smooth[i] < g_dThreshold+(g_dThreshold*0.15)
조건 2 = (pFeatureData_Smooth[i] < Threshold2)
Smoothing 이 적용된 Feature Data들이 2개의 Threshold 보다 작지 않으면(S1192, N), 프로세서(140)는 현재 Stage를 Wake 단계로 판단한다(S1193).
Smoothing 이 적용된 Feature Data들이 2개의 Threshold 보다 작으면(S1192, Y), 프로세서(140)는 현재 Stage를 nREM 단계로 판단한다(S1194).
이어서, 도 12는 추정된 단계 보정 및 최종 결과 도출을 설명하기 위한 흐름도이다.
도 12를 참고하면, 프로세서(140)는 Wake Stage 영역 재설정 및 시작 시, 10epoch은 Wake로 설정한다(S1210). pEstimated_Wake[0:9]=Wake state
이 경우, Wake State에서 Feature Data의 값이 큰 값으로 연속적으로 나타난 구간은 Wake State에서 '0'으로 설정하고 nREM Stage로 변경한다. 그리고, Wake State Group에서 연속적으로 Wake가 5epoch 이상 발생하면 Wake State Group의 양쪽 Wake State를 '0'으로 설정하고 nREM Stage로 변경한다.
그리고, 프로세서(140)는 같은 epoch에 wake와 sleep이 동시에 발생하였는지 판단한다(S1220).
같은 epoch에 wake와 sleep이 동시에 발생한 경우(S1220, Y), Wake에 우선 순위를 준다(S1230).
같은 epoch에 wake와 sleep이 동시에 발생하지 않은 경우(S1220, N), 프로세서(140)는 Unknown 구간을 이전의 event가 이어지도록 변경한다(S1240).
그리고, 프로세서(140)는 pEstimated_Wake + pEstimated_Sleep에 기초하여 Final Event를 생성한다(S1250). 이 경우, Final Event 10epoch 중 처음 5 epoch을 참값으로 판단한다. 그리고 5번째 epoch의 Stage값을 결과 데이터로 Return한다.
도 13은 본 개시의 또 다른 실시 예에 따른 전자 장치(100)의 수면 상태 분석 방법을 설명하기 위한 흐름도이다.
도 13을 참고하면, 블럭 13A는 REM 단계 추정방법에 대한 것이고, 블럭 13B는 Wake 단계 추정 및 실시간 수면 효율을 구하는 방법에 대한 것이다.
여기서 Epoch Length는 30초이고, 사용된 신호는 ECG(Heart Rate, Epoch 당 20% 구간 사용)이다.
REM 단계 추정에선, 최근 개인 수면 데이터 베이스(S1310)가 사용될 수 있다. 최근 개인 수면 데이터 베이스는 MeanHR로 구성되고, 수면 효율이 70%이상일 때 사용된다.
프로세서(140)는 실시간 HR Data를 수집하고(S1311), Data를 저장하여(S1312), 20 epoch 이상의 데이터가 수집되었는지 판단한다(S1313). 20 epoch 이상의 데이터가 수집되지 않았으면(S1313, N) 다시 S1311단계로 돌아간다.
20 epoch 이상의 데이터가 수집되었으면(S1313, Y), 프로세서(140)는 저장된 Data를 MeanHR 연산하고 이것을 수면 DB와 병합(merge)한다(S1320).
그리고 프로세서(140)는 특정 오브젝트를 이용하여 Butterworth IIR filter design을 수행한다(S1321). 그리고, 프로세서(140)는 Zero-phase digital filtering(0.1~0.5Hz)를 수행한다(S1322). 그리고 프로세서(140)는 REM stage를 추정한다(S1323).
한편, 프로세서(140)는 가속도 데이터 X, Y, Z 축을 수집한다(S1340). 그리고 프로세서(140)는 30초 동안 데이터를 저장한다(1 epoch 단위로 logic 수행)(S1341).
그리고 프로세서(140)는 SUM(3축 데이터 0.5Hz IIR Filter 및 절대값)을, sum_data = [abs(Y) + abs(Z)]에 기초하여 산출한다(S1330).
그리고, 프로세서(140)는 Feature Data를 추출한다(S1331). 구체적으로, Activity = 0.4*median(sum_data)+0.6*mean(sum_data)에 기초하여 Feature Data를 추출한다.
그리고 프로세서(140)는 Activity를 10 epoch 단위로 Smoothing(Moving Average)한다(S1332).
그리고, 프로세서(140)는 현재 상태 이전 2 epoch의 데이터를 가지고 Threshold를 결정한다(S1333). 그리고, Wake Stage를 추정한다(S1334). 그 결과에 기초하여, REM Stage에서 Wake Stage를 제외한다(S1324).
그리고 프로세서(140)는 최종 REM Stage를 추정한다(S1325). 이 경우, 이전 10epoch Stage만 사용된다.
즉, 상술한 알고리즘의 input data는 평균 HR 데이터를 사용하며 이 데이터는 1epoch(30초)당 20%의 구간만 연산에 사용된다. 그리고 최근 사용자 수면 DB는 평균 HR로 구성된 데이터를 사용하게 되고 이 최근 수면 DB는 수면 효율이 70%이상인 데이터 군만 사용하게 된다.
구체적으로, 상술한 알고리즘은 평균 HR을 사용하여 REM 단계를 추정하고 가속도 데이터를 사용하여 Wake 단계를 추정한다. Wake 단계는 REM 단계보다 우선 순위가 높으며 Wake 단계도 아니고 REM 단계도 아닌 구간은 Deep 구간으로 설정한다. REM 추출 알고리즘은 feature 추출 과정을 거쳐 REM 단계를 추정하는 부분, 마지막으로 후처리 과정을 거쳐서 최종적으로 REM 영역을 찾게 된다. Wake 영역 검출은 REM 추출 과정처럼 feature 추출 과정을 거친 후, Moving Average 함수를 10epoch 마다 수행하며 Threshold를 정하게 된다. 그리고 이 Threshold를 기준으로 Wake 영역을 산출하게 된다. 이 과정을 모두 마친 후에는 Wake의 개수를 추정하여 수면 효율을 구하게 되고 수면 단계 결과를 출력하게 된다. 출력된 수면 단계는 처음 10분 동안은 수면 상태를 알 수 없으며 5분 이후에 현재 상태를 알 수 있게 되어 있다. 따라서 Delay Time은 5분이다.
사용자의 최근 수면 정보는 전자 장치(100) 또는 사용자 단말 장치(200)에 표시되며, 알고리즘 연산에도 사용되어 메모리의 재 활용성이 크다는 장점이 있다. 또한, 사용자가 자는 동안에 전자 장치(100)는 각종 타 전자 장치를 제어할 수 있다. 또한, 전자 장치(100)의 배터리가 부족한 경우 수동으로 혹은 자동으로 HRM(Heart Rate Monitoring) 센서의 측정 시간을 조정할 수 있으므로, 배터리를 효율적으로 사용하면서 수면 상태도 측정할 수 있는 장점이 있다.
한편, 이상에서 설명된 다양한 실시 예들은 소프트웨어(software), 하드웨어(hardware) 또는 이들의 조합된 것을 이용하여 컴퓨터(computer) 또는 이와 유사한 장치로 읽을 수 있는 기록 매체 내에서 구현될 수 있다. 하드웨어적인 구현에 의하면, 본 개시에서 설명되는 실시 예들은 ASICs(Application Specific Integrated Circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors), 기타 기능 수행을 위한 전기적인 유닛(unit) 중 적어도 하나를 이용하여 구현될 수 있다. 일부의 경우에 본 명세서에서 설명되는 실시 예들이 프로세서(140) 자체로 구현될 수 있다. 소프트웨어적인 구현에 의하면, 본 명세서에서 설명되는 절차 및 기능과 같은 실시 예들은 별도의 소프트웨어 모듈들로 구현될 수 있다. 상기 소프트웨어 모듈들 각각은 본 명세서에서 설명되는 하나 이상의 기능 및 작동을 수행할 수 있다.
한편, 상술한 본 개시의 다양한 실시 예들에 따른 전자 장치의 제어방법은 비일시적 판독 가능 매체(non-transitory readable medium) 에 저장될 수 있다. 이러한 비일시적 판독 가능 매체는 다양한 장치에 탑재되어 사용될 수 있다.
비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 방법을 수행하기 위한 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.
또한, 이상에서는 본 개시의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 개시는 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 개시의 요지를 벗어남이 없이 당해 개시가 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 개시의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
100: 전자 장치 110: 제1 센서
120: 제2 센서 130: 통신부
140: 프로세서

Claims (20)

  1. 전자 장치에 있어서,
    배터리;
    가속도 센서, 자이로 센서 및 중력 센서 중 적어도 하나로 구현되며, 사용자의 움직임에 따른 움직임 신호를 생성하는 제1 센서;
    상기 사용자의 심장 박동을 측정하기 위한 심박 센서로 구현되며, 상기 사용자에 접촉되어 사용자 생체 신호를 생성하는 제2 센서;
    기설정된 주기마다 상기 생성된 움직임 신호 및 상기 생성된 사용자 생체 신호를 이용하여 사용자 수면 상태를 판단하고, 상기 기설정된 주기마다 상기 판단된 수면 상태에 기초하여 타 전자 장치의 동작 상태를 결정하는 프로세서; 및
    상기 결정된 동작 상태에 대응되는 제어 명령을 상기 타 전자 장치에 전송하는 통신부;를 포함하며,
    상기 제2 센서는,
    빛을 조사하여 PPG(Photoplethysmography) 신호를 생성하는 센서이며,
    상기 프로세서는,
    상기 배터리의 충전량이 기 설정된 값 이상이면 연속적으로 빛을 조사하도록 상기 제2 센서를 제어하고,
    상기 충전량이 상기 기 설정된 값 미만이면, 상기 기 설정된 주기 내에서 기 설정된 시간 동안 상기 빛을 조사하고, 상기 기 설정된 시간을 제외한 나머지 시간 동안에는 상기 빛을 조사하지 않도록 상기 제2 센서를 제어하며,
    상기 기 설정된 주기 동안 생성되는 움직임 신호 및 PPG 신호에 기초하여, 상기 사용자의 수면 상태를 판단하고,
    상기 제2 센서에 의해 단속적으로 빛이 조사되는 시간은 상기 배터리의 충전 상태에 기초하여 결정되는, 전자 장치.
  2. 제1항에 있어서,
    상기 프로세서는,
    상기 생성된 움직임 신호 및 상기 생성된 사용자 생체 신호를 이용하여 사용자 수면 상태를 각성 상태, 비렘 수면 상태 및 렘 수면 상태 중 어느 하나의 상태로 판단하는 전자 장치.
  3. 제1항에 있어서,
    상기 프로세서는,
    한 주기 동안 생성된 사용자 생체 신호를 상기 한 주기 이전에 생성된 사용자 생체 신호를 이용하여 스무딩 처리하고, 상기 스무딩 처리된 사용자 생체 신호와 기설정된 값을 비교하여 상기 한 주기에서의 사용자 수면 상태를 판단하는 전자 장치.
  4. 제1항에 있어서,
    수면 분석 개시 명령을 입력받는 입력부;를 더 포함하고,
    상기 프로세서는,
    상기 수면 분석 개시 명령이 입력되면, 상기 제1 센서 및 상기 제2 센서 각각이 움직임 신호 및 사용자 생체 신호를 생성하도록 제어하는 전자 장치.
  5. 제4항에 있어서,
    상기 입력부는,
    수면 분석 종료 명령을 입력받고,
    상기 프로세서는,
    상기 수면 분석 종료 명령이 입력되면, 상기 수면 분석 개시 명령의 입력 시점부터 상기 수면 분석 종료 명령이 입력된 시점까지의 수면 효율을 산출하는 전자 장치.
  6. 삭제
  7. 삭제
  8. 삭제
  9. 제1항에 있어서,
    상기 프로세서는,
    타 전자 장치의 동작 상태가 변경되면, 변경된 동작 상태에 대응되는 제어 명령이 전송되도록 상기 통신부를 제어하는 전자 장치.
  10. 제1항에 있어서,
    상기 전자 장치는,
    웨어러블 장치인 전자 장치.
  11. 전자 장치의 제어방법에 있어서,
    전자 장치의 제1 센서를 통해 사용자의 움직임에 따른 움직임 신호를 생성하는 단계;
    상기 사용자에 접촉된 상기 전자 장치의 제2 센서를 통하여 사용자 생체 신호를 생성하는 단계;
    기설정된 주기마다 상기 생성된 움직임 신호 및 상기 생성된 사용자 생체 신호를 이용하여 사용자 수면 상태를 판단하는 단계;
    상기 기설정된 주기마다 상기 판단된 수면 상태에 기초하여 타 전자 장치의 동작 상태를 결정하는 단계; 및
    상기 결정된 동작 상태에 대응되는 제어 명령을 상기 타 전자 장치에 전송하는 단계;를 포함하며,
    상기 제1 센서는,
    가속도 센서, 자이로 센서 및 중력 센서 중 적어도 하나이고,
    상기 제2 센서는,
    상기 사용자의 심장 박동을 측정하기 위한 심박 센서이며,
    상기 사용자 생체 신호를 생성하는 단계는,
    상기 전자 장치 내 배터리의 충전량이 기 설정된 값 이상이면 상기 제2 센서가 연속적으로 빛을 조사하여 PPG(Photoplethysmography) 신호를 생성하는 단계; 및
    상기 충전량이 상기 기 설정된 값 미만이면, 상기 제2 센서가 상기 기 설정된 주기 내에서 기 설정된 시간 동안 상기 빛을 조사하고, 상기 기 설정된 시간을 제외한 나머지 시간 동안에는 상기 빛을 조사하지 않는 단계;를 포함하고,
    상기 수면 상태를 판단하는 단계는,
    상기 기 설정된 주기 동안 생성되는 움직임 신호 및 PPG 신호에 기초하여, 사용자의 수면 상태를 판단하는 단계;를 포함하며,
    상기 제2 센서에서 단속적으로 빛을 조사하는 시간은 상기 배터리의 충전 상태에 기초하여 결정되는, 전자 장치의 제어방법.
  12. 제11항에 있어서,
    상기 판단하는 단계는,
    상기 생성된 움직임 신호 및 상기 생성된 사용자 생체 신호를 이용하여 사용자 수면 상태를 각성 상태, 비렘 수면 상태 및 렘 수면 상태 중 어느 하나의 상태로 판단하는 전자 장치의 제어방법.
  13. 제11항에 있어서,
    상기 판단하는 단계는,
    한 주기 동안 생성된 사용자 생체 신호를 상기 한 주기 이전에 생성된 사용자 생체 신호를 이용하여 스무딩 처리하고, 상기 스무딩 처리된 사용자 생체 신호와 기설정된 값을 비교하여 상기 한 주기에서의 사용자 수면 상태를 판단하는 전자 장치의 제어방법.
  14. 제11항에 있어서,
    수면 분석 개시 명령을 입력받는 단계; 및
    상기 수면 분석 개시 명령이 입력되면, 상기 제1 센서 및 상기 제2 센서 각각이 움직임 신호 및 사용자 생체 신호를 생성하도록 제어하는 단계;를 더 포함하는 전자 장치의 제어방법.
  15. 제14항에 있어서,
    수면 분석 종료 명령을 입력받는 단계; 및
    상기 수면 분석 종료 명령이 입력되면, 상기 수면 분석 개시 명령의 입력 시점부터 상기 수면 분석 종료 명령이 입력된 시점까지의 수면 효율을 산출하는 단계;를 더 포함하는 전자 장치의 제어방법.
  16. 삭제
  17. 삭제
  18. 삭제
  19. 제11항에 있어서,
    상기 전송하는 단계는,
    타 전자 장치의 동작 상태가 변경되면, 변경된 동작 상태에 대응되는 제어 명령을 전송하는 전자 장치의 제어방법.
  20. 전자 장치의 제어 방법을 실행하기 위한 프로그램을 포함하는 컴퓨터 판독가능 기록매체에 있어서,
    상기 제어 방법은,
    전자 장치의 제1 센서를 통해 사용자의 움직임에 따른 움직임 신호를 생성하는 단계;
    상기 사용자에 접촉된 상기 전자 장치의 제2 센서를 통하여 사용자 생체 신호를 생성하는 단계;
    기설정된 주기마다 상기 생성된 움직임 신호 및 상기 생성된 사용자 생체 신호를 이용하여 사용자 수면 상태를 판단하는 단계;
    상기 기설정된 주기마다 상기 판단된 수면 상태에 기초하여 타 전자 장치의 동작 상태를 결정하는 단계; 및
    상기 결정된 동작 상태에 대응되는 제어 명령을 상기 타 전자 장치에 전송하는 단계;를 포함하며,
    상기 제1 센서는,
    가속도 센서, 자이로 센서 및 중력 센서 중 적어도 하나이고,
    상기 제2 센서는,
    상기 사용자의 심장 박동을 측정하기 위한 심박 센서이며,
    상기 사용자 생체 신호를 생성하는 단계는,
    상기 전자 장치 내 배터리의 충전량이 기 설정된 값 이상이면 상기 제2 센서가 연속적으로 빛을 조사하여 PPG(Photoplethysmography) 신호를 생성하는 단계; 및
    상기 충전량이 상기 기 설정된 값 미만이면, 상기 제2 센서가 상기 기 설정된 주기 내에서 기 설정된 시간 동안 상기 빛을 조사하고, 상기 기 설정된 시간을 제외한 나머지 시간 동안에는 상기 빛을 조사하지 않는 단계;를 포함하고,
    상기 수면 상태를 판단하는 단계는,
    상기 기 설정된 주기 동안 생성되는 움직임 신호 및 PPG 신호에 기초하여, 사용자의 수면 상태를 판단하는 단계;를 포함하며,
    상기 제2 센서에서 단속적으로 빛을 조사하는 시간은 상기 배터리의 충전 상태에 기초하여 결정되는 기록매체.
KR1020160009382A 2016-01-26 2016-01-26 전자 장치 및 그의 제어방법 KR102635868B1 (ko)

Priority Applications (6)

Application Number Priority Date Filing Date Title
KR1020160009382A KR102635868B1 (ko) 2016-01-26 2016-01-26 전자 장치 및 그의 제어방법
US15/350,544 US10417901B2 (en) 2016-01-26 2016-11-14 Electronic device and control method thereof
PCT/KR2017/000645 WO2017131384A1 (en) 2016-01-26 2017-01-19 Electronic device and control method thereof
CN201780008111.9A CN108496143B (zh) 2016-01-26 2017-01-19 电子设备及其控制方法
EP17744506.1A EP3377963B1 (en) 2016-01-26 2017-01-19 Electronic device and control method thereof
US16/455,145 US10706717B2 (en) 2016-01-26 2019-06-27 Electronic device and control method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160009382A KR102635868B1 (ko) 2016-01-26 2016-01-26 전자 장치 및 그의 제어방법

Publications (2)

Publication Number Publication Date
KR20170089231A KR20170089231A (ko) 2017-08-03
KR102635868B1 true KR102635868B1 (ko) 2024-02-14

Family

ID=59359498

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160009382A KR102635868B1 (ko) 2016-01-26 2016-01-26 전자 장치 및 그의 제어방법

Country Status (5)

Country Link
US (2) US10417901B2 (ko)
EP (1) EP3377963B1 (ko)
KR (1) KR102635868B1 (ko)
CN (1) CN108496143B (ko)
WO (1) WO2017131384A1 (ko)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11712557B2 (en) 2013-05-30 2023-08-01 Neurostim Technologies Llc Detection and treatment of obstructive sleep apnea
JP6633408B2 (ja) 2016-02-12 2020-01-22 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 制御方法、制御装置及び機器
CN107688344B (zh) * 2017-08-22 2021-04-23 广东美的智能机器人有限公司 机器人的休眠控制方法及其装置
US10952680B2 (en) 2017-12-27 2021-03-23 X Development Llc Electroencephalogram bioamplifier
US10671164B2 (en) 2017-12-27 2020-06-02 X Development Llc Interface for electroencephalogram for computer control
US10901508B2 (en) * 2018-03-20 2021-01-26 X Development Llc Fused electroencephalogram and machine learning for precognitive brain-computer interface for computer control
CN109067627A (zh) * 2018-08-30 2018-12-21 Oppo广东移动通信有限公司 家电设备控制方法、装置、穿戴式设备及存储介质
CN109260566A (zh) * 2018-09-12 2019-01-25 深圳众赢时代科技有限公司 使用投影技术增强睡眠技术
CN109528158B (zh) * 2018-10-15 2021-07-06 合肥思立普医疗科技发展有限公司 一种智能睡眠质量检测装置及检测系统
GB2578322A (en) * 2018-10-23 2020-05-06 Centrica Plc Systems and methods for smart home control
US11720081B2 (en) * 2019-03-18 2023-08-08 Duke University Mobile brain computer interface
US11478638B2 (en) 2019-03-22 2022-10-25 Neurostim Technologies Llc Detection and treatment of obstructive sleep apnea
US11305110B2 (en) 2019-03-22 2022-04-19 Neurostim Technologies Llc Detection and treatment of obstructive sleep apnea
US10827972B1 (en) * 2019-06-19 2020-11-10 Bose Corporation Sleep staging using an in-ear photoplethysmography (PPG)
KR20190114925A (ko) * 2019-09-19 2019-10-10 엘지전자 주식회사 소리 신호 분류를 이용한 인공지능장치 및 그 방법
CN110838226B (zh) * 2019-12-02 2020-12-04 国网江苏省电力有限公司南通供电分公司 一种省电式遥控开关
CN113311736A (zh) * 2020-02-27 2021-08-27 Oppo广东移动通信有限公司 可穿戴设备的控制方法、装置、电子设备和可读存储介质
KR20210136702A (ko) * 2020-05-08 2021-11-17 삼성전자주식회사 생체 주기 판단 방법 및 이를 지원하는 전자 장치
CN112401838B (zh) * 2020-11-16 2023-07-14 上海创功通讯技术有限公司 一种可穿戴设备检测睡眠状态的方法及可穿戴设备
KR20230058322A (ko) * 2021-10-21 2023-05-03 구글 엘엘씨 수면 타입에 기초하여 사용자들을 분류함으로써 수면 데이터의 측정을 개선하기 위한 방법들 및 시스템들

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005128976A (ja) * 2003-09-30 2005-05-19 Toshiba Corp 機器制御装置、機器制御システム及び機器制御方法

Family Cites Families (69)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0737998B2 (ja) * 1988-11-16 1995-04-26 三菱電機株式会社 電気量検出器
DE69027292T2 (de) * 1990-01-16 1997-01-23 Hitachi Ltd Verfahren und System zur digitalen Signalverarbeitung.
JPH06230861A (ja) * 1993-01-29 1994-08-19 Sony Corp 電源制御装置
JP3598873B2 (ja) * 1998-08-10 2004-12-08 トヨタ自動車株式会社 二次電池の状態判定方法及び状態判定装置、並びに二次電池の再生方法
KR101000917B1 (ko) * 2003-01-20 2010-12-13 삼성전자주식회사 휴대용 전자기기에 있어서 저전압상태시 전원 자동차단방법
US7524279B2 (en) 2003-12-31 2009-04-28 Raphael Auphan Sleep and environment control method and system
US9131891B2 (en) * 2005-11-01 2015-09-15 Earlysense Ltd. Monitoring a condition of a subject
KR100646868B1 (ko) * 2004-12-29 2006-11-23 삼성전자주식회사 피부전도도와 심박 정보를 이용한 홈 제어시스템 및 그 방법
US8021299B2 (en) 2005-06-01 2011-09-20 Medtronic, Inc. Correlating a non-polysomnographic physiological parameter set with sleep states
JP4952971B2 (ja) * 2005-07-12 2012-06-13 日立工機株式会社 電池寿命判別装置
JP4259592B2 (ja) * 2006-09-13 2009-04-30 セイコーエプソン株式会社 電気光学装置および電子機器
JP5141089B2 (ja) * 2007-05-15 2013-02-13 新神戸電機株式会社 読取装置
US7509163B1 (en) 2007-09-28 2009-03-24 International Business Machines Corporation Method and system for subject-adaptive real-time sleep stage classification
US8882684B2 (en) * 2008-05-12 2014-11-11 Earlysense Ltd. Monitoring, predicting and treating clinical episodes
KR101551881B1 (ko) * 2008-10-30 2015-09-21 삼성전자주식회사 통합적인 생체신호 처리장치 및 방법
KR20110118646A (ko) * 2009-01-05 2011-10-31 플렉스트로닉스, 인크 유기 발광 다이오드 광선치료 조명 시스템
US8193941B2 (en) 2009-05-06 2012-06-05 Empire Technology Development Llc Snoring treatment
US9826905B2 (en) * 2009-05-07 2017-11-28 Nellcor Puritan Bennett Ireland Using colored probes in patient monitoring
WO2011140113A1 (en) * 2010-05-03 2011-11-10 Lark Technologies, Inc. System and method for providing sleep quality feedback
CA2842275A1 (en) * 2010-07-22 2012-01-26 Ambicare Health Limited Disposable skin care device
US9241635B2 (en) * 2010-09-30 2016-01-26 Fitbit, Inc. Portable monitoring devices for processing applications and processing analysis of physiological conditions of a user associated with the portable monitoring device
US9167991B2 (en) * 2010-09-30 2015-10-27 Fitbit, Inc. Portable monitoring devices and methods of operating same
JP5720266B2 (ja) * 2011-01-21 2015-05-20 ソニー株式会社 発光素子駆動回路、発光装置、表示装置、および発光制御方法
US9141101B2 (en) * 2011-05-13 2015-09-22 Lutron Electronics Co., Inc. Wireless battery-powered remote control with glow-in-the-dark feature
EP2524647A1 (en) * 2011-05-18 2012-11-21 Alain Gilles Muzet System and method for determining sleep stages of a person
JP5874489B2 (ja) 2012-03-27 2016-03-02 富士通株式会社 睡眠状態判定装置及び睡眠状態判定方法
US9641239B2 (en) * 2012-06-22 2017-05-02 Fitbit, Inc. Adaptive data transfer using bluetooth
US9168419B2 (en) * 2012-06-22 2015-10-27 Fitbit, Inc. Use of gyroscopes in personal fitness tracking devices
US8948832B2 (en) * 2012-06-22 2015-02-03 Fitbit, Inc. Wearable heart rate monitor
US9044149B2 (en) * 2012-06-22 2015-06-02 Fitbit, Inc. Heart rate data collection
US9599632B2 (en) * 2012-06-22 2017-03-21 Fitbit, Inc. Fitness monitoring device with altimeter
US9044171B2 (en) * 2012-06-22 2015-06-02 Fitbit, Inc. GPS power conservation using environmental data
CA2883852A1 (en) * 2012-09-04 2014-03-13 Whoop, Inc. Systems, devices and methods for continuous heart rate monitoring and interpretation
US10660563B2 (en) * 2012-09-19 2020-05-26 Resmed Sensor Technologies Limited System and method for determining sleep stage
WO2014068537A2 (en) 2012-11-02 2014-05-08 Koninklijke Philips N.V. Electronic switch for controlling a device in dependency on a sleep stage
KR101926738B1 (ko) 2012-11-30 2018-12-07 엘지이노텍 주식회사 감지 장치 및 감지 장치를 통한 조명기기 제어 방법
US9152131B2 (en) * 2013-03-14 2015-10-06 Google Technology Holdings LLC Snooze alarm system for a wearable device
US20150182113A1 (en) * 2013-12-31 2015-07-02 Aliphcom Real-time fatigue, personal effectiveness, injury risk device(s)
CN108742559B (zh) * 2013-06-03 2022-01-07 飞比特公司 可佩戴心率监视器
KR102143499B1 (ko) * 2013-06-11 2020-08-11 삼성전자주식회사 휴대 단말 장치를 이용한 수면 품질 측정 방법 및 장치
US9606721B2 (en) * 2013-07-22 2017-03-28 Lg Electronics Inc. Mobile terminal and control method thereof
US9357492B2 (en) * 2013-08-05 2016-05-31 Qualcomm Incorporated WLAN-capable remote control device
WO2015084376A1 (en) * 2013-12-05 2015-06-11 Apple Inc. Wearable multi-modal physiological sensing sysem
CA2836431C (en) * 2013-12-16 2018-02-20 Blue Ocean Laboratories, Inc. A sleep system for obtaining sleep information
US11298075B2 (en) 2013-12-19 2022-04-12 Apple Inc. Physiological monitoring method and system
KR102302439B1 (ko) * 2014-02-21 2021-09-15 삼성전자주식회사 전자 장치
KR20150099678A (ko) * 2014-02-22 2015-09-01 삼성전자주식회사 전자 장치 운용 방법 및 이를 지원하는 전자 장치
CN105980008B (zh) 2014-02-24 2019-04-12 索尼公司 用于智能可穿戴设备的身体位置优化和生物信号反馈
US20150258301A1 (en) * 2014-03-14 2015-09-17 Aliphcom Sleep state management by selecting and presenting audio content
JP2014195710A (ja) 2014-05-27 2014-10-16 セイコーエプソン株式会社 生体情報測定装置、生体情報測定方法、および生体情報測定プログラム
US9867575B2 (en) * 2014-08-22 2018-01-16 Apple Inc. Heart rate path optimizer
US9874457B2 (en) 2014-05-30 2018-01-23 Microsoft Technology Licensing, Llc Adaptive lifestyle metric estimation
US9981107B2 (en) * 2014-06-05 2018-05-29 Eight Sleep Inc. Methods and systems for gathering and analyzing human biological signals
US9747433B2 (en) * 2014-06-24 2017-08-29 Google Technology Holdings, LLC Wearable electronic device and method for securing same
JP2016016203A (ja) * 2014-07-10 2016-02-01 セイコーエプソン株式会社 生体情報検出装置
US10278638B2 (en) 2014-07-21 2019-05-07 Withings System and method to monitor and assist individual's sleep
US10165954B2 (en) * 2014-07-31 2019-01-01 Salutron Inc. Integrated sensor modules
AU2015302050B2 (en) * 2014-08-10 2020-01-30 Autonomix Medical, Inc. Ans assessment systems, kits, and methods
US20160051158A1 (en) * 2014-08-22 2016-02-25 Apple Inc. Harmonic template classifier
US10172593B2 (en) * 2014-09-03 2019-01-08 Earlysense Ltd. Pregnancy state monitoring
US9808185B2 (en) * 2014-09-23 2017-11-07 Fitbit, Inc. Movement measure generation in a wearable electronic device
CN106797672B (zh) * 2014-10-02 2020-08-04 Lg 电子株式会社 移动终端及其控制方法
CN104270532A (zh) * 2014-10-27 2015-01-07 广州三星通信技术研究有限公司 通信终端及其处理事件提醒的方法和装置
CN104411036B (zh) * 2014-10-28 2016-09-21 广东小天才科技有限公司 一种基于生理特征控制照明设备的方法和智能穿戴设备
KR102354351B1 (ko) * 2014-12-04 2022-01-21 삼성전자주식회사 수면 상태를 결정하는 전자 장치 및 그 제어 방법
CN113951818A (zh) * 2014-12-30 2022-01-21 日东电工株式会社 用于睡眠监测的设备和方法
US20160262690A1 (en) * 2015-03-12 2016-09-15 Mediatek Inc. Method for managing sleep quality and apparatus utilizing the same
US20160313176A1 (en) * 2015-04-21 2016-10-27 Salutron, Inc. User-wearable devices including uv light exposure detector with calibration for skin tone
CN204928358U (zh) * 2015-09-11 2015-12-30 深圳市安顺节能科技发展有限公司 一种间歇性运转持续性供电的柴油发电机节能系统

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005128976A (ja) * 2003-09-30 2005-05-19 Toshiba Corp 機器制御装置、機器制御システム及び機器制御方法

Also Published As

Publication number Publication date
US10417901B2 (en) 2019-09-17
US20190318617A1 (en) 2019-10-17
EP3377963B1 (en) 2019-12-11
US10706717B2 (en) 2020-07-07
KR20170089231A (ko) 2017-08-03
WO2017131384A1 (en) 2017-08-03
EP3377963A1 (en) 2018-09-26
CN108496143A (zh) 2018-09-04
CN108496143B (zh) 2022-09-20
US20170213450A1 (en) 2017-07-27
EP3377963A4 (en) 2018-11-07

Similar Documents

Publication Publication Date Title
KR102635868B1 (ko) 전자 장치 및 그의 제어방법
US20210267529A1 (en) Multi-modal sleep system
US10206573B2 (en) Method of obtaining biometric information in electronic device and electronic device for the same
JP6276776B2 (ja) 睡眠段階に応じてデバイスを制御するための電子スイッチ
KR102313220B1 (ko) 웨어러블 디바이스 및 그 제어 방법
CN108670261B (zh) 运动状态检测方法、可佩戴设备以及装置
KR20180094907A (ko) 졸음 시작 검출 기법
US20160029974A1 (en) System and method for tracking biological age over time based upon heart rate variability using earphones with biometric sensors
WO2017067010A1 (zh) 睡眠评价显示方法和装置及评价设备
WO2017185846A1 (en) Apparatus and method for determining a health parameter of a subject
JP2016059736A (ja) 生体情報測定装置及びプログラム
KR102342825B1 (ko) 전자 장치, 그의 신호 처리 방법, 생체 신호 측정 시스템 및 비일시적 컴퓨터 판독가능 기록매체
CN115867186A (zh) 用于评估睡眠质量的电子装置和电子装置的操作方法
US20200237295A1 (en) Method for calculating recovery index based on rem sleep stage and electronic device thereof
KR102547612B1 (ko) 복수의 필터를 이용하여 외부 객체와 관련된 심박변이도 정보를 생성하기 위한 방법 및 이를 위한 장치
CN113520339B (zh) 睡眠数据有效性分析方法、装置及可穿戴设备
CN113520305B (zh) 一种光电感应器工作模式的确定方法及装置
US11701055B2 (en) Using personalized physiological parameters for sleep/wake detection
TWI556188B (zh) Automatic identification of state of mind and real - time control of embedded systems
US20230181103A1 (en) Apparatus and method for evaluating obstructive sleep apnea with ppg signal
KR102212608B1 (ko) 웨어러블 통신 단말 기반 반대편 손의 긁음 행위 인식 시스템 및 그 방법
EP4335477A1 (en) Electronic device providing user interface in accordance with sleeping state, and operation method thereof
Wakuda et al. Comfortable environment for human by IRT based adaptive and intelligent interface

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant