KR102314644B1 - 주변 디바이스의 정보를 제공하는 시스템 및 방법 - Google Patents

주변 디바이스의 정보를 제공하는 시스템 및 방법 Download PDF

Info

Publication number
KR102314644B1
KR102314644B1 KR1020150085141A KR20150085141A KR102314644B1 KR 102314644 B1 KR102314644 B1 KR 102314644B1 KR 1020150085141 A KR1020150085141 A KR 1020150085141A KR 20150085141 A KR20150085141 A KR 20150085141A KR 102314644 B1 KR102314644 B1 KR 102314644B1
Authority
KR
South Korea
Prior art keywords
user
information
peripheral
signal
search
Prior art date
Application number
KR1020150085141A
Other languages
English (en)
Other versions
KR20160148302A (ko
Inventor
원지선
김용
김진성
김화경
류종엽
문경진
이창현
임용현
전해인
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020150085141A priority Critical patent/KR102314644B1/ko
Priority to PCT/KR2016/006324 priority patent/WO2016204496A1/en
Priority to US15/184,437 priority patent/US10327715B2/en
Publication of KR20160148302A publication Critical patent/KR20160148302A/ko
Application granted granted Critical
Publication of KR102314644B1 publication Critical patent/KR102314644B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/7465—Arrangements for interactive communication between patient and care services, e.g. by using a telephone network
    • A61B5/747—Arrangements for interactive communication between patient and care services, e.g. by using a telephone network in case of emergency, i.e. alerting emergency services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W88/00—Devices specially adapted for wireless communication networks, e.g. terminals, base stations or access point devices
    • H04W88/02—Terminal devices
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/375—Electroencephalography [EEG] using biofeedback
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/40—Detecting, measuring or recording for evaluating the nervous system
    • A61B5/4076—Diagnosing or monitoring particular conditions of the nervous system
    • A61B5/4088—Diagnosing of monitoring cognitive diseases, e.g. Alzheimer, prion diseases or dementia
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/486—Bio-feedback
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4884—Other medical applications inducing physiological or psychological stress, e.g. applications for stress testing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802—Sensor mounted on worn items
    • A61B5/6803—Head-worn items, e.g. helmets, masks, headphones or goggles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6887—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/7405—Details of notification to user or communication with user or patient ; user input means using sound
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/746—Alarms related to a physiological condition, e.g. details of setting alarm thresholds or avoiding false alarms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F4/00—Methods or devices enabling patients or disabled persons to operate an apparatus or a device not forming part of the body 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/90—Services for handling of emergency or hazardous situations, e.g. earthquake and tsunami warning systems [ETWS]

Abstract

사용자의 생체 신호에 기초하여 사용자의 스트레스를 감지하고, 사용자의 스트레스가 감지되면 주변 디바이스의 정보를 출력하는 디바이스가 개시된다.

Description

주변 디바이스의 정보를 제공하는 시스템 및 방법{SYSTEM AND METHOD FOR PROVIDING INFORMATION OF PERIPHERAL DEVICE}
본 발명은 사용자의 스트레스 발생에 따라 주변 디바이스의 정보를 출력하는 시스템 및 방법에 관한 것이다.
대부분의 치매 환자들은 치매 초기에 기억 상실 증상을 겪는다. 기억 상실 증상을 겪는 치매 환자들은 기억 상실 증상이 발생되는 경우에, 사람 및 사물을 알아볼 수 없거나, 길을 찾지 못할 수 있다. 이에 따라, 치매 환자들은 주위 사람들의 도움 없이는 일상적인 생활을 하기가 어렵다. 또한, 일반적으로 치매 환자들은 주위 사람들에게 도움을 요청하는 때에 기억 상실 증상을 주위 사람들에게 알려야 하기 때문에, 치매 환자들은 수치심 또는 자괴감을 느낄 수 있다.
따라서, 치매 환자가 주위 사람들의 도움 없이도 스스로 일상 생활을 유지할 수 있도록 도움을 줄 수 있는 기술이 요구되고 있다.
일부 실시예는 사용자의 생체 신호에 기초하여 사용자의 스트레스 발생 여부를 결정하고, 사용자가 스트레스를 받고 있는 경우, 사용자의 주변의 디바이스에 관한 정보를 출력할 수 있는 시스템 및 방법을 제공한다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 제 1 측면은, 사용자의 생체 신호를 검출하는 센서; 적어도 하나의 주변 디바이스와 통신하는 통신부; 상기 생체 신호에 기초하여 상기 사용자의 스트레스 지수를 계산하고, 상기 스트레스 지수가 임계치 이상이면, 상기 주변 디바이스를 검색하고, 상기 검색된 적어도 하나의 주변 디바이스 중 제1 디바이스를 선택하는 제어부; 및 상기 제1 디바이스의 정보를 출력하는 출력부;를 포함하며, 상기 제어부는 상기 통신부를 이용하여 상기 주변 디바이스에게 검색 신호를 송신하고, 상기 주변 디바이스로부터 응답 신호를 수신하여 상기 주변 디바이스를 검색하는 디바이스를 제공할 수 있다.
또한, 상기 제어부는 상기 통신부를 이용하여 기설정된 방향으로 상기 검색 신호를 송신할 수 있다.
또한, 상기 생체 신호는, EEG(electroencephalography)를 포함할 수 있다.
또한, 상기 제어부는 상기 출력부를 이용하여 상기 제1 디바이스의 정보를 시각 정보 및 청각 정보 중 적어도 하나로 출력할 수 있다.
또한, 상기 제1 디바이스의 정보는 상기 제1 디바이스 기능의 실행에 대응되는 가이드 정보를 포함할 수 있다.
또한, 상기 제1 디바이스가 위험 디바이스인 경우, 상기 제어부는 상기 출력부를 이용하여 경고 신호를 출력할 수 있다.
또한, 상기 제1 디바이스가 위험 디바이스인 경우, 상기 제어부는 상기 통신부를 이용하여 기설정된 연락처로 알림을 전송할 수 있다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 제 2 측면은, 사용자의 생체 신호를 검출하는 단계; 상기 생체 신호에 기초하여 상기 사용자의 스트레스 지수를 계산하는 단계; 상기 스트레스 지수가 임계치 이상이면, 적어도 하나의 주변 디바이스에게 검색 신호를 송신하고, 상기 주변 디바이스로부터 응답 신호를 수신하여, 상기 주변 디바이스를 검색하는 단계; 상기 검색된 주변 디바이스 중 제1 디바이스를 선택하는 단계; 및 상기 제1 디바이스의 정보를 출력하는 단계를 포함하는 방법을 제공할 수 있다.
또한, 상기 검색 신호는 기설정된 방향으로 송신될 수 있다.
또한, 상기 생체 신호는, EEG(electroencephalography)를 포함할 수 있다.
또한, 상기 제1 디바이스의 정보는 음성 및 사운드 중 적어도 하나로 출력될 수 있다.
또한, 상기 제1 디바이스의 정보는 상기 제1 디바이스 기능의 실행에 대응되는 가이드 정보를 포함할 수 있다.
또한, 상기 제1 디바이스가 위험 디바이스인 경우, 경고 신호를 출력하는 단계를 더 포함할 수 있다.
또한, 상기 제1 디바이스가 위험 디바이스인 경우, 기설정된 연락처로 알림을 전송하는 단계를 더 포함할 수 있다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 제 3 측면은, 사용자의 생체 신호를 검출하는 센서; 댁내의 노드와 통신하는 통신부; 적어도 하나의 주변 디바이스의 댁내 위치 정보를 저장하는 저장부; 상기 생체 신호에 기초하여 상기 사용자의 스트레스 지수를 계산하고, 상기 스트레스 지수가 임계치 이상이면, 상기 노드와의 통신을 통해 결정된 디바이스의 댁내 위치를 이용하여 상기 적어도 하나의 주변 디바이스 중 제1 디바이스를 선택하는 제어부; 및 상기 제1 디바이스의 정보를 출력하는 출력부를 포함하는 디바이스를 제공할 수 있다.
또한, 상기 제어부는 상기 노드로부터 수신되는 노드 신호에 기초하여 디바이스의 댁내 위치를 결정하며, 상기 결정된 디바이스의 댁내 위치 및 상기 적어도 하나의 주변 디바이스의 댁내 위치를 비교함으로써 상기 제1 디바이스를 선택할 수 있다.
또한, 상기 제어부는 상기 디바이스에서 검출되는 자기장에 기초하여, 상기 디바이스의 위치를 결정할 수 있다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 제 4 측면은, 사용자의 생체 신호를 검출하는 센서; 주변의 사람 또는 물건을 촬영하는 촬영부; 상기 생체 신호에 기초하여 상기 사용자의 스트레스 지수를 계산하고, 상기 스트레스 지수가 임계치 이상이면, 상기 촬영된 사람 또는 물건의 이미지를 이용하여 상기 사람 또는 물건을 검색하는 제어부; 및 상기 검색된 사람 또는 물건의 정보를 출력하는 출력부를 포함하는 디바이스를 제공할 수 있다.
또한, 상기 제어부는 상기 촬영된 사람 또는 물건의 이미지와 상기 디바이스에 미리 저장된 상기 사람 또는 물건의 이미지를 비교하여, 상기 사람 또는 물건을 검색할 수 있다.
도 1은 주변 디바이스(120)의 정보를 출력하는 시스템을 도시한다.
도 2a는 일부 실시예에 따른 디바이스(100)가 검색 신호 및 응답 신호에 기초하여 주변 디바이스(120)를 검색하고, 주변 디바이스(120)의 정보를 출력하는 일례를 나타내는 흐름도(200a)다.
도 2b는 일부 실시예에 따른 디바이스(100)가 검색 신호 및 응답 신호에 기초하여 주변 디바이스(120)를 검색하고, 주변 디바이스(120)의 정보를 출력하는 또 다른 예를 나타내는 흐름도(200b)다.
도 2c 및 도 2d는 디바이스(100)가 검색 신호를 송신하는 동작을 설명하기 위한 개념도이다.
도 3은 일부 실시예에 따른 귀걸이형 디바이스(100)의 일례를 도시한다.
도 4a 및 도 4b는 일부 실시예에 따른 디바이스(100)가 빔 포밍(beamforming) 방식에 기초하여 주변 디바이스(420, 430)를 검색하는 예를 설명하기 위한 개념도이다.
디바이스(100)는 디바이스(100)로부터 기설정된 거리 내에 위치하고, 디바이스(100)를 기준으로 기설정된 방향에 위치한 적어도 하나의 주변 디바이스(420, 430)를 검색할 수 있다.
도 5는 일부 실시예에 따른 디바이스(100)가 빔포밍 방식에 기초하여 주변 디바이스를 검색하는 일례를 설명하기 위한 흐름도(500)다.
도 6a 및 도 6b는 일부 실시예에 따른 디바이스(100)가 브로드 캐스팅 통신 방식에 기초하여 주변 디바이스(620, 630, 640)를 검색하는 일례를 설명하기 위한 개념도이다.
도 7은 일부 실시예에 따른 디바이스(100)가 브로드 캐스팅 방식에 기초하여 주변 디바이스를 검색하는 일례를 설명하기 위한 흐름도(700)다.
도 8은 일부 실시예에 따른 디바이스(100)가 주변 디바이스(820)를 검색하기 위한 사용자 입력을 수신하는 일례를 설명하기 위한 개념도이다.
도 9는 일부 실시예에 따른 디바이스(100)가 주변 디바이스(820)를 검색하기 위한 사용자 입력을 수신하고, 제1 디바이스의 정보를 출력하는 일례를 나타내는 흐름도(900)다.
도 10은 일부 실시예에 따른 디바이스(100)가 제1 디바이스 및 호스트 디바이스에게 제1 디바이스의 정보를 출력할 것을 요청하는 일례를 설명하기 위한 개념도이다.
도 11은 일부 실시예에 따른 디바이스(100)가 제1 디바이스 및 호스트 디바이스에게 제1 디바이스의 정보를 출력할 것을 요청하는 일례를 설명하기 위한 흐름도(1100)다.
도 12a 및 도 12b는 일부 실시예에 따른 디바이스(100)가 댁내 위치를 결정하고, 디바이스(100)의 방향을 검출하여, 제1 디바이스를 선택하고, 제1 디바이스의 정보를 출력하는 일례를 나타내는 개념도(1200)다.
도 13은 일부 실시예에 따른 디바이스(100)가 댁내 위치를 결정하고, 디바이스(100)의 방향을 검출하여, 제1 디바이스를 선택하고, 제1 디바이스의 정보를 출력하는 일례를 나타내는 흐름도(1300)다.
도 14는 일부 실시예에 따른 디바이스(100)가 디바이스(100)의 댁내 위치 및 방향에 기초하여, 제1 디바이스를 선택하는 일례를 설명하기 위한 개념도(1400)다.
도 15a 및 도 15b는 일부 실시예에 따른 디바이스(100)가 댁내의 디바이스(100)의 위치를 결정하여, 주변 디바이스(1550, 1560, 1570)를 검색하는 일례를 설명하기 위한 개념도이다.
도 16은 일부 실시예에 따른 디바이스(100)가 댁내의 디바이스(100)의 위치를 결정하여, 주변 디바이스(1550, 1560, 1570)를 검색하는 일례를 나타내는 흐름도(1600)다.
도 17은 일부 실시예에 따른 디바이스(100)가 디바이스(100)의 댁내 위치(1770)에 기초하여 제1 디바이스를 선택하는 일례를 설명하기 위한 개념도(1700)다.
도 18은 일부 실시예에 따른 디바이스(100)가 대상체(1820)를 촬영하여, 대상체(1820)를 검색하는 일례를 나타내는 개념도이다.
도 19는 일부 실시예에 따른 디바이스(100)가 대상체(1820)를 촬영하여, 대상체(1820)를 검색하는 일례를 나타내는 흐름도이다.
도 20은 디바이스(100)가 위험 디바이스(2000)를 제1 디바이스로 선택하여, 경고 신호 및 제1 디바이스의 정보를 출력하는 일례를 설명하기 위한 개념도이다.
도 21은 디바이스(100)가 위험 디바이스(2000)를 제1 디바이스로 선택하여, 경고 신호 및 제1 디바이스의 정보를 출력하는 일례를 설명하기 위한 흐름도이다.
도 22는 일부 실시예에 따른 디바이스(100)가 위험 디바이스인 제1 디바이스를 선택하여, 보호자의 휴대폰(2030)에 연락을 취하는 동작을 나타내는 흐름도(2200)다.
도 23 내지 도 24는 일부 실시예에 따른 주변 디바이스의 정보를 출력하는 디바이스(2300, 2400)의 일례를 나타내는 구성도이다. 도 25는 일부 실시예에 따른 홈 디바이스(2500)의 일례를 나타내는 구성도이다.
이하에서는 도면을 참조하여 본 발명의 실시예들을 상세히 설명한다. 본 발명의 하기 실시예는 본 발명을 구체화하기 위한 것일 뿐 본 발명의 권리 범위를 제한하거나 한정하지 않는다. 또한, 본 발명의 상세한 설명 및 실시예로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 용이하게 유추할 수 있는 것은 본 발명의 권리범위에 속하는 것으로 해석된다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미할 수 있다.
또한, 명세서 전체에서, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다.
이하, 첨부된 도면을 참고하여 본원 발명의 일부 실시예들을 상세히 설명하기로 한다.
도 1은 주변 디바이스(120)의 정보를 출력하는 시스템을 도시한다.
도 1을 참조하면, 주변 디바이스(120)의 정보를 출력하는 시스템은, 적어도 하나의 주변 디바이스(120) 및 주변 디바이스(120)의 정보를 출력하는 디바이스(100)를 포함할 수 있다.
주변 디바이스(120)의 정보를 출력하는 디바이스(100)는 사용자(110)가 휴대할 수 있는 전자 장치가 될 수 있다. 예를 들어, 디바이스(100)는 웨어러블 디바이스(wearable device), 체내 삽입 디바이스(implantable device) 또는 모바일 디바이스로 구현될 수 있다.
"웨어러블 디바이스"는 사용자(110)의 신체에 착용되어 컴퓨팅 동작을 수행할 수 있는 디바이스를 의미할 수 있다. 예를 들어, 웨어러블 디바이스는 보청기, 이어폰, 안경, 고글, 헬멧, 머리띠, HMD(head mounted device), 팔찌, 반지, 목걸이, 신발, 벨트, 스티커 또는 클립 등 사용자에 의해 착용될 수 있는 형태로 다양하게 구현될 수 있다.
"체내 삽입 디바이스"는 사용자(110)의 신체에 삽입되어 컴퓨팅 동작을 수행할 수 있는 디바이스를 의미할 수 있다. 예를 들어, 체내 삽입 디바이스는 사용자(110)의 귀 밑, 손목 또는 흉부에 삽입될 수 있는 형태로 다양하게 구현될 수 있다.
"모바일 디바이스"는 사용자(110)가 들고 다닐 수 있는 정도로 충분히 작고, 컴퓨팅 동작을 수행할 수 있는 디바이스를 의미할 수 있다. 예를 들어, 모바일 디바이스는 휴대폰, 태블릿 pc 또는 노트북과 같은 형태로 다양하게 구현될 수 있다.
디바이스(100)는 사용자(110)의 생체 신호를 검출할 수 있다. 디바이스(100)는 생체 신호에 기초하여 사용자(110)의 스트레스 지수를 계산하고, 사용자의 스트레스 지수가 임계값 이상이면, 적어도 하나의 주변 디바이스(120)를 검색할 수 있다.
주변 디바이스(120)는 디바이스(100) 주위에 위치하는 외부 디바이스가 될 수 있으며, 예를 들어, CE(consumer electronics), 전자 디바이스, 홈 디바이스, 모바일 디바이스 등을 포함할 수 있다. 주변 디바이스(120)는 사용자(110)의 스트레스를 발생시킬 수 있다. 도 1을 참조하면, 주변 디바이스(120)의 예시로써, 세탁기(121), TV 및 냉장고가 도시된다.
디바이스(100)는 검색된 적어도 하나의 주변 디바이스(120) 중 어느 하나의 주변 디바이스를 선택하고, 선택된 주변 디바이스의 정보를 출력할 수 있다. 예를 들어, 주변 디바이스(120)의 정보는, 주변 디바이스(120)의 기능의 실행에 대응되는 가이드 정보를 포함할 수 있다. 구체적으로, 주변 디바이스(120)의 정보는 주변 디바이스(120)의 기설정된 기능을 실행시키기 위한 제어 방법을 안내하는 정보를 포함할 수 있다.
예를 들어, 도 1을 참조하면, 치매 환자인 사용자(110)는 보청기 형태의 웨어러블 디바이스(100)를 착용할 수 있다. 또한, 사용자(110)는 세탁기(121)를 사용하려 하였으나, 기억 상실 증상으로 인해 세탁기(121)의 사용법을 기억하지 못할 수 있다. 웨어러블 디바이스(100)는 사용자(110)의 EEG 베타파를 검출하고, 검출된 EEG 베타파에 기초하여, 기억 상실 증상으로 인한 사용자(110)의 스트레스 지수를 계산할 수 있다. 또한, 웨어러블 디바이스(100)는 사용자(110)의 스트레스 지수가 기설정된 임계값 이상이 되면, 적어도 하나의 주변 디바이스(120)를 검색할 수 있다. 웨어러블 디바이스(100)는 검색된 적어도 하나의 주변 디바이스(120) 중 세탁기(121)를 선택할 수 있다. 또한, 웨어러블 디바이스(100)는 세탁기(121)의 제어 방법을 안내하는 정보(즉, 주변 디바이스의 정보)를 음성으로 출력할 수 있다.
치매 환자인 사용자(110)는 웨어러블 디바이스(100)에서 출력되는 세탁기(121)의 제어 방법을 안내하는 정보를 듣고, 간헐적 기억 상실 증상에도 불구하고, 주위 사람들의 도움 없이 스스로 세탁기(121)를 조작할 수 있다.
도 2a는 일부 실시예에 따른 디바이스(100)가 검색 신호 및 응답 신호에 기초하여 주변 디바이스(120)를 검색하고, 주변 디바이스(120)의 정보를 출력하는 일례를 나타내는 흐름도(200a)다.
210a 단계에서, 디바이스(100)는 사용자(110)의 생체 신호를 검출할 수 있다.
디바이스(100)는 디바이스(100) 내의 센서를 이용하여 사용자(110)의 생체 신호를 검출할 수 있다. 사용자(110)의 생체 신호는 사용자(110)로부터 검출되거나 측정될 수 있는 전기적 또는 비전기적인 신호를 의미할 수 있다. 생체 신호는 지속적 또는 주기적으로 검출될 수 있다. 또한, 생체 신호의 값은 시간에 따라 변할 수 있다. 디바이스(100)는 디바이스(100) 내의 센서를 이용하여, 예를 들어, EEG(electroencephalography), 뇌파(brainwave), ECG(electrocardiography), 심박수, 체온, 혈압, 동공, 헤모글로빈 포화도(hemoglobin saturation), 피부 전도도(skin donductivity), 호흡(respiration), 땀(perspiration) 및 음성 신호 중 적어도 하나를 사용자(110)로부터 검출할 수 있다.
디바이스(100)가 검출하는 사용자(110)의 생체 신호는 디바이스(100)가 착용된 사용자(110)의 신체 부위 또는 디바이스(100)가 포함하는 센서들의 종류에 따라 상이할 수 있다.
예를 들어, 디바이스(100)가 보청기 또는 이어폰과 같이 귀에 착용될 수 있는 웨어러블 디바이스(100)인 경우, 디바이스(100)는 내이(內耳, inner ear), 외이(外耳, external ear), 귀 밑 또는 유양돌기(mastoid) 근처에서 EEG를 검출할 수 있다. EEG 이외에도, 귀에 착용될 수 있는 웨어러블 디바이스(100)는 사용자(110)의 내이에서 체온을 검출하거나, 귀 밑의 경동맥에서 심박수를 검출할 수 있다.
220a 단계에서, 디바이스(100)는 검출된 사용자(110)의 생체 신호에 기초하여, 사용자(110)의 스트레스 지수를 계산하고, 사용자(110)의 스트레스 지수가 기설정된 임계값 이상인지를 결정할 수 있다.
여기서 사용자(110)의 스트레스는, 사용자(110)의 정신적인 스트레스 및 육체적인 스트레스 중 적어도 하나를 포함할 수 있다. 사용자(110)의 스트레스는 사용자(110)가 정신적 고통 또는 육체적 고통을 받을 때 발생할 수 있다. 예를 들어, 사용자(110)의 스트레스는 기억 상실, 간헐적 기억 상실, 불안, 공포, 당혹감, 망설임, 및 초조함 등에 의해 발생할 수 있다.
또한, 220a 단계에서, 사용자(110)의 스트레스 지수가 기설정된 임계값 이상이 된다는 것은, 디바이스(100)가 사용자(110)의 스트레스를 감지했음을 의미할 수 있다.
스트레스 지수는 사용자(110)에게 발생한 스트레스의 정도 혹은 레벨을 나타내는 지표가 될 수 있다. 예를 들어, 스트레스 지수가 높을 수록, 사용자(110)에게 발생한 스트레스의 정도가 심하다는 것을 의미하거나, 스트레스의 레벨이 높다는 것을 의미 할 수 있다.
스트레스 지수는 사용자(110)로부터 검출된 생체 신호의 값을 그대로 이용하거나 가공함으로써 획득될 수 있다. 예를 들어, 디바이스(100)는 생체 신호의 크기, 진폭, 변화율 및 주파수 중 적어도 하나에 기초하여, 사용자(110)의 스트레스 지수를 계산할 수 있다. 디바이스(100)가 사용자(110)의 스트레스 지수를 계산하는 방법은, 사용자 입력에 기초하여 등록, 편집 및 삭제될 수 있다.
예를 들어, 디바이스(100)는 치매 환자인 사용자(110)의 EEG (electroencephalography)를 검출하고, 검출된 EEG의 주파수에 따른 전력 분포를 분석함으로써, 사용자(110)의 스트레스 지수를 계산할 수 있다. 구체적으로, 디바이스(100)는 수학식 1에 따라 사용자(110)로부터 검출된 EEG에 기초하여, 사용자(110)의 스트레스 지수를 계산하고, 계산된 스트레스 지수가 임계값 이상인지를 결정할 수 있다.
Figure 112015058058882-pat00001
Figure 112015058058882-pat00002
수학식 1에서 EEG(t)는 시간에 따라 사용자(110)로부터 검출되는 EEG 신호를 의미할 수 있다. FFT{EEG(t)}는 t시점의 EEG 신호에 대한 FFT(fast fourier transform) 결과 값을 의미할 수 있다. Beta power는 t 시점에서 EEG 베타파(electroencephalography beta wave) 성분들(약 16~31 Hz)의 전력을 의미할 수 있으며, t 시점에서의 EEG 베타파 성분들의 전력을 합치거나 적분한 값에 해당할 수 있다. Total power는 t 시점에서 EEG의 총 전력을 의미할 수 있으며, t 시점에서 모든 주파수에 대한 EEG의 전력을 합치거나 적분한 값에 해당할 수 있다. Beta power ratio는 t시점에서의 사용자(110)의 스트레스 지수가 될 수 있다. 또한, Beta power ratio는 디바이스(100)가 Total power 대비 Beta power의 값을 0%에서 100% 사이의 값으로 정규화한 값에 해당할 수 있다. 디바이스(100)는 t 시점에서 사용자(110)의 스트레스 지수인 Beta power ratio가 기설정된 임계값 Threshold 이상인지를 결정할 수 있다.
또 다른 예로, 디바이스(100)는 수학식 2에 따라 사용자(110)로부터 검출된 EEG에 기초하여, 사용자(110)의 스트레스 계산하고, 계산된 스트레스 지수가 임계값 이상인지를 결정할 수 있다.
Figure 112015058058882-pat00003
Figure 112015058058882-pat00004
수학식 2에서 EEG(t)는 시간에 따라 사용자(110)로부터 검출되는 EEG 신호를 의미할 수 있다. STFT{EEG(t)}(n,f)는 n번째 시간 구간에서 수행된 EEG 신호의 STFT(short-term fourier transform) 결과 값을 의미할 수 있다. Beta power(n)은 n번째 시간 구간 동안의 EEG 베타파(electroencephalography beta wave) 성분들(약 16~31 Hz)의 전력을 의미할 수 있으며, n번째 시간 구간 동안의 EEG 베타파 성분들의 전력을 합치거나 적분한 값에 해당할 수 있다. Total power는 n 번째 시간 구간 동안의 EEG의 총 전력을 의미할 수 있으며, n번째 시간 구간 동안의 모든 주파수에 대한 EEG의 전력을 합치거나 적분한 값에 해당할 수 있다. Beta power ratio(n)은 n번째 시간 구간 동안의 사용자(110)의 스트레스 지수가 될 수 있다. 또한, Beta power ratio(n)은 디바이스(100)가 Total power(n) 대비 Beta power(n)의 값을 0에서 100 사이의 값으로 정규화한 값에 해당할 수 있다. 디바이스(100)는 n번째 시간 구간 동안의 사용자(110)의 스트레스 지수인 Beta power ratio(n)이 기설정된 임계값 Threshold 이상인지를 결정할 수 있다.
또 다른 예로, 디바이스(100)는 사용자(110)로부터 검출된 음성 신호에 기초하여, 사용자(110)의 스트레스 지수를 계산할 수 있다. 예를 들어, 디바이스(100)는 사용자(110)의 음성 신호의 크기 및 주파수를 분석함으로써, 사용자(110)의 스트레스 지수를 계산할 수 있다. 구체적으로, 디바이스(100)는 사용자(110)의 음성 신호의 진폭의 크기, 주파수의 크기, 진폭의 변화량 및 주파수의 변화량에 기초하여, 스트레스 지수를 계산할 수 있다. 또한 디바이스(100)는 음성 신호에 기초하여 설정된 사용자(110)의 스트레스 지수가 소정의 임계값 이상인지를 결정할 수 있다. 예를 들어, 사용자(110)의 비명 소리의 주파수 및 진폭을 분석함으로써, 사용자(110)의 스트레스 지수를 계산할 수 있다.
또한, 스트레스 지수와 비교되는 임계값은, 사용자(110)의 상태 및 사용자(110)의 주변 환경에 기초하여 유동적으로 설정될 수 있다.
예를 들어, 밤부터 새벽까지의 시간대에 비하여, 아침부터 낮까지의 시간대에 사용자(110)의 스트레스가 발생활 확률이 높을 수 있다. 이러한 경우, 디바이스(100)는 밤부터 새벽까지의 시간대에 적용되는 임계값보다, 아침부터 낮까지의 시간대에 적용되는 스트레스 지수의 임계값을 더 낮게 설정할 수 있다. 따라서, 디바이스(100)는 밤부터 새벽보다, 아침부터 낮에 사용자(110)의 스트레스를 더욱 민감하게 감지할 수 있다.
또 다른 예로, 사용자(110)가 다른 장소에 비하여 부엌이나 신발장에 위치할 때 상대적으로 스트레스가 발생할 확률이 높을 수 있다. 이러한 경우, 디바이스(100)는 사용자(110)가 부엌이나 신발장에 위치할 때, 다른 장소보다 상대적으로 스트레스 지수의 임계값을 더 낮게 설정할 수 있다. 따라서, 디바이스(100)는 디바이스(100)가 부엌이나 신발장에 위치할 때, 사용자(110)의 스트레스를 더욱 민감하게 감지할 수 있다. 여기서, 디바이스(100)가 디바이스(100)의 댁내 위치를 결정하는 방법에 대해서는, 도 12a 내지 17에서 후술하기로 한다.
220a 단계의 결과, 사용자(110)의 스트레스 수치가 임계값 미만인 경우, 디바이스(100)는 계속하여 주기적으로 사용자(110)의 생체 신호를 검출할 수 있다.
220a 단계의 결정 결과, 사용자(110)의 스트레스 지수가 기설정된 임계값 이상이면, 230a 단계에서, 디바이스(100)는 주변 디바이스(120)에게 검색 신호(130)를 송신할 수 있다.
여기서 검색 신호(130)란, 디바이스(100)가 주변 디바이스(120)를 검색하기 위해 디바이스(100)의 외부로 송신하는 통신 신호를 의미할 수 있다. 또한, 검색 신호(130)는, 디바이스(100)와 주변 디바이스(120) 간의 통신 방식에 따라 다양한 포맷을 가질 수 있다.
디바이스(100)는 사용자(110)의 스트레스 지수가 기설정된 임계값 이상인지 여부를 검색 신호(130)를 송신하기 위한 조건으로 설정함으로써, 디바이스(100)의 전력을 효율적으로 소비할 수 있다.
구체적으로, 디바이스(100)는 검색 신호의 세기 및 방향을 조절하여, 주변 디바이스(100)를 검색할 수 있다. 도 2c 및 도 2d는 디바이스(100)가 주변 디바이스를 검색하기 위한 검색 범위(270c, 270d)를 설명하기 위한 개념도이다. 여기서 검색 범위(270c, 270d)란 디바이스(100)가 송신한 검색 신호가 도달하는 범위를 의미할 수 있다.
도 2c는 디바이스(100)가 빔포밍 방식으로 검색 신호를 송신할 때 형성되는 검색 범위(270c)의 일례를 도시한다. 디바이스(100)가 빔포밍 방식으로 검색 신호를 송신하면, 검색 범위(270c)가 디바이스(100)의 방향에 기초하여 형성될 수 있다. 디바이스(100)는 검색 범위의 최대 거리(272c) 및 검색 범위의 각도(271c)를 조절할 수 있다. 예를 들어, 디바이스(100)는 검색 신호의 송신 세기를 조절하여, 검색 범위(270c)의 최대 거리(272c)를 조절할 수 있다. 또한, 디바이스(100)는 검색 신호의 송신 각도를 조절하여, 검색 범위(270c)의 각도(271c)를 0도부터 360도까지 조절할 수 있다. 도 2c를 참조하면, 복수 개의 주변 디바이스들(281c, 282c, 283c, 284c, 285c) 중 제1 주변 디바이스(281c)만 검색 범위(270c)에 포함되어, 디바이스(100)가 송신한 검색 신호를 제1 주변 디바이스(281c)만 수신할 수 있다. 디바이스(100)가 빔포밍 방식에 기초하여 주변 디바이스를 검색하는 방법에 대해서는, 이하 도 4a, 도 4b 및 도 5를 참조하여 상세히 설명한다.
도 2d는 디바이스(100)가 브로드캐스팅 방식으로 검색 신호를 송신할 때 형성되는 검색 범위(270d)의 일례를 도시한다. 도 2c의 검색 범위(270c)와 달리, 디바이스(100)가 브로드캐스팅 방식으로 검색 신호를 송신하면, 검색 범위(270d)가 디바이스(100)의 방향에 독립적으로 생성될 수 있다. 디바이스(100)는 검색 범위(270d)의 최대 거리(272d)를 조절할 수 있다. 예를 들어, 디바이스(100)는 검색 신호의 송신 세기를 조절하여, 검색 범위(270d)의 최대 거리(272d)를 조절할 수 있다. 도 2d를 참조하면, 복수 개의 주변 디바이스들(281d, 282d, 283d, 284d, 285d) 중 제1 주변 디바이스(281d) 및 제2 주변 디바이스(285d)만 검색 범위(270d)에 포함되어, 디바이스(100)가 송신한 검색 신호를 제1 주변 디바이스(281d) 및 제2 주변 디바이스(285d)만 수신할 수 있다. 디바이스(100)가 브로드캐스팅 방식에 기초하여 주변 디바이스를 검색하는 방법에 대해서는, 이하 도 6a, 도 6b 및 도 7을 참조하여 상세히 설명한다.
다시 도 2a를 참조하면, 240a 단계에서, 디바이스(100)는 응답 신호를 수신할 수 있다.
응답 신호(140)란, 검색 신호(130)를 수신한 주변 디바이스(120)가 검색 신호(130)에 대한 응답으로 디바이스(100)에게 송신하는 통신 신호를 의미할 수 있다.
예를 들어, 도 2c를 참조하면, 복수 개의 주변 디바이스들(281c, 282c, 283c, 284c, 285c) 중 검색 신호를 수신한 제1 주변 디바이스(281c)만이 검색 신호에 대한 응답으로 디바이스(100)에게 응답 신호를 송신할 수 있다. 또한, 도 2d를 참조하면, 복수 개의 주변 디바이스들(281d, 282d, 283d, 284d, 285d) 중 제1 주변 디바이스(281d) 및 제2 주변 디바이스(285d)만이 검색 신호에 대한 응답으로 디바이스(100)에게 응답 신호를 송신할 수 있다.
또한, 응답 신호(140)는 응답 신호(140)를 송신한 주변 디바이스(120)의 식별 정보(예를 들어, 시리얼 넘버, 모델 종류 및 모델 이름 등)를 포함할 수 있다. 예를 들어, 세탁기(121)가 디바이스(100)에게 응답 신호(140)를 송신할 때, 세탁기(121)의 응답 신호(140)는 세탁기(121)의 식별 정보를 포함할 수 있다. 따라서, 디바이스(100)는 응답 신호(140)에 포함된 식별 정보를 분석하여, 응답 신호(140)를 송신한 주변 디바이스(120)를 식별할 수 있다.
또한, 응답 신호(140)는 응답 신호(140)를 전송하는 주변 디바이스(120)의 상태 정보를 포함할 수 있다. 예를 들어, 상태 정보는 주변 디바이스(120)의 전원이 켜지거나 꺼짐을 나타내는 상태 정보, 주변 디바이스(120)에서 기설정된 기능이 활성화되었는지를 나타내는 상태 정보, 주변 디바이스(120)에서 활성화된 기능을 나타내는 상태 정보, 주변 디바이스(120)의 문 또는 뚜껑이 열리거나 닫혔는지를 나타내는 상태 정보 중 적어도 하나를 포함할 수 있다. 디바이스(100)는 응답 신호(140)에 포함된 상태 정보를 분석하여, 주변 디바이스(120)의 현재 상태를 인식할 수 있다.
230a 단계 및 240a 단계에서, 디바이스(100)는 무선 통신 방식에 의해 주변 디바이스(120)와 통신할 수 있다. 예를 들어, 디바이스(100)는 블루투스(bluetooth), BLE(Bluetooth low energy), NFC(Near Field Communication), ZIGBEE, 초광대역(UWB), 적외선, 초음파, 자기장 통신 등 무선 통신 방식을 통하여 주변 디바이스(120)와 데이터를 송수신할 수 있다.
또한, 디바이스(100)는 외부 서버를 통해, 주변 디바이스(120)와 통신할 수 있다. 예를 들어, 디바이스(100)는 3G, 4G 통신망 또는 WIFI를 통하여, 서버를 경유하여 주변 디바이스(120)와 데이터를 송수신할 수 있다.
디바이스(100)는 검색 신호(130) 및 응답 신호(140)에 기초하여, 디바이스(100)로부터 기설정된 거리 내에 있는 적어도 하나의 주변 디바이스(120)를 검색할 수 있다.
250a 단계에서, 디바이스(100)는 240a 단계에서 수신된 적어도 하나의 응답 신호(140)에 기초하여, 적어도 하나의 주변 디바이스(120) 중 사용자(110)의 스트레스를 발생시킨 주변 디바이스를 선택할 수 있다. 이하에서는, 적어도 하나의 주변 디바이스(120) 중 디바이스(100)가 선택한 주변 디바이스를 '제1 디바이스'라 한다.
디바이스(100)는 적어도 하나의 주변 디바이스(120) 중 사용자(110)에게 가장 가까운 주변 디바이스를 제1 디바이스로 선택할 수 있다. 일반적으로, 적어도 하나의 주변 디바이스(120) 중, 사용자(110)에게 가장 가까운 주변 디바이스가 사용자(110)의 스트레스를 발생시킬 확률이 가장 높을 수 있다.
예를 들어, 디바이스(100)는 적어도 하나의 응답 신호(140)의 신호 세기에 기초하여, 적어도 하나의 주변 디바이스(120) 중 사용자(110)에게 가장 가까운 주변 디바이스를 제1 디바이스로 선택할 수 있다. 구체적으로, 디바이스(100)는 신호 세기가 가장 높은 응답 신호를 전송한 주변 디바이스(120)를 제1 디바이스로 선택할 수 있다.
또 다른 예로, 디바이스(100)는 적어도 하나의 응답 신호(140)의 수신 감도에 기초하여, 적어도 하나의 주변 디바이스(120) 중 사용자(110)에게 가장 가까운 주변 디바이스를 제1 디바이스로 선택할 수 있다. 구체적으로, 디바이스(100)는 적어도 하나의 주변 디바이스(120)로부터 수신된 적어도 하나의 응답 신호(140) 중, 수신 감도가 가장 높은 응답 신호를 전송한 주변 디바이스(120)를 제1 디바이스로 선택할 수 있다.
디바이스(100)는 디바이스(100)가 제1 디바이스를 선택한 이력에 기초하여, 적어도 하나의 주변 디바이스(120) 중에서 제1 디바이스를 선택할 수 있다. 제1 디바이스 선택 이력은 주변 디바이스(120)가 제1 디바이스로 선택된 횟수 또는 주변 디바이스(120)가 제1 디바이스로 선택될 확률을 주변 디바이스(120) 별로 누적한 정보를 포함할 수 있다. 또한, 제1 디바이스 선택 이력은 사용자(110)의 스트레스 지수가 기설정된 임계값을 넘을 때의 시간 정보, 위치 정보 및 사용자(110)의 스트레스 지수의 최대값을 포함할 수 있다.
제1 디바이스 선택 이력
선택된 제1 디바이스 스트레스 지수 최대값 시간 위치
1 세탁기 S1 12:00 베란다
2 냉장고 S2 09:00 부엌
3 세탁기 S3 12:30 베란다
4 세탁기 S4 13:30 베란다
5 TV S5 19:00 거실
6 ... ... ... ...
표 1은 제1 디바이스 선택 이력의 일례를 나타낸다. 예를 들어, 표 1에 따르면, 디바이스(100)가 세탁기(121)를 제1 디바이스로 3회 선택하고, 냉장고를 제1 디바이스로 1회 선택하여, 세탁기(121)가 냉장고에 비하여 제1 디바이스로 선택될 확률이 높을 수 있다. 이러한 경우, 세탁기(121)의 응답 신호의 신호 세기와, 냉장고의 응답 신호의 신호 세기가 동일하더라도, 제1 디바이스의 선택 이력에 따라, 디바이스(100)는 세탁기(121)를 제1 디바이스로 선택할 수 있다.
또 다른 예로, 표 1에 따르면 12:00~14:00 경에는 TV 및 냉장고에 비하여, 세탁기(121)가 제1 디바이스로 선택될 확률이 상대적으로 높다. 12:00~14:00 경 사용자(110)의 스트레스 지수가 기설정된 임계값을 넘을 때, 세탁기(121)의 응답 신호의 신호 세기와, 냉장고의 응답 신호의 신호 세기가 동일하더라도, 제1 디바이스의 선택 이력에 따라, 디바이스(100)는 세탁기(121)를 제1 디바이스로 선택할 수 있다.
또 다른 예로, 표 1에 따르면 디바이스(100)가 베란다에 위치할 때, TV 및 냉장고에 비하여, 세탁기(121)가 제1 디바이스로 선택될 확률이 상대적으로 높다. 사용자(110)의 스트레스 지수가 기설정된 임계값을 넘을 때 디바이스(100)가 베란다에 위치하면, 세탁기(121)의 응답 신호의 신호 세기와, 냉장고의 응답 신호의 신호 세기가 동일하더라도, 제1 디바이스의 선택 이력에 따라, 디바이스(100)는 세탁기(121)를 제1 디바이스로 선택할 수 있다.
260a 단계에서, 디바이스(100)는 선택된 주변 디바이스(120)의 정보, 즉 제1 디바이스의 정보를 출력할 수 있다.
사용자(110)의 스트레스를 발생시킨 주변 디바이스(120)의 정보는 주변 디바이스(120) 기능의 실행에 대응되는 가이드 정보, 주변 디바이스(120)의 상태 정보, 및 주변 디바이스(120)의 특성을 설명하기 위한 정보를 포함할 수 있다.
예를 들어, 주변 디바이스(120)의 기능의 실행에 대응되는 가이드 정보는, 주변 디바이스(120)의 특정 기능을 실행하기 위해, 주변 디바이스(120)의 GUI(graphic user interface)를 조작하기 위한 가이드 정보 및 주변 디바이스(120)의 스위치나 버튼을 조작하기 위한 가이드 정보를 포함할 수 있다.
주변 디바이스(120)의 상태 정보는, 사용자(110)의 스트레스가 발생한 시점의 주변 디바이스(120)의 상태 정보를 의미할 수 있다. 또한, 디바이스(100)는 주변 디바이스(120)의 응답 신호에 포함된 상태 정보를 수신하여, 주변 디바이스(120)의 상태 정보를 출력할 수 있다. 예를 들어, 주변 디바이스(120)의 상태 정보는 주변 디바이스(120)의 전원이 켜지거나 꺼짐을 지시하는 상태 정보, 주변 디바이스(120)에서 기설정된 기능이 활성화되었는지를 지시하는 상태 정보, 주변 디바이스(120)에서 활성화된 기능을 지시하는 상태 정보, 주변 디바이스(120)에서 문 또는 뚜껑이 열리거나 닫혔는지를 지시하는 상태 정보 중 적어도 하나를 포함할 수 있다.
예를 들어, 주변 디바이스(120)의 특성을 설명하기 위한 정보는, 주변 디바이스(120)의 이름, 주요 기능, 사용시 주의 사항 및 오류 발생시 복구 방법을 포함할 수 있다.
디바이스(100)는 주변 디바이스(120)의 정보를 출력하기 위하여, 주변 디바이스(120)의 정보를 미리 저장해 놓을 수 있다. 또한, 디바이스(100)는 사용자 입력에 기초하여, 주변 디바이스(120)의 정보를 등록, 편집 및 삭제할 수 있다.
또는, 디바이스(100)는 주변 디바이스(120)의 정보를 출력하기 위하여, 주변 디바이스(120)에게 주변 디바이스(120)의 정보를 요청할 수 있다. 예를 들어, 디바이스는 주변 디바이스(120)와 페어링되어, 주변 디바이스(120)에게 주변 디바이스(120)의 정보를 요청하고, 주변 디바이스(120)로부터 주변 디바이스(120)의 정보를 수신하여, 주변 디바이스(120)의 정보를 출력할 수 있다.
디바이스(100)는 주변 디바이스(120)의 정보를 시각 정보, 청각 정보 및 진동 신호 중 적어도 하나의 형태로 출력할 수 있다. 그러나, 주변 디바이스(120)의 정보의 형태는 이에 한정되지 않는다.
예를 들어, 디바이스(100)는 디스플레이부(2441) 또는 프로젝터(2444)를 이용하여, 주변 디바이스(120)의 정보를 시각 정보로 출력할 수 있다. 구체적으로, 디바이스(100)는 문자, 숫자, 기호, 정지 영상 및 동영상 중 적어도 하나를 포함하는 주변 디바이스(120)의 정보를 디스플레이부(2441) 상에 출력할 수 있다. 또한, 디바이스(100)가 프로젝터(2444)를 포함하는 경우, 디바이스(100) 문자, 숫자, 기호, 정지 영상 및 동영상 중 적어도 하나를 포함하는 주변 디바이스(120)의 정보를 디바이스(100)의 외부로 프로젝트(project)할 수 있다.
또 다른 예로, 디바이스(100)는 음향 출력부(2442)를 통해 주변 디바이스(120)의 정보를 음성 및 사운드 중 적어도 하나로 출력할 수 있다.
또 다른 예로, 디바이스(100)는 진동 모터(2443)를 통해 주변 디바이스(120)의 정보를 진동 신호로 출력할 수 있다. 예를 들어, 디바이스(100)는 도 20 내지 도 22를 통해 후술할 경고 신호를 진동 신호를 이용하여 출력할 수 있다. 디바이스(100)가 주변 디바이스(120)의 정보를 출력하는 방법은 디바이스(100)의 종류에 따라 상이할 수 있다. 예를 들어, 디바이스(100)가 보청기 또는 이어폰과 같이 귀에 착용될 수 있는 경우, 디바이스(100)는 주변 디바이스(120)의 정보를 음성 및 사운드 중 적어도 하나로 출력할 수 있다.
디바이스(100)는 주변 디바이스(120)의 상태에 따라, 주변 디바이스(120)의 상이한 정보를 출력할 수 있다. 구체적으로, 디바이스(100)는 주변 디바이스(120)의 응답 신호에 포함된 상태 정보를 분석하여, 주변 디바이스(120)의 상태를 인식할 수 있다. 디바이스(100)는 인식된 주변 디바이스(120)의 상태에 따라, 출력될 주변 디바이스(120)의 정보를 선택하고, 선택된 주변 디바이스(120)의 정보를 출력할 수 있다. 예를 들어, 주변 디바이스(120)의 상태 정보에 따라, 주변 디바이스(120)의 전원이 꺼져 있는 경우, 디바이스(100)는 주변 디바이스(120)의 전원을 켜는 방법을 안내한 정보를 출력할 수 있다. 또한, 주변 디바이스(120)의 상태 정보에 따라, 주변 디바이스(120)의 전원이 켜져 있는 경우, 디바이스(100)는 주변 디바이스(120)의 전원을 끄는 방법 또는 주변 디바이스(120)에서 소정의 기능을 활성화하는 방법을 안내하는 정보를 출력할 수 있다.
도 2b는 일부 실시예에 따른 디바이스(100)가 검색 신호 및 응답 신호에 기초하여 주변 디바이스(120)를 검색하고, 주변 디바이스(120)의 정보를 출력하는 또 다른 예를 나타내는 흐름도(200b)다.
220b 단계에서, 디바이스(100)는 적어도 하나의 주변 디바이스(120)로부터 사용자(110)의 스트레스 정보를 수신할 수 있다.
스트레스 정보는 사용자(110)에게 스트레스가 발생하였음을 판단하는데 이용되는 정보가 될 수 있다. 스트레스 정보는 주변 디바이스(120)가 사용자(110)를 촬영한 영상을 포함할 수 있다. 또한, 스트레스 정보는 주변 디바이스(120)가 인식한 사용자(110)의 음성 신호를 포함할 수 있다. 또한, 스트레스 정보는 주변 디바이스(120)가 수신한 입력 신호를 포함할 수 있다.
스트레스 정보가 사용자(110)를 촬영한 영상을 포함하는 경우, 디바이스(100)는 영상을 분석하여, 사용자(110)의 스트레스 지수를 계산할 수 있다. 여기서, 주변 디바이스(120)가 사용자를 촬영한 영상은 정지영상 또는 동영상이 될 수 있다. 예를 들어, 주변 디바이스(120)는 내장된 카메라를 이용하여 사용자(110)를 촬영하고, 촬영된 영상을 디바이스(100)에게 송신할 수 있다. 디바이스(100)는 수신된 영상에 기초하여, 놀란 표정, 당황한 표정 등과 같은 기설정된 표정을 인식하여, 사용자(110)의 스트레스 지수를 계산할 수 있다. 또 다른 예로, 디바이스(100)는 촬영된 영상에 기초하여, 손을 떠는 동작, 몸이 굳는 동작(예를 들어, 일정 시간 이상 동작이 없는 경우), 비정상적인 동선 등과 같은 기설정된 동작 또는 동선을 인식하여, 사용자(110)의 스트레스 지수를 계산할 수 있다. 또한, 디바이스(100)는 영상에 기초하여 계산된 사용자(110)의 스트레스 지수가 기설정된 임계값 이상인지 결정할 수 있다.
스트레스 정보가 사용자(110)의 음성 신호를 포함하는 경우, 디바이스(100)는 음성 신호를 분석하여, 사용자(110)의 스트레스 지수를 계산할 수 있다. 예를 들어, 주변 디바이스(120)는 내장된 마이크를 이용하여 사용자(110)의 음성을 인식하고, 인식된 음성 신호를 디바이스(100)에게 송신할 수 있다. 디바이스(100)는 수신된 사용자(110)의 음성 신호의 크기 및 주파수를 분석함으로써, 사용자(110)의 스트레스 지수를 계산할 수 있다. 구체적으로, 디바이스(100)는 사용자(110)의 음성 신호의 진폭의 크기, 주파수의 크기, 진폭의 변화량 및 주파수의 변화량에 기초하여, 스트레스 지수를 계산할 수 있다. 또한 디바이스(100)는 음성 신호에 기초하여 설정된 사용자(110)의 스트레스 지수가 소정의 임계값 이상인지 결정할 수 있다.
스트레스 정보가 주변 디바이스(120)가 수신한 입력 신호를 포함하는 경우, 디바이스(100)는 입력 신호를 분석하여, 사용자(110)의 스트레스 지수를 계산할 수 있다. 예를 들어, 디바이스(100)는 소정 시간당 주변 디바이스(120)가 수신한 입력 신호의 양을 분석하여, 사용자(110)의 스트레스 지수를 계산할 수 있다. 구체적으로, 사용자(110)의 스트레스 지수는 소정 시간당 주변 디바이스(120)가 수신한 입력 신호의 양에 비례할 수 있다. 또 다른 예로, 디바이스(100)는 주변 디바이스(120)가 수신한 입력 신호의 패턴을 분석하여, 사용자(110)의 스트레스 지수를 계산할 수 있다. 구체적으로, 사용자(110)의 스트레스 지수는, 사용자(110)가 주변 디바이스(110)의 소정의 버튼 및 스위치를 반복하여 누르는 횟수에 비례할 수 있다. 또는, 사용자(110)의 스트레스 지수는 사용자(110)가 함께 누른 주변 디바이스(110)의 버튼 및 스위치들의 개수에 비례할 수 있다.
디바이스(100)는 220b 단계에서 사용자(110)의 스트레스 정보를 수신하면, 230b 단계에서 적어도 하나의 주변 디바이스(120)에게 검색 신호(130)를 송신할 수 있다.
240b 단계에서, 디바이스(100)는 230b 단계에서 송신한 검색 신호(130)를 수신한 적어도 하나의 주변 디바이스(120)로부터, 적어도 하나의 응답 신호(140)를 수신할 수 있다.
250b 단계에서, 디바이스(100)는 240b 단계에서 수신된 적어도 하나의 응답 신호(140)에 기초하여 적어도 하나의 주변 디바이스(120) 중 제1 디바이스를 선택할 수 있다.
제1 디바이스는 사용자(110)의 스트레스 정보를 송신한 주변 디바이스(120) 일 수 있다. 예를 들어, 치매 환자인 사용자(110)는 세탁기(121)를 사용하려 하였으나, 기억 상실 증상으로 인해 사용법을 기억하지 못할 수 있다. 그러면, 세탁기(121)는 내장된 카메라를 이용하여 사용자(110)를 촬영하고, 촬영된 영상을 디바이스(100)에게 송신할 수 있다. 디바이스(100)는 세탁기(121)로부터 수신된 사용자(110)의 영상으로부터 사용자(110)의 스트레스가 발생되었음을 판단할 수 있다. 또한, 디바이스(100)는 적어도 하나의 주변 디바이스(120)에게 검색 신호를 송신할 수 있다. 또한, 디바이스(100)는 적어도 하나의 응답 신호(140)에 기초하여, 세탁기(121)를 제1 디바이스로 선택할 수 있다.
제1 디바이스는 사용자(110)의 스트레스 발생 정보를 송신한 주변 디바이스(120)와 상이할 수 있다. 예를 들어, 치매 환자인 사용자(110)는 세탁기(121)를 사용하려 하였으나, 기억 상실 증상으로 인해 사용법을 기억하지 못할 수 있다. 그러면, 냉장고가 내장된 카메라를 이용하여 사용자(110)를 촬영하고, 촬영된 영상을 디바이스(100)에게 송신할 수 있다. 디바이스(100)는 냉장고로부터 수신된 사용자(110)의 영상으로부터 사용자(110)의 스트레스가 발생되었음을 판단할 수 있다. 또한, 디바이스(100)는 적어도 하나의 주변 디바이스(120)에게 검색 신호를 송신할 수 있다. 또한, 디바이스(100)는 적어도 하나의 응답 신호(140)에 기초하여, 세탁기(121)를 제1 디바이스로 선택할 수 있다.
한편, 210a 단계에서, 스트레스 정보가 주변 디바이스(120)가 수신한 입력 신호를 포함하는 경우, 디바이스(100)는 비정상적인 입력 신호를 수신한 주변 디바이스를 제1 디바이스로 선택할 수 있으므로, 230b 단계 내지 250b 단계는 생략될 수 있다. 예를 들어, 세탁기(121)가 사용자(110)로부터 비정상적인 입력 신호를 수신하고, 디바이스(100)가 세탁기(121)로부터 사용자(110)의 스트레스 정보를 수신할 수 있다. 디바이스(100)는 검색 신호를 송신하지 않고도, 비정상적인 입력 신호를 수신한 세탁기(121)를 제1 디바이스로 선택할 수 있다.
260b 단계에서, 디바이스(100)는 선택된 제1 디바이스의 정보를 출력할 수 있다.
도 2b를 통해 전술한 바와 같이, 디바이스(100)가 사용자(110)의 스트레스 발생 여부를 결정하는 방법은, 주변 디바이스(120)로부터 스트레스 정보를 수신하는 방법을 포함할 수 있다.
도 3은 일부 실시예에 따른 귀걸이형 디바이스(100)의 일례를 도시한다.
디바이스(100)는 귀에 착용되는 웨어러블 디바이스가 될 수 있다. 구체적으로, 디바이스(100)는 귀 뒤로 거는 귀걸이형, 외이도 입구에 삽입되는 외이도형, 외이도 내부로 완전히 들어가는 고막형, 이갑개(concha)에 착용되는 이갑개형 등과 같이 귀에 착용되는 형태로 구현될 수 있다.
일부 실시예에 따른 디바이스(100)는 내이(inner ear) 또는 외이(external ear)에서 사용자의 생체 신호를 검출할 수 있는 센서(320)를 포함할 수 있다.
또한, 귀에 착용되는 디바이스(100)는 관자놀이(temple), 유양돌기(mastoid) 근처 및 귀 밑의 경동맥 등과 같이, 귀에서 가까운 신체 부위에서 생체 신호를 검출할 수 있는 센서(310)를 포함할 수 있다.
또한, 귀에 착용되는 디바이스(100)는 외부와 통신할 수 있는 통신부(330) 및 제1 디바이스의 정보를 음성으로 출력하는 출력부(340)를 포함할 수 있다.
대부분의 치매 환자들은 노인이므로, 치매를 겪고 있지 않은 환자들에 비하여 감각 신경 및 운동 신경과 같은 신체 능력이 상대적으로 떨어질 수 있다. 따라서, 귀에 착용되는 디바이스(100)는 치매 환자들의 부족한 신체 능력에 도움이 될 수 있는 기능들을 제공할 수 있다.
예를 들어, 난청이 있는 사용자(110)들을 위하여, 귀에 착용되는 디바이스(100)는 보청기 기능을 가질 수 있다. 구체적으로, 귀에 착용되는 디바이스(100)는 주파수 별로 소리의 크기를 증폭할 수 있다.
또한, 귀에 착용되는 디바이스(100)는 제1 디바이스의 정보를 음성으로 출력할 수 있다.
치매 환자들은 안구 운동 장애(eye movement abnormaliteis)를 가질 수 있다. 예를 들어, 치매 환자들은 관심 대상인 물체를 정확히 응시하지 못할 수 있다. 또는 대부분의 치매 환자들은 노인이므로, 노안(preshyopia)을 가질 수 있다. 노안을 가진 사용자(110)들은 관심 대상인 물체를 응시하여도, 물체의 상이 망막에 정확히 맺히지 않을 수 있다. 치매 환자와 같은 사용자(110)에게는 제1 디바이스의 정보를 시각 신호보다는 청각 신호를 이용할 때, 디바이스(100)가 사용자(110)에게 제1 디바이스의 정보를 더 효율적으로 전달할 수 있다.
도 4a 및 도 4b는 일부 실시예에 따른 디바이스(100)가 빔 포밍(beamforming) 방식에 기초하여 주변 디바이스(420, 430)를 검색하는 예를 설명하기 위한 개념도이다.
디바이스(100)는 디바이스(100)로부터 기설정된 거리 내에 위치하고, 디바이스(100)의 기설정된 방향(410)으로부터 소정의 범위 내에 위치한 적어도 하나의 주변 디바이스(420, 430, 440)와 통신하여, 주변 디바이스(420, 430, 440)를 검색할 수 있다.
도 4b를 참조하면, 시간에 따른 스트레스 지수의 그래프가 도시된다. 사용자(110)가 스트레스를 겪지 않는 평소에는, 디바이스(100)가 계산한 사용자(110)의 스트레스 지수가 임계값 미만이 될 수 있다. 반면, 사용자(110)가 스트레스를 겪을 때는, 디바이스(100)가 계산한 사용자(110)의 스트레스 지수가 임계값 이상이 될 수 있다. 예를 들어, t1 시점에, 치매 환자인 사용자(110)는 간헐적 기억 상실 증상으로 인해 세탁기(420)의 조작 방법을 기억하지 못하고, 정신적인 스트레스를 겪을 수 있다. 또한, t1 시점에 사용자(110)의 스트레스 지수는 임계값을 초과할 수 있다. 예를 들어, 사용자(110)의 스트레스 지수는 도 2a를 통해 전술한 바와 같이, 사용자(110)로부터 측정된 EEG에 기초하여 계산된 Beta power ratio가 될 수 있다. Beta power ratio는 0% ~ 100% 사이의 값을 가질 수 있다. 또한, Beta power ratio의 임계값은 사용자(110)에 의해 70%로 설정될 수 있으며, 사용자(110)의 위치 정보 또는 현재 시간 정보에 기초하여 유동적으로 변할 수 있다.
디바이스(100)는 사용자(110)의 스트레스 지수가 임계값 이상이면, 사용자(110)로부터 주변 디바이스(420, 430)의 검색을 요청하는 사용자 입력을 수신할 수 있다. 예를 들어, 디바이스(100)는 사용자(110)의 스트레스 지수가 임계값 이상이면, "도움이 필요하십니까"라는 음성 신호를 출력함으로써, 사용자(110) 입력을 요청할 수 있다. 사용자(110) 입력을 요청한 뒤, 디바이스(100)는 "네" 또는 "디바이스 정보 요청"과 같은 사용자의 음성을 인식함으로써, 사용자 입력을 수신할 수 있다. 또 다른 예로, 디바이스(100)는 사용자(110)의 스트레스 지수가 임계값 이상이면, 진동 신호를 출력함으로써, 사용자(110) 입력을 요청할 수 있다. 사용자(110) 입력을 요청한 뒤, 디바이스(100)는 음성 인식, 버튼 조작 및 사용자 인터페이스 화면 중 적어도 하나에 기초하여, 주변 디바이스(420, 430)의 검색을 요청하는 사용자 입력을 수신할 수 있다. 사용자(110)의 스트레스 지수가 임계값 이상임에도 불구하고, 사용자(110)가 디바이스(100)의 도움을 받기를 원하지 않는 경우, 사용자(110)는 음성 인식, 버튼 조작 및 사용자 인터페이스 화면 중 적어도 하나에 기초하여, 디바이스(100)의 동작을 종료시킬 수 있다.
도 4a를 참조하면, 디바이스(100)는 사용자(110)의 스트레스 지수를 발생시킨 주변 디바이스(420, 430)를 검색하기 위하여, 빔 포밍 방식으로 검색 신호(411)를 송신할 수 있다. 구체적으로, 디바이스(100)가 주변 디바이스(420, 430)의 검색을 요청하는 사용자 입력을 수신하면, 디바이스(100)는 기설정된 디바이스(100)의 방향(410)을 기준으로, 좌우 30도 범위 내로 검색 신호(411)를 송신할 수 있다. 디바이스(100)의 방향은 디바이스(100)의 종류에 따라 상이할 수 있다. 예를 들어, 귀에 착용되는 디바이스(100)의 경우, 디바이스(100)의 방향은, 사용자(110) 안면(face)에 수직한 방향이 될 수 있다. 또 다른 예로, 안경 타입 디바이스(100)의 경우, 디바이스(100) 방향은, 렌즈에 수직한 방향이 될 수 있다.
디바이스(100)로부터 기설정된 거리 내에 위치하고, 디바이스(100)의 방향(410)을 기준으로 좌우 30도 범위 내에 위치하는 세탁기(420) 및 TV(430)는 검색 신호(411)를 수신할 수 있다. 그러나, 냉장고(440)는 디바이스(100)의 방향을 기준으로 좌우 30도 범위 내에 위치하지 않으므로, 검색 신호(411)를 수신할 수 없다. 검색 신호(411)를 수신한 세탁기(420) 및 TV(430)는 디바이스(100)에게 응답신호(421, 431)를 송신할 수 있다.
디바이스(100)는 응답 신호(421, 431)에 기초하여, 적어도 하나의 주변 디바이스(420, 430, 440) 중 어느 하나를 제1 디바이스로 선택할 수 있다. 예를 들어, 디바이스(100)는 수신된 적어도 하나의 응답 신호(421, 431) 중 가장 강한 신호 세기의 응답 신호(421)를 송신한 세탁기(420)를 제1 디바이스로 선택할 수 있다.
도 4b를 참조하면, 디바이스(100)에서 측정되는 주변 디바이스(420, 430, 440)의 응답 신호 세기가 도시된다. 예를 들어, 디바이스(100)에서 수신된 세탁기(420)의 응답 신호(421)의 세기는 10dBm, 디바이스(100)에서 수신된 TV(430)의 응답 신호(431)의 세기는 4dBm에 해당할 수 있다. 냉장고(440)는 검색 신호(411)를 수신하지 못하여, 디바이스(100)에게 응답 신호를 송신하지 않는다. 디바이스(100)가 빔 포밍 방식으로 검색 신호(411)를 송신할 때, 가장 강한 신호 세기의 응답 신호를 송신한 세탁기(420)가 디바이스(100)의 방향(410)을 기준으로 디바이스(100)로부터 가깝게 위치할 수 있으므로, 디바이스(100)는 세탁기(420)를 제1 디바이스로 선택할 수 있다. 또한, 디바이스(100)는 선택된 세탁기(420)의 제어 방법을 출력하여, 세탁기(420)의 제어 방법을 기억하지 못하는 사용자(110)에게 도움을 줄 수 있다.
도 5는 일부 실시예에 따른 디바이스(100)가 빔포밍 방식에 기초하여 주변 디바이스를 검색하는 일례를 설명하기 위한 흐름도(500)다.
510 단계에서, 디바이스(100)는 사용자(110)의 생체 신호를 검출할 수 있다.
520 단계에서 디바이스(100)는 사용자(110)의 생체 신호에 기초하여, 사용자(110)의 스트레스 지수를 계산하고, 사용자(110)의 스트레스 지수가 임계값 이상인지를 결정할 수 있다.
530 단계에서, 디바이스(100)는 520 단계의 결과, 사용자(110)의 스트레스 지수가 임계값 이상이면, 디바이스(100)를 기준으로 기설정된 방향으로 검색 신호(611)를 송신할 수 있다.
기설정된 방향으로 검색 신호(411)를 송신하기 위하여, 디바이스(100)는 방향성 안테나에 기초한 RF(radio frequency) 신호를 이용하거나, 적외선 및 초음파와 같이 직진하는 특성을 갖는 통신 신호를 이용할 수 있다.
디바이스(100)는 기설정된 방향을 기준으로, 기설정된 범위 내에 검색 신호를 송신할 수 있다. 예를 들어, 디바이스(100)는 디바이스(100)의 전면을 기준으로, 좌우 10도 또는 좌우 30도 이내의 범위 내에 검색 신호를 송신할 수 있다. 또 다른 예로, 디바이스(100)는 사용자(110)에게 착용되었을 때, 사용자(110)의 정면을 기준으로, 좌우 10도 또는 좌우 30도 이내에 검색 신호를 송신할 수 있다.
예를 들어, 디바이스(100)는 디바이스(100)로부터 기설정된 거리 내에 위치하고, 디바이스(100)를 기준으로 기설정된 방향에 위치하는 세탁기(420) 및 TV(430)에게 검색 신호를 송신할 수 있다.
또한, 디바이스(100)는 검색 신호(411)의 세기를 조절하여, 검색 범위를 조절할 수 있다.
540 단계에서, 디바이스(100)는 검색 신호를 수신 받은 세탁기(420) 및 TV(430)로부터 응답 신호들(621, 631)을 수신할 수 있다. 후술할 도 7의 730 단계와는 달리, 도 5의 530 단계에서 냉장고(440)는 검색 신호(611)를 수신 받지 못하여, 디바이스(100)에게 응답 신호를 송신하지 않는다.
응답 신호는 응답 신호를 송신한 주변 디바이스의 식별 정보를 포함할 수 있다. 예를 들어, 도 4의 411 응답 신호는 세탁기(420)의 식별 정보를 포함할 수 있고, 도 4의 421 응답 신호는 TV(430)의 식별 정보를 포함할 수 있다.
550 단계에서, 디바이스(100)는 적어도 하나의 응답 신호에 기초하여 제1 디바이스를 선택할 수 있다. 예를 들어, 디바이스(100)는 신호 세기가 가장 높은 응답 신호(621)를 송신한 세탁기(420)를 제1 디바이스로 선택할 수 있다.
560 단계에서, 디바이스(100)는 선택된 세탁기(420)의 정보(즉, 제1 디바이스의 정보)를 출력할 수 있다. 예를 들어, 디바이스(100)는 세탁기(420)의 헹굼 기능, 세제 투입 기능, 탈수 기능 또는 건조 기능을 실행시키기 위한 제어 방법을 안내하는 정보를 출력할 수 있다. 구체적으로, 디바이스(100)는 "세탁물을 넣고 시작 버튼을 눌러주세요"와 같은 세탁기의 제어 방법에 대한 안내 정보를 음성으로 출력할 수 있다.
디바이스(100)는 세탁기(420)의 상태 정보에 따라, 세탁기(420)에 관한 상이한 정보(즉, 제1 디바이스의 정보)를 출력할 수 있다. 예를 들어, 디바이스(100)는 세탁기(420)가 동작 중인 경우와 동작 중이 아닌 경우, 세탁기(420)의 상이한 정보를 출력할 수 있다. 구체적으로, 세탁기(420)의 응답 신호(421)에 포함된 세탁기(420)의 상태 정보에 따라, 세탁기(420)가 현재 세탁 기능을 수행하고 있는 경우, 디바이스(100)는 "세탁 중입니다. 전원을 끄지 마십시오"와 같이, 세탁기의 상태 정보 및 사용시 주의 사항을 음성으로 출력할 수 있다. 또 다른 예로, 세탁기(420)가 빨래가 끝났고, 세탁기(420) 내부에 세탁물이 남아있는 경우, 디바이스(100)는 "세탁이 끝났습니다. 세탁기의 문을 열고 세탁물을 꺼내주세요"와 같은 세탁기의 상태 정보 및 사용 방법을 음성으로 출력할 수 있다. 또 다른 예로, 빨래가 시작되지 않았으나, 세탁기(420) 내부에 세탁물이 가득 차 있는 경우, 디바이스(100)는 "세탁물이 가득 찼습니다. 시작 버튼을 눌러 주세요"와 같은 세탁기의 상태 정보 및 사용 방법을 음성으로 출력할 수 있다. 또 다른 예로, 세탁기(420)가 빨래가 끝났고, 세탁기(420) 내부에 세탁물이 없는 경우, "세탁물을 넣고 시작 버튼을 눌러주세요"와 같은 세탁기의 상태 정보 및 사용 방법을 음성으로 출력할 수 있다.
도 4 및 도 5에서는 디바이스(100)가 세탁기(420)를 제1 디바이스로 선택하고 세탁기(420)의 정보를 출력하는 일례를 설명하였지만, 이에 제한되지 않는다. 예를 들어, 디바이스(100)는 주변 디바이스들 중에서 TV(430), 냉장고(440) 및 다른 디바이스를 제1 디바이스로 선택할 수 있다.
예를 들어, TV(430)가 제1 디바이스가 될 수 있다. 디바이스(100)는 TV(430)의 응답 신호(431)에 포함된 상태 정보에 따라, TV(430)의 상이한 정보를 출력할 수 있다. 예를 들어, TV(430)의 응답 신호(431)에 포함된 상태 정보에 따라, TV(430)의 전원이 꺼져있는 경우, 디바이스(100)는 TV(430)의 전원을 켜는 방법에 대한 안내 정보를 출력할 수 있다. 또 다른 예로, TV(430)의 응답 신호(431)에 포함된 상태 정보에 따라, TV(430)의 전원이 켜있는 경우, 디바이스(100)는 TV(430)의 전원을 끄는 방법, TV(430)의 채널을 변경하는 방법, 외부 입력을 설정하는 방법 등에 대한 안내 정보를 출력할 수 있다.
디바이스(100)는 TV(430)로부터 TV(430)의 정보(즉, 제1 디바이스의 정보)를 수신할 수 있다. 예를 들어, 디바이스(100)는 TV(430)에게 가장 자주 보는 채널 정보를 요청하고, TV(430)로부터 가장 자주 보는 채널 정보를 수신하여, 가장 자주 보는 채널 정보를 제1 디바이스의 정보로서 출력할 수 있다.
또 다른 예로, 냉장고(440)가 제1 디바이스가 될 수 있다. 디바이스(100)는 냉장고(440)의 응답 신호(441)에 포함된 상태 정보에 따라, 냉장고(440)의 상이한 정보를 출력할 수 있다. 예를 들어, 냉장고(440)의 응답 신호(441)에 포함된 상태 정보에 따라, 냉장고(440)의 문이 닫혀있는 경우, 디바이스(100)는 냉장고(440)의 문을 여는 방법에 대한 안내 정보를 출력할 수 있다. 또 다른 예로, 냉장고(440)의 응답 신호(441)에 포함된 상태 정보에 따라, 냉장고(440)의 문이 열려있는 경우, 디바이스(100)는 자주 찾는 음식에 대한 안내 정보를 출력할 수 있다. 여기서, 자주 찾는 음식에 대한 안내 정보는 디바이스(100)에 미리 설정되어 있을 수 있다.
또 다른 예로, 에어컨(미도시)이 제1 디바이스가 될 수 있다. 디바이스(100)는 에어컨의 응답 신호에 포함된 상태 정보에 따라, 에어컨의 상이한 정보를 출력할 수 있다. 예를 들어, 에어컨의 응답 신호에 포함된 상태 정보에 따라, 에어컨의 전원이 꺼져 있는 경우, 디바이스(100)는 에어컨의 전원을 켜는 방법에 대한 안내 정보를 출력할 수 있다. 또 다른 예로, 에어컨의 응답 신호에 포함된 상태 정보에 따라, 에어컨의 전원이 켜져 있는 경우, 디바이스(100)는 온도를 설정하는 방법에 대한 안내 정보를 출력할 수 있다.
또 다른 예로, 전기밥솥(미도시)이 제1 디바이스가 될 수 있다. 디바이스(100)는 전기밥솥의 응답 신호에 포함된 상태 정보에 따라, 전기밥솥의 상이한 정보를 출력할 수 있다. 예를 들어, 전기밥솥의 응답 신호에 포함된 상태 정보에 따라, 전기밥솥 내에 밥이 없는 경우, 디바이스(100)는 취사 방법에 대한 안내 정보를 출력할 수 있다. 또 다른 예로, 전기밥솥의 응답 신호에 포함된 상태 정보에 따라, 전기밥솥 내에 밥이 있고, 전기밥솥의 뚜껑이 닫혀 있는 경우, 디바이스(100)는 전기밥솥의 뚜껑을 여는 방법에 대한 안내 정보를 출력할 수 있다.
또 다른 예로, 스마트폰(미도시)이 제1 디바이스인 경우, 디바이스(100)는 스마트폰을 이용하여 전화하는 방법에 대한 안내 정보를 출력할 수 있다.
이외에도, 디바이스(100)가 사용자(110)의 스트레스를 감지하여, 컴퓨터, 카메라 또는 MP3 등을 제1 디바이스로 선택하는 경우, 디바이스는 컴퓨터, 카메라 또는 MP3의 전원을 켜거나 끄는 방법에 대한 안내 정보를 출력할 수 있다.
도 6a 및 도 6b는 일부 실시예에 따른 디바이스(100)가 브로드 캐스팅 통신 방식에 기초하여 주변 디바이스(620, 630, 640)를 검색하는 일례를 설명하기 위한 개념도이다.
디바이스(100)는 디바이스(100)의 방향과 무관하게 디바이스(100)로부터 기설정된 거리 내에 위치하는 적어도 하나의 주변 디바이스(620, 630, 640)와 통신하여, 주변 디바이스(620, 630, 640)를 검색할 수 있다.
도 6b를 참조하면, 시간에 따른 스트레스 지수의 그래프가 도시된다. 사용자(110)가 스트레스를 겪지 않는 평소에는, 디바이스(100)가 계산한 사용자(110)의 스트레스 지수가 임계값 미만이 될 수 있다. 반면, 사용자(110)가 스트레스를 겪을 때는, 디바이스(100)가 계산한 사용자(110)의 스트레스 지수가 임계값 이상이 될 수 있다. 예를 들어, t1 시점에, 치매 환자인 사용자(110)는 간헐적 기억 상실 증상으로 인해 세탁기(620)의 조작 방법을 기억하지 못하고, 정신적인 스트레스를 겪을 수 있다. 또한, t1 시점에 사용자(110)의 스트레스 지수는 임계값을 초과할 수 있다. 예를 들어, 사용자(110)의 스트레스 지수는 도 2a를 통해 전술한 바와 같이, 사용자(110)로부터 측정된 EEG에 기초하여 계산된 Beta power ratio가 될 수 있다. Beta power ratio는 0% ~ 100% 사이의 값을 가질 수 있다. 또한, Beta power ratio의 임계값은 사용자(110)에 의해 70%로 설정될 수 있으며, 사용자(110)의 위치 정보 또는 현재 시간 정보에 기초하여 유동적으로 변할 수 있다.
디바이스(100)는 사용자(110)의 스트레스 지수가 임계값 이상이면, 사용자(110)로부터 주변 디바이스(620, 630, 640)의 검색을 요청하는 사용자 입력을 수신할 수 있다. 예를 들어, 디바이스(100)는 사용자(110)의 스트레스 지수가 임계값 이상이면, "도움이 필요하십니까?"라는 음성 신호를 출력함으로써, 사용자(110) 입력을 요청할 수 있다. 사용자(110) 입력을 요청한 뒤, 디바이스(100)는 "네" 또는 "디바이스 정보 요청"과 같은 사용자의 음성을 인식함으로써, 사용자 입력을 수신할 수 있다. 또 다른 예로, 디바이스(100)는 사용자(110)의 스트레스 지수가 임계값 이상이면, 진동 신호를 출력함으로써, 사용자(110) 입력을 요청할 수 있다. 사용자(110) 입력을 요청한 뒤, 디바이스(100)는 음성 인식, 버튼 조작 및 사용자 인터페이스 화면 중 적어도 하나에 기초하여, 주변 디바이스(620, 630, 640)의 검색을 요청하는 사용자 입력을 수신할 수 있다. 사용자(110)의 스트레스 지수가 임계값 이상임에도 불구하고, 사용자(110)가 디바이스(100)의 도움을 받기를 원하지 않는 경우, 사용자(110)는 음성 인식, 버튼 조작 및 사용자 인터페이스 화면 중 적어도 하나에 기초하여, 디바이스(100)의 동작을 종료시킬 수 있다.
도 6a를 참조하면, 디바이스(100)는 사용자(110)의 스트레스 지수를 발생시킨 주변 디바이스를 검색하기 위하여, 브로드 캐스팅 방식으로 검색 신호(411)를 송신할 수 있다. 구체적으로, 디바이스(100)가 주변 디바이스(620, 630, 640)의 검색을 요청하는 사용자 입력을 수신하면, 디바이스(100)는 방향성이 없는 안테나를 이용하여 검색 신호(611)를 송신하고, 디바이스(100)로부터 기설정된 거리 내에 있는 적어도 하나의 주변 디바이스(620, 630, 640)를 방향에 무관하게 검색할 수 있다.
디바이스(100)로부터 기설정된 거리 내에 위치하는 세탁기(620), TV(630), 및 냉장고(640)는 검색 신호(611)를 수신할 수 있다. 검색 신호(611)를 수신한 세탁기(620), TV(630), 및 냉장고(640)는 디바이스(100)에게 응답신호(621, 631, 641)를 송신할 수 있다.
디바이스(100)는 응답 신호(621, 631, 641)에 기초하여, 적어도 하나의 주변 디바이스(620, 630, 640) 중 어느 하나를 제1 디바이스로 선택할 수 있다. 예를 들어, 디바이스(100)는 수신된 적어도 하나의 응답 신호(621, 631, 641) 중 가장 강한 신호 세기의 응답 신호(621)를 송신한 세탁기(620)를 1 디바이스로 선택할 수 있다.
도 6b를 참조하면, 디바이스(100)에서 측정되는 주변 디바이스(620, 630, 640)의 응답 신호 세기가 도시된다. 예를 들어, 디바이스(100)에서 수신된 세탁기(620)의 응답 신호(621)의 세기는 8dBm, 디바이스(100)에서 수신된 TV(630)의 응답 신호(631)의 세기는 4dBm, 디바이스(100)에서 수신된 냉장고(640)의 응답 신호(641)의 세기는 2dBm에 해당할 수 있다. 디바이스(100)가 브로드 캐스팅 방식으로 검색 신호(611)를 송신할 때, 가장 강한 신호 세기의 응답 신호를 송신한 세탁기(620)가 디바이스(100)로부터 가깝게 위치할 수 있으므로, 디바이스(100)는 세탁기(620)를 제1 디바이스로 선택할 수 있다. 또한, 디바이스(100)는 선택된 세탁기(620)의 제어 방법을 출력하여, 세탁기(620)의 제어 방법을 기억하지 못하는 사용자(110)에게 도움을 줄 수 있다.
도 7은 일부 실시예에 따른 디바이스(100)가 브로드 캐스팅 방식에 기초하여 주변 디바이스를 검색하는 일례를 설명하기 위한 흐름도(700)다.
710 단계에서, 디바이스(100)는 사용자(110)의 생체 신호를 검출할 수 있다.
720 단계에서 디바이스(100)는 사용자(110)의 생체 신호에 기초하여, 사용자(110)의 스트레스 지수를 계산하고, 사용자(110)의 스트레스 지수가 임계값 이상인지를 결정할 수 있다.
730 단계에서, 디바이스(100)는 720 단계의 결과, 사용자(110)의 스트레스 지수가 임계값 이상이면, 브로드캐스팅 방식으로 검색 신호(611)를 송신할 수 있다. 구체적으로, 디바이스(100)는 방향과 무관하게, 디바이스(100)로부터 기설정된 거리 내에 위치하는 적어도 하나의 주변 디바이스(620, 630, 640)에게 검색 신호(611)를 송신할 수 있다. 또한, 디바이스(100)는 검색 신호(611)의 세기를 조절하여, 검색 범위를 조절할 수 있다.
740 단계에서, 디바이스(100)는 검색 신호를 수신 받은 세탁기(620), TV(630), 및 냉장고(640)로부터 응답 신호들(621, 631, 641)을 수신할 수 있다.
응답 신호는 응답 신호를 송신한 주변 디바이스의 식별 정보를 포함할 수 있다. 예를 들어, 도 6의 611 응답 신호는 세탁기(620)의 식별 정보를 포함할 수 있고, 도 6의 621 응답 신호는 TV(630)의 식별 정보를 포함할 수 있고, 도 6의 631의 응답 신호는 냉장고(640)의 식별 정보를 포함할 수 있다.
또한, 응답 신호들(621, 631, 641)은 사용자(110)를 촬영한 영상들을 포함할 수 있다. 디바이스(100)는 응답 신호들(621, 631, 641)에 포함된 사용자(110)의 영상들을 분석하여, 사용자의 시선 방향을 결정할 수 있다. 주변 디바이스(620, 630, 640)는 검색 신호를 수신함에 따라 사용자의 얼굴을 촬영하고, 촬영된 영상을 포함하는 응답 신호를 디바이스(100)에게 송신할 수 있다. 디바이스(100)는 촬영된 영상을 분석함으로써, 사용자의 시선이 응답 신호를 송신한 주변 디바이스(620, 630, 640)를 향하고 있는지를 결정할 수 있다.
예를 들어, 사용자(110)의 스트레스 지수가 기설정된 임계값을 초과하여, 디바이스(100)가 적어도 하나의 주변 디바이스(620, 630, 640)에게 검색 신호(611)를 송신할 때, 사용자(110)는 세탁기(620)를 바라보고 있을 수 있다. 그러면, 검색 신호를 수신한 세탁기(620) 및 TV(630)는, 검색 신호(611)가 수신되었을 때 카메라를 이용하여 사용자(110)를 촬영하고, 촬영된 영상을 디바이스(100)에게 송신할 수 있다. 디바이스(100)는 세탁기(620)의 응답 신호에 포함된 영상을 분석하여, 사용자(110)의 시선이 세탁기(620)를 향하고 있다고 결정할 수 있다. 반면에, 디바이스(100)는 TV(630)의 응답 신호에 포함된 영상을 분석하여, 사용자(110)의 시선이 TV(630)를 향하고 있지 않다고 결정할 수 있다.
750 단계에서, 디바이스(100)는 응답 신호에 기초하여 제1 디바이스를 선택할 수 있다. 예를 들어, 디바이스(100)는 신호 세기가 가장 높은 응답 신호(621)에 포함된 식별 정보를 분석하여, 세탁기(620)를 제1 디바이스로 선택할 수 있다.
디바이스(100)는 사용자(110)의 시선 정보에 기초하여, 제1 디바이스를 선택할 수 있다. 예를 들어, 디바이스(100)는 응답 신호들(621, 631, 641)에 포함된 사용자(110)의 촬영된 영상을 분석하여, 사용자(110)의 시선이 주변 디바이스들(620, 630, 640) 중 세탁기(620)를 향하고 있다고 결정하고, 세탁기(620)를 제1 디바이스로 선택할 수 있다.
760 단계에서, 디바이스(100)는 제1 디바이스인 세탁기(620)의 정보(즉, 제1 디바이스의 정보)를 출력할 수 있다.
도 8은 일부 실시예에 따른 디바이스(100)가 주변 디바이스(820)를 검색하기 위한 사용자 입력을 수신하는 일례를 설명하기 위한 개념도이다.
디바이스(100)는 주변 디바이스를 검색하기 위한 사용자 입력을 수신할 수 있다. 사용자 입력은 디바이스(100)가 주변 디바이스(820)를 검색하기 위한 조건이 될 수 있다.
구체적으로, 디바이스(100)는 음성 인식, 버튼 조작 및 사용자 인터페이스 화면 중 적어도 하나에 기초하여, 주변 디바이스의 검색을 요청하는 사용자 입력을 수신할 수 있다.
예를 들어, 도 8을 참조하면, 귀에 착용하는 형태의 디바이스(100)는 사용자(110)의 스트레스 지수가 임계값 이상이면, "도움이 필요하십니까?"라는 음성 신호를 출력함으로써, 사용자(110) 입력을 요청할 수 있다. 사용자(110) 입력을 요청한 뒤, 귀에 착용하는 형태의 디바이스(100)는 "네" 또는 "디바이스 정보 요청"과 같은 사용자의 음성을 인식함으로써, 사용자 입력을 수신할 수 있다.
또한, 디바이스(100)는 주변 디바이스(820)를 검색하기 위한 사용자 입력을 수신하고 난 뒤, 적어도 하나의 주변 디바이스(820)에게 검색 신호를 송신할 수 있다.
디바이스(100)가 검색 신호를 송신하기 전, 주변 디바이스(820)를 검색하기 위한 사용자 입력을 수신함으로써, 디바이스(100)의 전력이 효율적으로 소비될 수 있으며, 오작동을 방지할 수 있다.
도 9는 일부 실시예에 따른 디바이스(100)가 주변 디바이스(820)를 검색하기 위한 사용자 입력을 수신하고, 제1 디바이스의 정보를 출력하는 일례를 나타내는 흐름도(900)다.
910 단계 내지 920 단계 및 950 단계 내지 970 단계는 도 2의 210 단계 내지 220 단계 및 240 단계 내지 260 단계와 대응될 수 있다. 따라서, 도 2와 중복되는 설명은 생략한다.
910 단계에서, 디바이스(100)는 사용자(110)의 생체 신호를 검출할 수 있다.
920 단계에서 디바이스(100)는 사용자(110)의 생체 신호에 기초하여, 사용자(110)의 스트레스 지수를 계산하고, 사용자(110)의 스트레스 지수가 임계값 이상인지를 결정할 수 있다.
930 단계에서, 디바이스(100)는 920 단계의 결과, 사용자(110)의 스트레스 지수가 임계값 이상이면, 사용자(110)로부터 주변 디바이스(820)를 검색하기 위한 사용자 입력을 수신할 수 있다.
930 단계에서 디바이스(100)가 사용자 입력을 수신하면, 940 단계에서, 디바이스(100)는 적어도 하나의 주변 디바이스(820)에게 검색 신호를 송신할 수 있다.
950 단계에서 디바이스(100)는 940 단계에서 송신한 검색 신호를 수신한 적어도 하나의 주변 디바이스(820)로부터, 적어도 하나의 응답 신호를 수신할 수 있다.
960 단계에서, 디바이스(100)는 수신된 적어도 하나의 응답 신호에 기초하여 적어도 하나의 주변 디바이스(820) 중 제1 디바이스를 선택할 수 있다.
970 단계에서, 디바이스(100)는 제1 디바이스의 정보를 출력할 수 있다.
도 9에서는 사용자의 스트레스 지수가 임계값을 초과한 뒤, 검색 신호 및 응답 신호에 기초하여 주변 디바이스(820)를 검색하기 전, 디바이스(100)가 사용자 입력을 수신하도록 도시되었다. 그러나, 도 9에 도시된 바와는 다르게, 디바이스(100)는 사용자의 스트레스 지수가 임계치 이상일 때 검색 신호 및 응답 신호에 기초하여 주변 디바이스(820)를 검색한 뒤, 제1 디바이스를 선택하기 전, 제1 디바이스를 선택하기 위하여 사용자 입력을 수신할 수 있다. 예를 들면, 도 9의 930 단계가 950 단계 뒤, 960 단계 전에 수행될 수 있다. 또한, 디바이스(100)는 제1 디바이스를 선택한 뒤, 제1 디바이스의 정보를 출력하기 전, 제1 디바이스의 정보를 출력하기 위하여 사용자 입력을 수신할 수 있다. 예를 들면, 도 9의 930 단계가 960 단계 뒤, 970 단계 전에 수행될 수 있다.
도 10은 일부 실시예에 따른 디바이스(100)가 제1 디바이스 및 호스트 디바이스에게 제1 디바이스의 정보를 출력할 것을 요청하는 일례를 설명하기 위한 개념도이다.
전술한 바와 같이 디바이스(100)는 제1 디바이스의 정보를 직접 출력할 수 있다. 또한, 일부 실시예에 따른 디바이스(100)는 제1 디바이스에게 제1 디바이스의 정보를 출력할 것을 요청할 수 있다.
예를 들어, 도 10을 참조하면 디바이스(100)가 응답 신호에 기초하여 세탁기(1020)를 제1 디바이스로 선택하고, 세탁기(1020)에게 세탁기의 제어 방법을 가이드하기 위한 정보를 출력할 것을 요청할 수 있다. 예를 들어, 세탁기(1020)는 "세탁물을 넣고 시작 버튼을 눌러주세요"와 같이, 세탁기(1020)의 제어 방법을 가이드하기 위한 정보를 음성으로 출력할 수 있다.
도 10에 도시된 예와 다른 예로, 디바이스(100)는 세탁기(1020)에게 상태 정보를 출력할 것을 요청할 수 있다. 세탁기(1020)는 디바이스(100)로부터 요청을 받은 시점의 상태 정보를 출력할 수 있다. 예를 들어, 세탁기(1020)는 "세탁 중입니다"와 같은 상태 정보를 음성으로 출력할 수 있다.
일부 실시예에 따른 디바이스(100)는 호스트 디바이스(1030)에게 제1 디바이스의 정보를 출력할 것을 요청할 수 있다.
여기서, "호스트 디바이스(1030)"란 제1 디바이스의 정보를 출력하는 디바이스(100)를 제어할 수 있는 디바이스를 의미할 수 있다. 구체적으로, 호스트 디바이스(1030)에는 디바이스(100)를 제어하기 위한 기설정된 어플리케이션이 설치될 수 있다. 또한, 디바이스(100)에는 호스트 디바이스(1030)에 설치된 어플리케이션에 대응하는 위젯이 설치될 수 있다. 호스트 디바이스(1030)는 기설정된 어플리케이션을 실행하여, 디바이스(100)에게 데이터를 송신하거나, 디바이스(100)로부터 데이터를 수신하거나, 디바이스(100)에게 기설정된 동작을 수행할 것을 명령할 수 있다. 예를 들어, 호스트 디바이스(1030)는 디바이스(100)의 전원을 제어할 수 있다.
호스트 디바이스(1030)는 스마트폰, 태블릿, 컴퓨터 등 다양한 형태로 구현될 수 있다. 또한, 일반적으로 디바이스(100)의 사용자와 호스트 디바이스(1030)의 사용자는 동일할 수 있다.
도 10을 참조하면, 디바이스(100)는 호스트 디바이스(1030)에게 세탁기(1020)의 제어 방법을 가이드하기 위한 정보(즉, 제1 디바이스의 정보)를 출력할 것을 요청할 수 있다. 그러면, 호스트 디바이스(1030)는 세탁기(1020)의 제어 방법을 텍스트, 이미지, 동영상 및 음성 중 적어도 하나의 형태로 출력할 수 있다.
디바이스(100)는 제1 디바이스에게 또는 호스트 디바이스(1030)에게 제1 디바이스의 정보를 출력할 것을 요청함으로써, 사용자(110)에게 다양한 방식으로 제1 디바이스의 정보를 제공할 수 있다.
도 11은 일부 실시예에 따른 디바이스(100)가 제1 디바이스 및 호스트 디바이스에게 제1 디바이스의 정보를 출력할 것을 요청하는 일례를 설명하기 위한 흐름도(1100)다.
1110 단계 내지 1150 단계는 도 5의 510 단계 내지 550 단계에 대응될 수 있다. 따라서, 도 7과 중복되는 설명은 생략한다.
1160 단계에서, 디바이스(100)는 제1 디바이스에게 제1 디바이스의 정보를 출력할 것을 요청할 수 있다. 예를 들어, 디바이스(100)는 1150 단계에서 제1 디바이스로 선택된 세탁기(1020)에게, 제어 방법을 가이드하기 위한 정보를 출력할 것을 요청할 수 있다.
1180 단계에서, 제1 디바이스는 1160 단계에서 수신 받은 요청에 따라, 제1 디바이스의 정보를 출력할 수 있다.
제1 디바이스는 제1 디바이스의 정보를 시각 정보, 청각 정보 및 진동 신호 중 적어도 하나의 형태로 출력할 수 있다. 그러나, 제1 디바이스의 정보의 형태는 이에 한정되지 않는다.
예를 들어, 제1 디바이스는 문자, 숫자, 기호, 정지 영상 및 동영상 중 적어도 하나를 포함하는 제1 디바이스의 정보를 디스플레이부 상에 출력할 수 있다. 또한, 제1 디바이스가 프로젝터를 포함하는 경우, 문자, 숫자, 기호, 정지 영상 및 동영상 중 적어도 하나를 포함하는 제1 디바이스의 정보를 제1 디바이스의 외부에 프로젝트(project)할 수 있다.
또 다른 예로, 제1 디바이스는 제1 디바이스의 조작 버튼이나 디스플레이 패널을 점멸하여, 제1 디바이스의 정보를 출력할 수 있다. 예를 들어, 제1 디바이스는 디바이스(100)로부터 제1 디바이스의 정보를 출력할 것을 요청 받으면, 현재 제1 디바이스의 상태에 기초하여, 조작이 가능한 버튼을 점멸할 수 있다.
또 다른 예로, 제1 디바이스는 음향 출력부를 통해 제1 디바이스의 정보를 청각 정보로 출력할 수 있다.
또 다른 예로, 제1 디바이스는 진동 모터를 통해 제1 디바이스의 정보를 진동 신호로 출력할 수 있다.
예를 들어, 세탁기(1020)는 디바이스(100)의 요청에 따라, 세탁기(1020)의 제어 방법을 안내하는 정보를 음성으로 출력할 수 있다.
1170 단계에서, 디바이스(100)는 호스트 디바이스(1030)에게 제1 디바이스의 정보를 출력할 것을 요청할 수 있다.
예를 들어, 디바이스(100)는 호스트 디바이스(1030)에게 1150 단계에서 제1 디바이스로 선택된 세탁기(1020)의 제어 방법을 가이드하기 위한 정보를 출력할 것을 요청할 수 있다.
디바이스(100)는 호스트 디바이스(1030)와 페어링(pairing) 되어, 호스트 디바이스(1030)에게 데이터를 송신하거나, 호스트 디바이스(1030)로부터 데이터를 수신할 수 있다. 또한, 디바이스(100)는 호스트 디바이스(1030)와 페어링 되기 위하여, 인증 및 등록 과정을 거칠 수 있다.
구체적으로, 디바이스(100)는 유무선 통신 방식에 의해 호스트 디바이스(1030)와 통신할 수 있다. 예를 들어, 디바이스(100)는 호스트 디바이스(1030)와 연결된 데이터 케이블을 통하여 호스트 디바이스(1030)와 통신할 수 있다. 또한, 디바이스(100)는 NFC(Near Field Communication), ZIGBEE, 블루투스(bluetooth), 초광대역(UWB) 통신 등 무선 통신 방식을 통하여 호스트 디바이스(1030)와 통신할 수 있다.
또한, 디바이스(100)는 외부 서버를 통해, 호스트 디바이스(1030)와 통신할 수 있다. 예를 들어, 디바이스(100)는 3G, 4G 통신망 또는 WIFI를 통하여, 서버를 경유하여 호스트 디바이스(1030)에게 데이터를 송신하거나, 호스트 디바이스(1030)로부터 데이터를 수신할 수 있다.
디바이스(100)가 호스트 디바이스(1030)와 통신하는 방법은 이에 한정되지 않는다. 예를 들어, 디바이스(100)는 초음파, 적외선, BAN(body area network)를 이용하여, 호스트 디바이스(1030)와 통신할 수 있다.
1190 단계에서, 호스트 디바이스(1030)는 1170 단계에서 수신 받은 요청에 따라, 제1 디바이스의 정보를 출력할 수 있다.
호스트 디바이스는 제1 디바이스의 정보를 시각 정보, 청각 정보 및 진동 신호 중 적어도 하나의 형태로 출력할 수 있다. 그러나, 제1 디바이스의 정보의 형태는 이에 한정되지 않는다.
예를 들어, 호스트 디바이스는 문자, 숫자, 기호, 정지 영상 및 동영상 중 적어도 하나를 포함하는 제1 디바이스의 정보를 디스플레이부 상에 출력할 수 있다. 또한, 호스트 디바이스가 프로젝터를 포함하는 경우, 문자, 숫자, 기호, 정지 영상 및 동영상 중 적어도 하나를 포함하는 제1 디바이스의 정보를 외부에 프로젝트(project)할 수 있다.
또 다른 예로, 호스트 디바이스는 음향 출력부를 통해 제1 디바이스의 정보를 청각 정보로 출력할 수 있다.
또 다른 예로, 호스트 디바이스는 진동 모터를 통해 제1 디바이스의 정보를 진동 신호로 출력할 수 있다.
예를 들어, 호스트 디바이스(1030)는 디바이스(100)의 요청에 따라, 세탁기(1020)의 제어 방법을 안내하는 정보를 동영상으로 출력할 수 있다.
도 10 및 도 11을 통해 전술한 바와 같이, 디바이스(100)는 제1 디바이스의 정보를 출력할 것을 제1 디바이스 또는 호스트 디바이스에게 요청할 수 있다. 또한, 디바이스(100)는 주변 디바이스들 중 제2 디바이스(미도시)에게 제1 디바이스의 정보를 출력할 것을 요청할 수 있다. 예를 들어, 디바이스(100)는 세탁기(1020)를 제1 디바이스로 선택하고, 디바이스(100)에 가장 가깝게 위치한 TV(즉, 제2 디바이스)에게, 세탁기의 정보를 출력할 것을 요청할 수 있다. 또 다른 예로, 디바이스(100)는 세탁기(1020)를 제1 디바이스로 선택하고, 사용자(110)가 착용하고 있는 웨어러블 디바이스(예를 들어, 보청기. 이어폰, 안경, 고글, 헬멧, 머리띠, HMD(head mounted device), 팔찌, 반지, 목걸이, 신발, 벨트, 스티커 또는 클립 등)에게 세탁기의 정보를 출력할 것을 요청할 수 있다.
제2 디바이스는 제1 디바이스의 정보를 시각 정보, 청각 정보 및 진동 신호 중 적어도 하나의 형태로 출력할 수 있다. 그러나, 제1 디바이스의 정보의 형태는 이에 한정되지 않는다.
예를 들어, 제2 디바이스는 문자, 숫자, 기호, 정지 영상, 동영상 및 조명 중 적어도 하나를 포함하는 제1 디바이스의 정보를 출력할 수 있다. 또한, 제2 디바이스가 프로젝터를 포함하는 경우, 문자, 숫자, 기호, 정지 영상 및 동영상 중 적어도 하나를 포함하는 제1 디바이스의 정보를 외부에 프로젝트(project)할 수 있다.
또 다른 예로, 제2 디바이스는 음향 출력부를 통해 제1 디바이스의 정보를 청각 정보로 출력할 수 있다.
또 다른 예로, 제2 디바이스는 진동 모터를 통해 제1 디바이스의 정보를 진동 신호로 출력할 수 있다.
예를 들어, 제2 디바이스가 스피커인 경우, 스피커는 제1 디바이스의 정보를 음성 또는 음향 신호로 출력할 수 있다.
도 1 내지 도 11을 참조하여 설명한 바와 같이, 일부 실시예에 따른 디바이스(100)는 주변 디바이스와 통신하여 주변 디바이스를 검색할 수 있다.
이하에서는 도 12a 내지 도 19를 참조하여, 디바이스(100)가 주변 디바이스와 직접 통신하지 않고도, 주변 디바이스를 검색하는 방법에 대하여 상세히 설명한다.
도 12a 및 도 12b는 일부 실시예에 따른 디바이스(100)가 댁내 위치를 결정하고, 디바이스(100)의 방향을 검출하여, 제1 디바이스를 선택하고, 제1 디바이스의 정보를 출력하는 일례를 나타내는 개념도(1200)다.
도 12b를 참조하면, 시간에 따른 스트레스 지수의 그래프가 도시된다. 사용자(110)가 스트레스를 겪지 않는 평소에는, 디바이스(100)가 계산한 사용자(110)의 스트레스 지수가 임계값 미만이 될 수 있다. 반면, 사용자(110)가 스트레스를 겪을 때는, 디바이스(100)가 계산한 사용자(110)의 스트레스 지수가 임계값 이상이 될 수 있다. 예를 들어, t1 시점에, 치매 환자인 사용자(110)는 간헐적 기억 상실 증상으로 인해 세탁기(1250)의 조작 방법을 기억하지 못하고, 정신적인 스트레스를 겪을 수 있다. 또한, t1 시점에 사용자(110)의 스트레스 지수는 임계값을 초과할 수 있다. 예를 들어, 사용자(110)의 스트레스 지수는 도 2a를 통해 전술한 바와 같이, 사용자(110)로부터 측정된 EEG에 기초하여 계산된 Beta power ratio가 될 수 있다. Beta power ratio는 0% ~ 100% 사이의 값을 가질 수 있다. 또한, Beta power ratio의 임계값은 사용자(110)에 의해 70%로 설정될 수 있으며, 사용자(110)의 위치 정보 또는 현재 시간 정보에 기초하여 유동적으로 변할 수 있다.
디바이스(100)는 사용자(110)의 스트레스 지수가 임계값 이상이면, 사용자(110)로부터 주변 디바이스(1250, 1260)의 검색을 요청하는 사용자 입력을 수신할 수 있다. 예를 들어, 디바이스(100)는 사용자(110)의 스트레스 지수가 임계값 이상이면, "도움이 필요하십니까?"라는 음성 신호를 출력함으로써, 사용자(110) 입력을 요청할 수 있다. 사용자(110) 입력을 요청한 뒤, 디바이스(100)는 "네" 또는 "디바이스 정보 요청"과 같은 사용자의 음성을 인식함으로써, 사용자 입력을 수신할 수 있다. 또 다른 예로, 디바이스(100)는 사용자(110)의 스트레스 지수가 임계값 이상이면, 진동 신호를 출력함으로써, 사용자(110) 입력을 요청할 수 있다. 사용자(110) 입력을 요청한 뒤, 디바이스(100)는 음성 인식, 버튼 조작 및 사용자 인터페이스 화면 중 적어도 하나에 기초하여, 주변 디바이스(1250, 1260)의 검색을 요청하는 사용자 입력을 수신할 수 있다. 사용자(110)의 스트레스 지수가 임계값 이상임에도 불구하고, 사용자(110)가 디바이스(100)의 도움을 받기를 원하지 않는 경우, 사용자(110)는 음성 인식, 버튼 조작 및 사용자 인터페이스 화면 중 적어도 하나에 기초하여, 디바이스(100)의 동작을 종료시킬 수 있다.
도 12a를 참조하면, 디바이스(100)는 사용자(110)의 스트레스 지수를 발생시킨 주변 디바이스(1250, 1260)를 검색하기 위하여, t1 시점에 디바이스(100)의 댁내 위치를 결정할 수 있다. 구체적으로, 디바이스(100)가 주변 디바이스(1250, 1260)의 검색을 요청하는 사용자 입력을 수신하면, 디바이스(100)는 제1 내지 제4 노드들(1210, 1220, 1230, 1240)로부터 수신되는 제1 내지 제4 노드 신호들(1211, 1221, 1231, 1241)의 신호 세기 및 제1 내지 제4 노드들(1210, 1220, 1230, 1240)의 위치에 기초하여, 디바이스(100)의 댁내 위치를 결정할 수 있다. 디바이스(100)가 댁내 위치를 결정하는 일례에 대해서는 이하 도 14를 참조하여 더욱 상세히 설명한다.
여기서 노드(node)(1210, 1220, 1230, 1240)란, 제1 디바이스의 정보를 출력하는 디바이스(100)의 위치를 결정하기 위해 이용되는 디바이스를 의미할 수 있다. 노드(1210,1220, 1230, 1240)는 디바이스(100)에게 기설정된 데이터를 송신하거나, 디바이스(100)와 기설정된 데이터를 송수신할 수 있다. 예를 들어, 노드(1210,1220, 1230, 1240)는 안테나 및 와이파이 엑세스 포인트(wi-fi access point), 블루투스 태그(Bluetooth tag) 등을 포함할 수 있다.
디바이스(100)는 디바이스(100)의 댁내 위치 및 디바이스의 방향(1280)에 기초하여, 적어도 하나의 주변 디바이스(1250, 1260) 중 어느 하나를 제1 디바이스로 선택할 수 있다. 예를 들어, 디바이스(100)는 디바이스(100)의 방향(1280)을 기준으로 좌우 30도 범위 내에 위치하고, 디바이스(100)에게 가장 가깝게 위치한 세탁기(1250)를 제1 디바이스로 선택할 수 있다. 디바이스(100)의 방향(1280)은 디바이스(100)의 종류에 따라 상이할 수 있다. 디바이스(100)는 가속도 센서, 지자기 센서 및 자이로스코프 센서 중 적어도 하나에 기초하여, 디바이스(100)의 일부를 기준으로 기설정된 디바이스(100)의 방향을 검출할 수 있다.
도 12b를 참조하면, 디바이스(100)에서 측정되는 디바이스(100)와 주변 디바이스(1250, 1260) 간의 거리가 도시된다. 디바이스(100)는 t1 시점에 결정된 디바이스(100)의 댁내 위치와, 디바이스(100) 상에 미리 저장된 주변 디바이스(1250, 1260)의 위치 정보들을 비교하여, 디바이스(100)와 주변 디바이스(1250, 1260)의 거리를 계산할 수 있다. 예를 들어, 디바이스(100)는 세탁기(1250) 및 TV(1260)와 2m만큼 떨어져 있을 수 있다. 디바이스(100)가 세탁기(1250) 및 TV(1260)와 동일한 거리만큼 떨어져있지만, 세탁기(1250)는 디바이스(100)의 기설정된 방향(1280)을 기준으로 좌우 30도 범위 내에 위치하고, TV(1260)는 디바이스(100)의 기설정된 방향(1280)을 기준으로 좌우 30도 범위 내에 위치하지 않으므로, 디바이스(100)는 세탁기(1250)를 제1 디바이스로 선택할 수 있다. 또한, 디바이스(100)는 선택된 세탁기(1250)의 제어 방법을 출력하여, 세탁기(1250)의 제어 방법을 기억하지 못하는 사용자(110)에게 도움을 줄 수 있다.
전술한 바와 같이, 디바이스(100)는 주변 디바이스(1250, 1260)와 통신하지 않고도, 디바이스(100)의 댁내 위치 및 디바이스(100)의 기설정된 방향(1280)에 기초하여, 주변 디바이스(1250, 1260)를 검색할 수 있다.
도 13은 일부 실시예에 따른 디바이스(100)가 댁내 위치를 결정하고, 디바이스(100)의 방향을 검출하여, 제1 디바이스를 선택하고, 제1 디바이스의 정보를 출력하는 일례를 나타내는 흐름도(1300)다.
또한, 1320 단계, 1330 단계 및 1380 단계의 동작은 각각 도 2a의 210a 단계, 220a 단계 및 260a 단계에 대응될 수 있다. 따라서, 도 2a와 중복되는 설명은 생략한다.
1310 단계에서, 디바이스(100)는 주변 디바이스(1250, 1260) 및 노드(1210, 1220, 1230, 1240)의 댁내 위치 정보를 저장할 수 있다. 주변 디바이스(1250, 1260)의 댁내 위치 정보는 사용자(110)가 위치하는 집 또는 건물 내 주변 디바이스(1250, 1260)의 고유한 위치를 나타낼 수 있다. 노드(1210, 1220, 1230, 1240)의 댁내 위치 정보는 사용자(110)가 위치하는 집 또는 건물 내 노드(1210, 1220, 1230, 1240)의 고유한 위치를 나타낼 수 있다. 예를 들어, 주변 디바이스(1250, 1260)의 댁내 위치 정보 및 노드(1210, 1220, 1230, 1240)의 댁내 위치 정보는 소정의 원점을 기준으로 설정된 2차원 좌표가 될 수 있다. 또한, 디바이스(100)는 주변 디바이스(1250, 1260)의 댁내 위치 정보를 등록, 편집 및 삭제할 수 있다.
1320 단계에서, 디바이스(100)는 사용자(110)의 생체 신호를 검출할 수 있다.
1330 단계에서, 디바이스(100)는 사용자(110)의 생체 신호에 기초하여, 사용자(110)의 스트레스 지수를 계산하고, 사용자(110)의 스트레스 지수가 임계값 이상인지를 결정할 수 있다.
1340 단계에서, 디바이스(100)는 노드(1210, 1220, 1230, 1240)로부터 노드 신호(1211, 1221, 1231, 1241)를 수신할 수 있다.
노드 신호(1211, 1221, 1231, 1241)는 노드 신호(1211, 1221, 1231, 1241)를 송신한 노드(1210, 1220, 1230, 1240)의 식별 정보를 포함할 수 있다. 예를 들어, 제1 노드 신호(1211)는 제1 노드(1210)의 식별 정보를 포함할 수 있다.
또한, 디바이스(100)는 사용자(110)의 스트레스 지수가 임계값 이상이면, 노드(1210, 1220, 1230, 1240)에게 노드 신호를 송신할 것을 요청할 수 있다. 구체적으로, 디바이스(100)는 사용자(110)의 스트레스 지수가 임계값 이상이면, 노드(1210, 1220, 1230, 1240)에게 검색 신호를 송신하고, 노드(1210, 1220, 1230, 1240)로부터 노드 신호(1211, 1221, 1231, 1241)를 수신할 수 있다.
도 13에서는 사용자(110)의 스트레스 지수가 임계값 이상이면, 디바이스(100)가 노드 신호(1211, 1221, 1231, 1241)를 수신하도록 도시되었으나, 디바이스(100)는 사용자(110)의 스트레스 지수와 무관하게 노드 신호(1211, 1221, 1231, 1241)를 수신할 수 있다. 예를 들어, 1340 단계의 동작은 1330 단계의 동작이 수행되기 전에 수행될 수 있다.
노드(1210, 1220, 1230, 1240)는 무선 통신 방식에 의해 디바이스(100)와 통신할 수 있다. 예를 들어, 노드(1210, 1220, 1230, 1240)는 Wi-fi, NFC(Near Field Communication), ZIGBEE, 블루투스(bluetooth), 초광대역(UWB) 통신, 초음파, 적외선 등 무선 통신 방식을 통하여 디바이스(100)와 통신할 수 있다.
1350 단계에서, 디바이스(100)는 노드 신호(1211, 1221, 1231, 1241)의 신호 세기 및 노드(1210, 1220, 1230, 1240)의 위치에 기초하여, 디바이스(100)의 댁내 위치를 결정할 수 있다.
디바이스(100)의 댁내 위치 정보는 사용자(110)가 위치하는 집 또는 건물 내 디바이스(100)의 위치를 나타낼 수 있다. 예를 들어, 디바이스(100)의 댁내 위치 정보는 소정의 원점을 기준으로 설정된 2차원 좌표가 될 수 있다. 이 경우, 디바이스(100) 댁내 위치를 나타내는 2차원 좌표 및 주변 디바이스(1250, 1260)의 댁내 위치를 나타내는 2차원 좌표는 서로 동일한 원점을 기준으로 설정될 수 있다.
예를 들어, 디바이스(100)는 노드 신호(1211, 1221, 1231, 1241)의 신호 세기 및 식별 정보에 기초하여, 노드(1210, 1220, 1230, 1240)와 디바이스(100) 간의 거리를 계산할 수 있다. 또한, 디바이스(100)는 계산된 거리와 노드(1210, 1220, 1230, 1240)의 위치에 기초하여, 디바이스(100)의 댁내 위치를 결정할 수 있다.
또 다른 예로, 디바이스(100)는 댁내 위치에 따른 노드 신호 핑거 프린트 맵(finger print map)에 기초하여, 디바이스(100)의 댁내 위치를 결정할 수 있다. 구체적으로, 댁내 위치에 따른 노드 신호 핑거 프린트 맵이란, 댁내 위치별로 디바이스(100)에서 고유하게 검출되는 노드 신호(1211, 1221, 1231, 1241)의 신호 세기에 대한 정보를 의미할 수 있다. 디바이스(100)는 댁내 위치에 따른 노드 신호 핑거 프린트 맵을 미리 저장하고, 저장된 핑거 프린트 맵과 디바이스(100)에서 현재 수신된 노드 신호(1211, 1221, 1231, 1241)의 신호 세기를 패턴 매칭(pattern matching)하거나 비교하여, 디바이스(100)의 댁내 위치를 결정할 수 있다.
디바이스(100)는 노드 신호(1211, 1221, 1231, 1241)가 많을 수록, 디바이스(100)의 댁내 위치를 더욱 정확하게 결정할 수 있다.
디바이스(100)가 댁내 위치를 결정하는 일례에 대해서는 이하 도 14를 참조하여 더욱 상세히 설명한다.
1360 단계에서, 디바이스(100)는 디바이스(100)의 방향을 검출할 수 있다.
디바이스(100)는 가속도 센서, 지자기 센서 및 자이로스코프 센서 중 적어도 하나에 기초하여, 디바이스(100)의 일부를 기준으로 기설정된 디바이스(100)의 방향을 검출할 수 있다.
디바이스(100)의 방향은 디바이스(100)의 종류에 따라 상이할 수 있다. 예를 들어, 귀에 착용되는 디바이스(100)의 경우, 디바이스(100)의 방향은, 사용자(110) 안면(face)에 수직한 방향이 될 수 있다. 또 다른 예로, 안경 타입 디바이스(100)의 경우, 디바이스(100) 방향은, 렌즈에 수직한 방향이 될 수 있다.
1370 단계에서, 디바이스(100)는 디바이스(100)의 댁내 위치 및 방향에 기초하여, 1310 단계에서 댁내 위치 정보가 저장된 적어도 하나의 주변 디바이스(1250, 1260) 중 어느 하나를 제1 디바이스로 선택할 수 있다. 예를 들어, 디바이스(100)는 디바이스(100)의 방향을 기준으로 소정의 범위 내에 위치하고, 디바이스(100)의 댁내 위치에 가장 가깝게 위치한 주변 디바이스(1250, 1260)를 제1 디바이스로 선택할 수 있다.
또한, 1380 단계에서, 디바이스(100)는 제1 디바이스의 정보를 출력할 수 있다.
도 14는 일부 실시예에 따른 디바이스(100)가 디바이스(100)의 댁내 위치 및 방향에 기초하여, 제1 디바이스를 선택하는 일례를 설명하기 위한 개념도(1400)다.
도 14를 참조하면, 댁내에는 복수 개의 노드들(1410, 1420, 1430, 1440), 복수 개의 주변 디바이스들(1450, 1460) 및 주변 디바이스(1450, 1460)의 정보를 출력하는 디바이스(100)가 위치할 수 있다.
디바이스(100)는 노드 신호에 포함된 식별 정보에 기초하여, 노드 신호를 송신한 노드를 결정할 수 있다. 또한, 디바이스(100)는 노드 신호의 신호 세기에 기초하여, 디바이스(100)와 노드 간의 거리를 측정할 수 있다. 이하에서는, 설명의 편의를 위하여 제n 노드와 디바이스(100) 간의 거리를 "제n 노드 거리"라 한다. 구체적으로, 제n 노드로부터 수신된 제n 노드 신호의 세기가 강하거나, 수신 감도가 높을수록, 제n 노드 거리는 짧아질 수 있다.
디바이스(100)는 복수 개의 노드들(1410, 1420, 1430, 1440)의 댁내 위치 정보 및 복수 개의 노드들(1410, 1420, 1430, 1440) 각각에 대한 디바이스(100)와 노드 간의 거리에 기초하여, 디바이스(100)의 댁내 위치를 결정할 수 있다.
구체적으로, 제n 노드의 위치 정보를 저장하고 있는 디바이스(100)는, 제n 노드의 위치를 중심으로 제n 노드 거리의 반지름을 갖는 원 상의 어느 한 점에 디바이스(100)의 위치를 결정할 수 있다. 이하에서는, 설명의 편의를 위하여 제n 노드의 위치를 중심으로 제n 노드 거리의 반지름을 갖는 원을 "제n 노드 원"이라 한다.
따라서, 디바이스(100)는 서로 다른 제n 노드 원들이 만나는 지점에, 디바이스(100)의 댁내 위치를 결정할 수 있다.
예를 들어, 도 14를 참조하면, 제1 노드 원(1411), 제2 노드 원(1421), 제3 노드 원(1431) 및 제4 노드 원(1441)의 일부가 도시된다. 디바이스(100)는 디바이스(100)의 댁내 위치(1470)를 제1 내지 제4 노드 원들(1411, 1421, 1431, 1441)이 만나는 지점으로 결정할 수 있다.
또한, 디바이스(100)는 디바이스(100)의 댁내 위치 및 방향에 기초하여, 주변 디바이스들(1450, 1460, 1470) 중 제1 디바이스를 선택할 수 있다. 예를 들어, 도 14를 참조하면, 세탁기(1450)와 디바이스(100) 간의 거리(1451)가, TV(1460)와 디바이스(100) 간의 거리(1461)와 동일할 수 있다. 그러나, 세탁기(1450)가 디바이스(100)의 댁내 위치(1470)를 기준으로 디바이스(100)의 방향(1480) 방향에 위치하므로, 디바이스(100)는 세탁기(1450)를 제1 디바이스로 선택할 수 있다.
도 15a 및 도 15b는 일부 실시예에 따른 디바이스(100)가 댁내의 디바이스(100)의 위치를 결정하여, 주변 디바이스를 검색하는 일례를 설명하기 위한 개념도이다.
도 15b를 참조하면, 시간에 따른 스트레스 지수의 그래프가 도시된다. 사용자(110)가 스트레스를 겪지 않는 평소에는, 디바이스(100)가 계산한 사용자(110)의 스트레스 지수가 임계값 미만이 될 수 있다. 반면, 사용자(110)가 스트레스를 겪을 때는, 디바이스(100)가 계산한 사용자(110)의 스트레스 지수가 임계값 이상이 될 수 있다. 예를 들어, t1 시점에, 치매 환자인 사용자(110)는 간헐적 기억 상실 증상으로 인해 세탁기(1550)의 조작 방법을 기억하지 못하고, 정신적인 스트레스를 겪을 수 있다. 또한, t1 시점에 사용자(110)의 스트레스 지수는 임계값을 초과할 수 있다. 예를 들어, 사용자(110)의 스트레스 지수는 도 2a를 통해 전술한 바와 같이, 사용자(110)로부터 측정된 EEG에 기초하여 계산된 Beta power ratio가 될 수 있다. Beta power ratio는 0% ~ 100% 사이의 값을 가질 수 있다. 또한, Beta power ratio의 임계값은 사용자(110)에 의해 70%로 설정될 수 있으며, 사용자(110)의 위치 정보 또는 현재 시간 정보에 기초하여 유동적으로 변할 수 있다.
디바이스(100)는 사용자(110)의 스트레스 지수가 임계값 이상이면, 사용자(110)로부터 주변 디바이스(1550, 1560, 1570)의 검색을 요청하는 사용자 입력을 수신할 수 있다. 예를 들어, 디바이스(100)는 사용자(110)의 스트레스 지수가 임계값 이상이면, "도움이 필요하십니까?"라는 음성 신호를 출력함으로써, 사용자(110) 입력을 요청할 수 있다. 사용자(110) 입력을 요청한 뒤, 디바이스(100)는 "네" 또는 "디바이스 정보 요청"과 같은 사용자의 음성을 인식함으로써, 사용자 입력을 수신할 수 있다. 또 다른 예로, 디바이스(100)는 사용자(110)의 스트레스 지수가 임계값 이상이면, 진동 신호를 출력함으로써, 사용자(110) 입력을 요청할 수 있다. 사용자(110) 입력을 요청한 뒤, 디바이스(100)는 음성 인식, 버튼 조작 및 사용자 인터페이스 화면 중 적어도 하나에 기초하여, 주변 디바이스(1550, 1560, 1570)의 검색을 요청하는 사용자 입력을 수신할 수 있다. 사용자(110)의 스트레스 지수가 임계값 이상임에도 불구하고, 사용자(110)가 디바이스(100)의 도움을 받기를 원하지 않는 경우, 사용자(110)는 음성 인식, 버튼 조작 및 사용자 인터페이스 화면 중 적어도 하나에 기초하여, 디바이스(100)의 동작을 종료시킬 수 있다.
도 15a를 참조하면, 디바이스(100)는 사용자(110)의 스트레스 지수를 발생시킨 주변 디바이스(1550, 1560, 1570)를 검색하기 위하여, t1 시점에 디바이스(100)의 댁내 위치를 결정할 수 있다. 구체적으로, 디바이스(100)가 주변 디바이스(1550, 1560, 1570)의 검색을 요청하는 사용자 입력을 수신하면, 디바이스(100)는 제1 내지 제4 노드들(1510, 1520, 1530, 1540)로부터 수신되는 제1 내지 제4 노드 신호들(1511, 1521, 1531, 1541)의 신호 세기 및 제1 내지 제4 노드들(1510, 1520, 1530, 1540)의 위치에 기초하여, 디바이스(100)의 댁내 위치를 결정할 수 있다. 디바이스(100)가 댁내 위치를 결정하는 일례에 대해서는 이하 도 17을 참조하여 더욱 상세히 설명한다.
디바이스(100)는 디바이스(100)의 댁내 위치에 기초하여, 적어도 하나의 주변 디바이스(1550, 1560, 1570) 중 어느 하나를 제1 디바이스로 선택할 수 있다. 예를 들어, 디바이스(100)는 디바이스(100)에게 가장 가깝게 위치한 세탁기(1550)를 제1 디바이스로 선택할 수 있다.
도 15b를 참조하면, 디바이스(100)에서 측정되는 디바이스(100)와 주변 디바이스(1550, 1560, 1570) 간의 거리가 도시된다. 디바이스(100)는 t1 시점에 결정된 디바이스(100)의 댁내 위치와, 디바이스(100) 상에 미리 저장된 주변 디바이스(1550, 1560, 1570)의 위치 정보들을 비교하여, 디바이스(100)와 주변 디바이스(1550, 1560, 1570)의 거리를 계산할 수 있다. 예를 들어, 디바이스(100)는 세탁기(1550)와 1m만큼 떨어져 있고, TV(1560)와 2m만큼 떨어져 있을 수 있고, 냉장고(1570)와 20m만큼 떨어져 있을 수 있다. 디바이스(100)는 디바이스(100)의 위치와 가장 가까운 세탁기(1550)를 제1 디바이스로 선택할 수 있다. 또한, 디바이스(100)는 선택된 세탁기(1550)의 제어 방법을 출력하여, 세탁기(1550)의 제어 방법을 기억하지 못하는 사용자(110)에게 도움을 줄 수 있다.
전술한 바와 같이, 디바이스(100)는 주변 디바이스(1550, 1560, 1570)와 통신하지 않고도, 디바이스(100)의 댁내 위치에 기초하여, 주변 디바이스(1550, 1560, 1570)를 검색할 수 있다.
도 16은 일부 실시예에 따른 디바이스(100)가 댁내의 디바이스(100)의 위치를 결정하여, 주변 디바이스(1550, 1560, 1570)를 검색하는 일례를 나타내는 흐름도(1600)다.
1610 단계 내지 1650 단계 및 1670 단계는 각각 도 13의 1310 단계 내지 1350 단계 및 1380 단계에 대응 될 수 있다. 따라서, 도 13과 중복되는 설명은 생략한다.
1610 단계에서, 디바이스(100)는 주변 디바이스(1550, 1560, 1570) 및 노드(1510, 1520, 1530, 1540)의 댁내 위치 정보를 저장할 수 있다.
1620 단계에서, 디바이스(100)는 사용자(110)의 생체 신호를 검출할 수 있다.
1630 단계에서, 디바이스(100)는 사용자(110)의 생체 신호에 기초하여, 사용자(110)의 스트레스 지수를 계산하고, 사용자(110)의 스트레스 지수가 임계값 이상인지 결정할 수 있다.
1640 단계에서, 디바이스(100)는 노드(1510, 1520, 1530, 1540)로부터 노드 신호(1511, 1521, 1531, 1541)를 수신할 수 있다.
1650 단계에서, 디바이스(100)는 노드 신호의 신호 세기 및 노드(1510, 1520, 1530, 1540)의 댁내 위치에 기초하여, 디바이스(100)의 댁내 위치를 결정할 수 있다.
1660 단계에서, 디바이스(100)는 디바이스(100)의 댁내 위치에 기초하여, 1610 단계에서 댁내 위치 정보가 저장된 적어도 하나의 주변 디바이스(1550, 1560, 1570) 중 어느 하나를 제1 디바이스로 선택할 수 있다.
또한, 1670 단계에서, 디바이스(100)는 제1 디바이스의 정보를 출력할 수 있다.
도 17은 일부 실시예에 따른 디바이스(100)가 디바이스(100)의 댁내 위치(1770)에 기초하여 제1 디바이스를 선택하는 일례를 설명하기 위한 개념도(1700)다.
도 17를 참조하면, 댁내에는 복수 개의 노드들(1710, 1720, 1730, 1740), 복수 개의 주변 디바이스들(1750, 1760, 1770) 및 주변 디바이스(1750, 1760, 1770)의 정보를 출력하는 디바이스(100)가 위치할 수 있다.
도 14를 참조하여 전술한 바와 같이, 디바이스(100)는 디바이스(100)의 댁내 위치(1770)를 제1 노드 원(1711), 제2 노드 원(1721), 제3 노드 원(1731) 및 제4 노드 원(1741)이 만나는 지점으로 결정할 수 있다. 따라서, 도 14와 중복되는 설명은 생략한다.
예를 들어, 도 17를 참조하면, 세탁기(1750)와 디바이스(100) 간의 거리(1751)가, TV(1760)와 디바이스(100) 간의 거리(1761) 및 냉장고(1770)와 디바이스(100) 간의 거리(1751)보다 짧으므로, 디바이스(100)는 세탁기(1750)를 제1 디바이스로 선택할 수 있다.
도 12a 내지 도 17를 참조하여 설명한 바와 같이, 일부 실시예에 따른 디바이스(100)는 노드 신호(1211, 1221, 1231, 1241)에 기초하여 디바이스(100)의 댁내 위치를 결정할 수 있다. 그러나, 디바이스(100)가 댁내 위치를 결정하는 방법은 이에 한정되지 않는다.
예를 들어, 디바이스(100) 주변의 자기장에 기초하여 디바이스(100) 댁내 위치를 결정할 수 있다. 구체적으로, 집의 구조, 집의 철골 구조, 집에 포함된 금속 물질 등에 의하여 지자기의 변화가 일어나, 디바이스(100)의 주변에서 검출되는 지자기는 댁내 위치에 따라 상이할 수 있다. 따라서, 디바이스(100)는 디바이스(100) 주변의 자기장을 검출하여, 디바이스(100)의 댁내 위치를 결정할 수 있다. 또한, 적어도 하나의 주변 디바이스의 위치 정보를 저장하고 있는 디바이스(100)는, 디바이스(100)의 댁내 위치에 기초하여, 적어도 하나의 주변 디바이스 중 제1 디바이스를 선택할 수 있다.
예를 들어, 디바이스(100)는 댁내 위치에 따른 지자기 핑거 프린트 맵(finger print map)에 기초하여, 디바이스(100)의 댁내 위치를 결정할 수 있다. 댁내 위치에 따른 지자기 핑거 프린트 맵이란, 댁내 위치별로 디바이스(100)에서 고유하게 검출되는 지자기 신호에 대한 정보를 의미할 수 있다.
디바이스(100)는 댁내 위치에 따른 지자기 핑거 프린트 맵을 미리 저장할 수 있다. 또한, 디바이스(100)는 저장된 지자기 핑거 프린트 맵과 현재 디바이스(100)에서 검출된 지자기 신호를 패턴 매칭(pattern matching)하거나 비교하여, 디바이스(100)의 댁내 위치를 결정할 수 있다.
또한, 디바이스(100)는 저장된 지자기 핑거 프린트 맵과 디바이스(100)에서 검출되는 지자기 신호의 변화를 패턴 매칭하여, 디바이스(100)의 댁내 위치를 결정할 수 있다. 디바이스(100)에서 현재 검출된 지자기 신호의 강도에 매칭되는 댁내 위치는 복수 개가 존재할 수 있다. 이러한 경우, 디바이스(100)는 현재의 지자기 신호뿐만 아니라 과거에 검출된 적어도 하나의 지자기 신호들을 지자기 핑거 프린트 맵과 패턴 매칭하여, 디바이스(100)의 댁내 위치를 결정할 수 있다.
또한, 디바이스(100)는 음원 위치 추정(sound source localization) 방법에 기초하여 디바이스(100)의 댁내 위치를 결정할 수 있다.
예를 들어, 디바이스(100)는 주변 디바이스들(1750, 1760, 1770)에서 인식된 사용자(110)의 음성 신호에 대한 정보를 주변 디바이스들(1750, 1760, 1770)로부터 수신할 수 있다. 예를 들어, 음성 신호에 대한 정보는 음성 신호의 강도 및 음성 신호의 도착 시간 지연 중 적어도 하나를 포함할 수 있다. 또한, 디바이스(100)는 주변 디바이스들(1750, 1760, 1770)의 댁내 위치 정보들을 저장할 수 있다.
디바이스(100)는 주변 디바이스들(1750, 1760, 1770)의 댁내 위치 정보와 주변 디바이스들(1750, 1760, 1770)에서 인식된 사용자(110) 음성 신호의 강도 정보에 기초하여, 디바이스(100)의 댁내 위치를 결정할 수 있다.도 12a 내지 도 17을 참조하여 설명한 바와 같이, 일부 실시예에 따른 디바이스(100)는 디바이스(100)의 댁내 위치를 결정하여, 주변 디바이스를 검색할 수 있다.
이하에서는 도 18 내지 도 19을 참조하여, 디바이스(100)가 주변 디바이스와 직접 통신하지 않고도, 주변 디바이스를 검색하는 또 다른 방법에 대하여 상세히 설명한다.
도 18은 일부 실시예에 따른 디바이스(100)가 대상체(1820)를 촬영하여, 대상체(1820)를 검색하는 일례를 나타내는 개념도이다.
디바이스(100)는 사용자(110)의 스트레스 지수가 기설정된 임계값 이상이면, 디바이스(100)에 내장된 카메라를 이용하여 대상체(1820)를 촬영할 수 있다. 여기서, 대상체(1820)란 디바이스(100) 주변의 사람 또는 물건이 될 수 있다. 대상체(1820)는 디바이스(100)의 주변에 위치하는 물건의 전부 또는 일부, 디바이스(100) 주변의 사람을 포함할 수 있다.
디바이스(100) 주변의 물건은 디바이스(100) 주변에 위치하는 물질적 대상이 될 수 있다. 예를 들어, 디바이스(100) 주변의 물건은 CE(consumer electronics), 홈 디바이스, 모바일 디바이스 등과 같은 전자 장치를 포함할 수 있다. 또한, 디바이스(100) 주변의 물건은 달력, 수첩, 책, 지갑, 옷 등과 같은 전자 장치 이외의 물질적 대상을 포함할 수 있다.
디바이스(100)는 촬영된 이미지를 분석하여 사용자(110)의 스트레스 지수를 발생시킨 대상체(1820)를 검색할 수 있다. 예를 들어, 디바이스(100)는 대상체(1820)의 촬영된 이미지와 디바이스(100)에 미리 저장된 대상체(1820)의 이미지를 비교하여, 대상체(1820)를 검색 및 식별할 수 있다.
또는, 디바이스(100)는 촬영된 이미지를 호스트 디바이스(1830)에게 송신하고, 호스트 디바이스(1830)로부터 대상체(1820)의 정보를 수신할 수 있다.
도 10에서 전술한 바와 같이, 호스트 디바이스(1830)는 디바이스(100)를 제어할 수 있는 디바이스를 의미할 수 있다. 또한, 디바이스(100)는 호스트 디바이스(1830)와 페어링되어, 호스트 디바이스(1830)에게 데이터를 송신하거나, 호스트 디바이스(1830)로부터 데이터를 수신할 수 있다. 따라서, 도 10과 중복되는 설명은 생략한다.
호스트 디바이스(1830)는 디바이스(100)로부터 수신한 대상체(1820)의 이미지에 기초하여, 대상체(1820)를 검색할 수 있다. 예를 들어, 호스트 디바이스(1830)는 대상체(1820)의 이미지와 호스트 디바이스(1830)에 미리 저장된 대상체(1820)의 이미지를 비교하여, 대상체(1820)를 검색할 수 있다. 또한, 호스트 디바이스(1830)는 검색된 대상체(1820)의 정보를 디바이스(100)에게 송신할 수 있다.
예를 들어, 사용자(110)의 스트레스 지수가 기설정된 임계값 이상이 되어, 디바이스(100)가 세탁기(1820)를 촬영할 수 있다. 그러면, 디바이스(100)는 호스트 디바이스(1830)에게 세탁기를 촬영한 이미지를 전송할 수 있다. 또한, 호스트 디바이스(1830)는 수신된 세탁기의 이미지와 호스트 디바이스(1830)에 미리 저장된 세탁기의 이미지를 비교하여, 세탁기(1830)를 검색할 수 있다. 또한, 호스트 디바이스(1830)는 디바이스(100)에게 세탁기(1830)의 제어 방법에 대한 안내 정보를 전송할 수 있다.
전술한 바와 같이, 일부 실시예에 따른 디바이스(100)는 주변 디바이스(1820)가 통신이 불가능 하여도, 주변 디바이스(1820)를 촬영하여 주변 디바이스(1820)를 검색할 수 있다.
도 19는 일부 실시예에 따른 디바이스(100)가 대상체(1820)를 촬영하여, 대상체(1820)를 검색하는 일례를 나타내는 흐름도이다.
1910 단계 내지 1920 단계는 도 2의 210 단계 내지 220 단계와 대응될 수 있다. 따라서, 도 2와 중복되는 설명은 생략한다.
1910 단계에서, 디바이스(100)는 사용자(110)의 생체 신호를 검출할 수 있다.
1920 단계에서, 디바이스(100)는 검출된 사용자(110)의 생체 신호에 기초하여, 사용자(110)의 스트레스 지수를 계산하고, 사용자(110)의 스트레스 지수가 기설정된 임계값 이상인지를 결정할 수 있다.
1930 단계에서, 디바이스(100)는 1920 단계에서 사용자(110)의 스트레스 지수가 기설정된 임계값 이상이면, 대상체(1820)를 촬영할 수 있다. 1940 단계에서, 디바이스(100)는 1930 단계에서 촬영된 대상체(1820)의 이미지를 호스트 디바이스(1830)에게 송신할 수 있다. 1950 단계에서, 디바이스(100)는 호스트 디바이스(1830)로부터 대상체(1820)의 정보를 수신할 수 있다. 1960 단계에서, 디바이스(100)는 1950 단계에서 수신된 대상체(1820)의 정보를 출력할 수 있다.
대상체(1820)가 디바이스(100)의 주변 물건인 경우, 디바이스(100)는 물건의 정보를 출력할 수 있다. 물건의 정보는 물건의 전부 또는 일부의 정보가 될 수 있다. 구체적으로, 물건의 정보는 물건의 식별 정보 및 상태 정보, 물건의 일부에 대한 식별 정보 및 상태 정보, 물건의 소정의 기능을 실행하기 위한 안내 정보, 물건의 일부를 제어하는 방법을 안내하는 정보 등을 포함할 수 있다.
예를 들어, 사용자(110)의 스트레스 지수가 임계값 이상이 되어, 디바이스(100)가 냉장고(미도시)의 홈바(home-bar)를 촬영할 수 있다. 그러면, 디바이스(100)는 호스트 디바이스(1830)에게 냉장고의 홈바의 이미지를 전송할 수 있다. 또한, 호스트 디바이스(1830)는 수신된 냉장고의 홈바의 이미지와 호스트 디바이스(1830)에 미리 저장된 이미지를 비교하여, 냉장고의 홈바를 검색할 수 있다. 또한, 호스트 디바이스(1830)는 디바이스(100)에게 냉장고의 홈바를 사용하는 방법을 가이드하기 위한 정보를 전송할 수 있다.
또 다른 예로, 사용자(110)의 스트레스 지수가 임계값 이상이 되어, 디바이스(100)가 냉장고의 온도를 설정할 수 있는 디스플레이부 혹은 사용자 인터페이스부를 촬영할 수 있다. 그러면, 디바이스(100)는 호스트 디바이스(1830)에게 냉장고의 디스플레이부의 이미지를 전송할 수 있다. 또한, 호스트 디바이스(1830)는 수신된 냉장고의 디스플레이부의 이미지와 호스트 디바이스(1830)에 미리 저장된 이미지를 비교하여, 냉장고의 디스플레이부를 검색할 수 있다. 또한, 호스트 디바이스(1830)는 디바이스(100)에게 냉장고의 온도를 조절하는 방법을 가이드하기 위한 정보를 전송할 수 있다.
물건의 정보는 물건과 관련된 사용자(110) 정보가 될 수 있다. 예를 들어, 사용자(110) 정보란 사용자의 일정 정보 및 사용자의 주변 환경 정보 등을 포함할 수 있다.
예를 들어, 사용자(110)의 스트레스 지수가 임계값 이상이 되어, 디바이스(100)는 달력을 촬영할 수 있다. 그러면, 디바이스(100)는 호스트 디바이스(1830)에게 달력의 이미지를 전송할 수 있다. 호스트 디바이스(1830)는 달력의 이미지와 호스트 디바이스(1830)에 미리 저장된 이미지를 비교하여, 달력을 검색할 수 있다. 또한, 호스트 디바이스(1830)는 최근 일정 정보를 디바이스(100)에게 전송할 수 있고, 디바이스(100)는 최근 일정 정보를 출력할 수 있다.
또 다른 예로, 사용자(110)의 스트레스 지수가 임계값 이상이 되어, 디바이스(100)가 전화기를 촬영할 수 있다. 그러면, 디바이스(100)는 호스트 디바이스(1830)에게 전화기의 이미지를 전송할 수 있다. 또한, 호스트 디바이스(1830)는 수신된 전화기의 이미지와 호스트 디바이스(1830)에 미리 저장된 이미지를 비교하여, 전화기를 검색할 수 있다. 또한, 호스트 디바이스(1830)는 디바이스(100)에게 가장 자주 통화하는 전화번호(즉, 주변 디바이스의 정보)를 전송할 수 있다.
또한, 디바이스(100)는 복수 개의 디바이스를 촬영한 이미지를 호스트 디바이스(1830)에게 송신할 수 있다. 그러면, 호스트 디바이스(1830)는 복수 개의 디바이스들 중, 촬영부의 초점이 맞춰진 디바이스를 선택하고, 선택된 디바이스를 검색 및 식별할 수 있다. 또한, 호스트 디바이스(1830)는 검색된 디바이스의 정보를 디바이스(100)에게 송신할 수 있다.
대상체(1820)가 디바이스(100) 주변의 사람인 경우, 디바이스(100)는 사람의 정보를 출력할 수 있다. 사람의 정보는 특정인의 프로필 정보가 될 수 있다. 프로필 정보는 특정인의 이름, 나이, 직업 및 사용자와의 친인척 관계 등을 포함할 수 있다. 예를 들어, 사용자(110)가 특정인을 알아보지 못하여, 사용자(110)의 스트레스 지수가 임계값 이상이 될 수 있다. 디바이스(100)는 특정인을 촬영하고, 촬영된 특정인의 이미지를 호스트 디바이스(1830)에게 전송할 수 있다. 호스트 디바이스(1830)는 촬영된 이미지와 호스트 디바이스(1830)에 미리 저장된 이미지를 비교하거나, 얼굴 인식 기능을 통해 촬영된 특정인을 검색 및 식별할 수 있다. 호스트 디바이스(1830)는 검색된 특정인의 프로필 정보를 디바이스(100)에게 송신할 수 있다. 디바이스(100)는 수신된 프로필 정보를 출력할 수 있다.
한편, 일부 실시예에 따른 디바이스(100)는 사용자(110)가 위험 디바이스를 사용하려고 할 때, 경고 신호를 출력하여 사용자(110)의 주의를 환기시킬 수 있다. 또한, 일부 실시예에 따른 디바이스(100)는 기설정된 연락처에 연락하여, 타인에게 사용자(110)의 위험 상황을 알릴 수 있다. 이하에서는, 도 20 내지 도 22를 참조하여, 디바이스(100)가 경고 신호를 출력하거나 알림을 외부에 전송하는 동작에 대하여 상세히 설명한다.
도 20은 디바이스(100)가 위험 디바이스(2000)를 제1 디바이스로 선택하여, 경고 신호 및 제1 디바이스의 정보를 출력하는 일례를 설명하기 위한 개념도이다.
여기서, 위험 디바이스(2000)는 사용자(110)가 사용법을 정확히 숙지하지 못하면, 위험 디바이스로 인하여 사용자(110)가 상해를 입을 수 있는 디바이스를 의미할 수 있다.
위험 디바이스(2000)는 디바이스(100) 상에서 사용자(110)에 의해 미리 분류되거나 미리 설정될 수 있다. 예를 들어, 위험 디바이스(2000)는 전자레인지, 오븐가스레인지 및 전기 난로 등을 포함할 수 있다.
디바이스(100)는 선택된 제1 디바이스가 위험 디바이스에 해당하는 경우, 경고 신호를 출력할 수 있다. 여기서, 경고 신호란 사용자(110)에게 선택된 제1 디바이스가 위험 디바이스임을 알리기 위한 신호를 의미할 수 있다.
또한, 디바이스(100)는 선택된 제1 디바이스가 위험 디바이스에 해당하는 경우, 기설정된 연락처로 알림을 전송할 수 있다. 예를 들어, 기설정된 연락처는 사용자(110)의 보호자 및 지인의 연락처에 해당할 수 있다. 알림은 사용자(110)가 위험한 상황에 처할 수 있음을 지시하는 메시지가 될 수 있으며, 문자 메시지, 이메일, 인스턴트 메시지 영상 메시지, 푸시 알림 중 적어도 하나의 형태로 송신될 수 있다. 알림의 내용은 제1 디바이스의 이름 및 종류를 포함할 수 있으며, 사용자(110)로부터 감지된 스트레스의 이름 및 종류를 포함할 수 있다. 또한, 알림의 내용은 사용자(110)의 스트레스가 감지된 시간 정보를 포함할 수 있다.
예를 들어, 디바이스(100)가 전자레인지(2010)를 제1 디바이스로 선택할 수 있다. 전자레인지(2010)는 디바이스(100) 상에 기설정된 위험 디바이스에 해당할 수 있다. 따라서, 디바이스(100)는 경고 신호로써, "경고, 위험 디바이스입니다"와 같은 음성 신호를 출력할 수 있다. 또한, 디바이스(100)는 경고 신호를 출력한 후, 전자레인지(2010)의 사용시 주의 사항, 동작 방법 등(즉, 제1 디바이스의 정보)을 출력할 수 있다. 상술한 바와 같이, 디바이스(100)는 경고 신호를 출력함으로써, 사용자(110)에게 위험 상황에 대한 주의를 환기시킬 수 있다. 또한, 디바이스(100)는 디바이스(100) 상에 기설정된 연락처인 보호자의 휴대폰(2030)으로 알림을 전송할 수 있다. 예를 들어, 디바이스(100)는 보호자의 휴대폰(2030)으로 문자 메시지를 전송할 수 있다. 상술한 바와 같이, 디바이스(100)는 기설정된 연락처에 알림을 송신함으로써, 보호자 등에게 위험 상황을 알릴 수 있다.
도 21은 디바이스(100)가 위험 디바이스(2000)를 제1 디바이스로 선택하여, 경고 신호 및 제1 디바이스의 정보를 출력하는 일례를 설명하기 위한 흐름도이다.
2110 단계, 2220단계, 2150 단계, 및 2190 단계의 동작은, 도 2a의 210a 단계, 220a 단계, 250a 단계, 및 260a 단계의 동작에 대응될 수 있다. 따라서, 도 2a와 중복되는 설명은 생략한다.
2110 단계에서, 디바이스(100)는 사용자(110)의 생체 신호를 검출할 수 있다. 2120 단계에서, 디바이스(100)는 2110 단계에서 검출된 사용자(110)의 생체 신호에 기초하여, 사용자(110)의 스트레스 지수를 계산하고, 사용자(110)의 스트레스 지수가 기설정된 임계값 이상인지를 결정할 수 있다.
2150 단계에서, 디바이스(100)는 사용자(110)의 스트레스 지수가 기설정된 임계값 이상이면, 적어도 하나의 주변 디바이스 중 제1 디바이스를 선택할 수 있다.
디바이스(100)는 도 1 내지 도 19를 통해 전술한 방법으로, 주변 디바이스를 검색할 수 있다. 예를 들어, 디바이스(100)는 검색 신호 및 응답 신호에 기초하여 주변 디바이스를 검색할 수 있다. 또 다른 예로, 디바이스(100)는 댁내 위치에 기초하여 주변 디바이스를 선택할 수 있다. 또는, 디바이스(100)는 주변 디바이스를 촬영하여 주변 디바이스를 검색할 수 있다.
2160 단계에서, 디바이스(100)는 선택된 제1 디바이스가 위험 디바이스에 해당하는지 여부를 결정할 수 있다.
디바이스(100)는 디바이스(100)의 데이터베이스에 기초하여, 선택된 제1 디바이스가 위험 디바이스에 해당하는지 결정할 수 있다. 구체적으로, 디바이스(100)는 위험 디바이스 리스트를 미리 저장해 놓을 수 있다. 디바이스(100)는 선택된 제1 디바이스가, 디바이스(100) 상에 미리 저장된 위험 디바이스 리스트에 포함되는 경우, 제1 디바이스를 위험 디바이스로 결정할 수 있다. 디바이스(100)는 사용자 입력에 기초하여, 위험 디바이스 리스트를 등록, 편집 및 삭제할 수 있다
예를 들어, 도 1 내지 도 7을 통해 전술한 바와 같이, 디바이스(100)가 검색 신호 및 응답 신호에 기초하여 주변 디바이스를 검색하는 경우, 디바이스(100)는 제1 디바이스의 응답 신호에 포함된 식별 정보(예를 들어, 제1 디바이스의 ID)를, 디바이스(100) 상에 미리 저장된 위험 디바이스 리스트와 비교할 수 있다. 비교 결과, 제1 디바이스가 위험 디바이스 리스트에 포함된 경우, 디바이스(100)는 제1 디바이스를 위험 디바이스로 결정할 수 있다.
또 다른 예로, 도 12a 내지 도 17을 통해 전술한 바와 같이, 디바이스(100)가 댁내 위치에 기초하여 주변 디바이스를 검색하는 경우, 디바이스(100)는 디바이스(100) 상에 미리 저장된 제1 디바이스의 식별 정보(예를 들어, 제1 디바이스의 ID)를, 디바이스(100) 상에 미리 저장된 위험 디바이스 리스트와 비교할 수 있다. 비교 결과, 제1 디바이스가 위험 디바이스 리스트에 포함된 경우, 디바이스(100)는 제1 디바이스를 위험 디바이스로 결정할 수 있다.
디바이스(100)는 제1 디바이스가 위험 디바이스(2000)에 해당하는지 여부를 지시하는 정보를 제1 디바이스로부터 수신할 수 있다.
예를 들어, 도 1 내지 도 7을 통해 전술한 바와 같이, 디바이스(100)가 검색 신호 및 응답 신호에 기초하여 주변 디바이스를 검색하는 경우, 디바이스(100)는 제1 디바이스로부터 제1 디바이스가 위험 디바이스에 해당하지는 여부를 지시하는 정보를 수신할 수 있다.
디바이스(100)는 제1 디바이스가 위험 디바이스(2000)에 해당하는지 여부를 지시하는 정보를 호스트 디바이스(1830)로부터 수신할 수 있다.
예를 들어, 도 18 내지 도 19을 통해 전술한 바와 같이, 디바이스(100)가 주변 디바이스를 촬영하여, 주변 디바이스를 검색하는 경우, 디바이스(100)는 호스트 디바이스로부터 제1 디바이스가 위험 디바이스에 해당하지는 여부를 지시하는 정보를 수신할 수 있다.
2160 단계의 결정 결과, 제1 디바이스가 위험 디바이스에 해당하는 경우, 2170 단계에서, 디바이스(100)는 경고 신호를 출력할 수 있다. 예를 들어, 경고 신호는 시각 신호, 청각 신호, 진동 신호 및 촉각 신호 중 적어도 하나를 포함할 수 있다. 구체적으로, 디바이스(100)는 음성 신호, 경고음, 사이렌, 문자 메시지, 조명, 경고등 및 진동 중 적어도 하나의 형태로 경고 신호를 출력할 수 있다.
또한, 2180 단계에서, 디바이스(100)는 기설정된 연락처로 알림을 전송할 수 있다. 예를 들어, 디바이스(100)는 보호자의 연락처로 알림을 전송할 수 있다. 디바이스(100)는 기설정된 연락처에게 직접 알림을 전송할 수 있다. 또는, 디바이스(100)는 서버(2040)를 경유하여 기설정된 연락처에게 알림을 전송 할 수 있다.
또한, 디바이스(100)는 선택된 제1 디바이스가 위험 디바이스에 해당하는 경우, 제1 디바이스에게 경고 신호를 출력할 것을 요청할 수 있다. 예를 들어, 제1 디바이스는 사용자 입력이 수신되는 버튼을 진동시키거나, 사이렌을 울리거나, 조명을 켜서 사용자(110)에게 위험 신호를 전달하고, 사용자의 주의를 환기시킬 수 있다.
또한, 디바이스(100)는 선택된 제1 디바이스가 위험 디바이스에 해당하는 경우, 제2 디바이스에게 경고 신호를 출력할 것을 요청할 수 있다. 예를 들어, 제2 디바이스(예를 들어, 사용자(110)가 착용하고 있는 웨어러블 디바이스 혹은 제1 디바이스 이외의 주변 디바이스)는 진동 신호를 출력하거나, 사이렌을 울리거나 조명을 켜서 사용자에게 위험 신호를 전달하고, 사용자의 주의를 환기시킬 수 있다.
2190 단계에서, 디바이스(100)는 선택된 제1 디바이스의 정보를 출력할 수 있다. 구체적으로, 2160 단계의 결정 결과, 제1 디바이스가 위험 디바이스에 해당하지 않는 경우, 2170 단계 및 2180 단계가 생략되고 2190 단계가 수행될 수 있다. 또한, 2160 단계의 결정 결과, 제1 디바이스가 위험 디바이스에 해당하는 경우, 2170 단계 및 2180 단계가 수행되고 2190 단계가 수행될 수 있다.
도 21에서는 2170 단계 내지 2190 단계가 순차적으로 수행되도록 도시되었으나, 그 순서는 변경될 수 있다. 또한, 2170 단계 내지 2190 단계는 순차적으로 수행되거나, 동시에 수행될 수 있다.
도 22는 일부 실시예에 따른 디바이스(100)가 위험 디바이스인 제1 디바이스를 선택하여, 보호자의 휴대폰(2030)에 연락을 취하는 동작을 나타내는 흐름도(2200)다.
디바이스(100)는 사용자(110)의 스트레스 지수를 계산한 뒤, 2220 단계에서, 제1 디바이스를 선택할 수 있다. 2230 단계에서, 디바이스(100)는 제1 디바이스가 위험 디바이스에 해당하는지 여부를 결정할 수 있다. 2230 단계의 결정 결과, 제1 디바이스가 위험 디바이스에 해당하면, 2240 단계에서 디바이스(100)는 경고 신호를 출력하고, 2250 단계에서 보호자(2210)의 휴대폰(2030)으로 알림을 전송할 수 있다. 또한, 2260 단계에서, 디바이스(100)는 제1 디바이스의 정보를 출력할 수 있다. 2270 단계에서, 보호자(2210)의 휴대폰(2030)은 2250 단계에서 수신 받은 알림을 출력할 수 있다.
도 23 내지 도 24는 일부 실시예에 따른 주변 디바이스의 정보를 출력하는 디바이스(2300, 2400)의 일례를 나타내는 구성도이다. 도 23 내지 도 24에 도시된 디바이스(2300, 2400)는 도 1 내지 도 22를 참조하여 상술한 디바이스(100)에 해당될 수 있다.
도 23을 참조하면, 일부 실시예에 따른 디바이스(2300)는 센서(2310), 통신부(2320), 제어부(2330) 및 출력부(2340)를 포함할 수 있다.
또한, 도 23에 도시된 구성 요소 모두가 디바이스(2300) 의 필수 구성 요소인 것은 아니다. 도 23에 도시된 구성 요소보다 많은 구성 요소에 의해 디바이스(2300)가 구현될 수도 있고, 도 23에 도시된 구성 요소보다 적은 구성 요소에 의해 디바이스(2300)가 구현될 수도 있다.
예를 들어, 도 24을 참조하면, 다른 실시예에 따른 디바이스(2400)는 도 23의 디바이스(2300)에 비하여, 입력부(2450) 및 저장부(2460)를 더 포함할 수 있다.
센서(2310, 2410)는, 디바이스(2300, 2400)의 상태 또는 디바이스(2300, 2400) 주변의 상태를 감지하고, 감지된 정보를 제어부(2330, 2430)로 전달할 수 있다.
센서(2310, 2410)는, EEG 센서(2411), ECG 센서(2412), 심박 센서(2413), 온/습도 센서(2414), 가속도 센서(Acceleration sensor)(2415), 지자기 센서(Magnetic sensor)(2416), 및 자이로스코프 센서(2417) 중 적어도 하나를 포함할 수 있으나, 이에 한정되는 것은 아니다. 각 센서들의 기능은 그 명칭으로부터 당업자가 직관적으로 추론할 수 있으므로, 구체적인 설명은 생략하기로 한다.
예를 들어, 센서(2310, 2410)는 사용자의 생체 신호를 검출할 수 있다.
또한, 센서(2310, 2410)는 디바이스(2300, 2400)의 방향을 검출할 수 있다.
또한, 센서(2310, 2410)는 디바이스(2300, 2400) 주변의 자기장을 검출할 수 있다.
통신부(2320, 2420)는, 디바이스(2300, 2400)와 디바이스 또는 디바이스(2300, 2400)와 서버 간에 데이터 통신을 하게 하는 하나 이상의 구성요소를 포함할 수 있다. 예를 들어, 통신부(2320, 2420)는, 근거리 통신부(2421) 및 이동 통신부(2422)를 포함할 수 있다.
근거리 통신부(short-range wireless communication unit)(2421)는, 블루투스 통신부, BLE(Bluetooth Low Energy) 통신부, 근거리 무선 통신부(Near Field Communication unit), WLAN(와이파이) 통신부, 지그비(Zigbee) 통신부, 적외선(IrDA, infrared Data Association) 통신부, WFD(Wi-Fi Direct) 통신부, UWB(ultra wideband) 통신부, Ant+ 통신부, 적외선 통신부, 초음파 통신부, BAN(body area network) 통신부, 자기장 통신부 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.
이동 통신부(2422)는, 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다. 여기에서, 무선 신호는, 음성 호 신호, 화상 통화 호 신호 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다.
예를 들어, 통신부(2320, 2420)는 적어도 하나의 주변 디바이스에게 검색 신호를 송신하고, 적어도 하나의 주변 디바이스로부터 적어도 하나의 응답 신호를 수신할 수 있다.
또한, 통신부(2320, 2420)는 디바이스(2300, 2400)를 기준으로 기설정된 방향으로 검색 신호를 송신할 수 있다.
또한, 통신부(2320, 2420)는 제1 디바이스에게 제1 디바이스의 정보를 출력할 것을 요청할 수 있다.
또한, 통신부(2320, 2420)는 적어도 하나의 노드로부터 적어도 하나의 노드 신호를 수신할 수 있다.
또한, 통신부(2320, 2420)는 호스트 디바이스에게 주변 디바이스의 이미지를 전송하고, 호스트 디바이스로부터 주변 디바이스의 정보를 수신할 수 있다.
또한, 통신부(2320, 2420)는 기설정된 연락처로 알림을 전송 할 수 있다.
제어부(2330, 2430)는, 통상적으로 디바이스(2300, 2400)의 전반적인 동작을 제어한다. 예를 들어, 제어부(2330, 2430)는, 저장부(2460)에 저장된 프로그램들을 실행함으로써, 센서(2310, 2410), 통신부(2320, 2420), 출력부(2340, 2440) 및 입력부(2450) 등을 전반적으로 제어할 수 있다.
예를 들어, 제어부(2330, 2430)는 사용자의 생체 신호에 기초하여 사용자(110)의 스트레스 지수를 계산할 수 있다.
또한, 제어부(2330, 2430)는 검색 신호 및 응답 신호에 기초하여 적어도 하나의 주변 디바이스를 검색할 수 있다. 또한, 제어부(2330, 2430)는 응답 신호의 세기 및 디바이스(2300, 2400)의 방향에 기초하여, 검색된 적어도 하나의 주변 디바이스 중 제1 디바이스를 선택할 수 있다.
또한, 제어부(2330, 2430)는 적어도 하나의 노드의 댁내 위치 정보 및 적어도 하나의 노드 신호의 신호 세기에 기초하여 디바이스(2300, 2400)의 댁내 위치를 결정할 수 있다
또한, 제어부(2330, 2430)는 디바이스(2300, 2400) 주변의 자기장에 기초하여 디바이스(2300, 2400)의 댁내 위치를 결정할 수 있다.
또한, 제어부(2330, 2430)는 디바이스(2300, 2400)의 댁내 위치에 기초하여 적어도 하나의 주변 디바이스 중 제1 디바이스를 선택할 수 있다.
또한, 제어부(2330, 2430)는 사람 또는 물건의 이미지를 이용하여, 이미지에 포함된 사람 또는 물건을 검색할 수 있다.
출력부(2340, 2440)는, 오디오 신호 또는 비디오 신호 또는 진동 신호를 출력할 수 있으며, 출력부(2340, 2440)는 디스플레이부(2441), 음향 출력부(2340, 2440), 진동 모터(2443) 및 프로젝터(2444)를 포함할 수 있다.
디스플레이부(2441)는 디바이스(2300, 2400)에서 처리되는 정보를 표시 출력한다. 예를 들어, 디스플레이부(2441)는, 가상 이미지를 선택하기 위한 사용자 인터페이스, 가상 이미지의 동작을 설정하기 위한 사용자 인터페이스를 디스플레이할 수 있다.
한편, 디스플레이부(2441)와 터치패드가 레이어 구조를 이루어 터치 스크린으로 구성되는 경우, 디스플레이부(2441)는 출력 장치 이외에 입력 장치로도 사용될 수 있다. 디스플레이부(2441)는 액정 디스플레이(liquid crystal display), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display), 유기 발광 다이오드(organic light-emitting diode), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display), 전기영동 디스플레이(electrophoretic display) 중에서 적어도 하나를 포함할 수 있다. 그리고 구현 형태에 따라 디바이스(2300, 2400)는 디스플레이부(2441)를 2개 이상 포함할 수도 있다. 이때, 2개 이상의 디스플레이부(2441)는 힌지(hinge)를 이용하여 마주보게 배치될 수 있다.
음향 출력부(2340, 2440)는 통신부(2320, 2420)로부터 수신되거나 저장부(2460)에 저장된 오디오 데이터를 출력한다. 또한, 음향 출력부(2340, 2440)는 디바이스(2300, 2400)에서 수행되는 기능(예를 들어, 호신호 수신음, 메시지 수신음, 알림음)과 관련된 음향 신호를 출력한다. 이러한 음향 출력부(2340, 2440)에는 스피커(speaker), 버저(Buzzer) 등이 포함될 수 있다.
진동 모터(2443)는 진동 신호를 출력할 수 있다. 예를 들어, 진동 모터(2443)는 오디오 데이터 또는 비디오 데이터(예컨대, 호신호 수신음, 메시지 수신음 등)의 출력에 대응하는 진동 신호를 출력할 수 있다. 또한, 진동 모터(2443)는 터치스크린에 터치가 입력되는 경우 진동 신호를 출력할 수도 있다.
프로젝터(2444)는 시각 정보를 외부로 출력할 수 있다. 예를 들어, 프로젝터(2444)는 문자, 숫자, 사진, 정지 영상 및 동영상을 디바이스(2300, 2400) 벽, 종이, 책상, 테이블, 사용자의 피부 등 외부로 프로젝트할 수 있다.
예를 들어, 출력부(2340, 2440)는 주변 디바이스의 정보를 출력할 수 있다. 또한, 출력부(2340, 2440)는 경고 신호를 출력할 수 있다. 구체적으로, 음향 출력부(2340, 2440)는 주변 디바이스의 정보 및 경고 신호를 음성 및 사운드 중 적어도 하나로 출력할 수 있다.
입력부(2450)는, 사용자가 디바이스(2300, 2400)를 제어하기 위한 데이터를 입력하는 수단을 의미할 수 있다. 예를 들어, 입력부(2450)에는 키 패드(key pad), 돔 스위치 (dome switch), 터치 패드(접촉식 정전 용량 방식, 압력식 저항막 방식, 적외선 감지 방식, 표면 초음파 전도 방식, 적분식 장력 측정 방식, 피에조 효과 방식 등), 조그 휠, 조그 스위치 등이 있을 수 있으나 이에 한정되는 것은 아니다.
예를 들어, 입력부(2450)는 주변 디바이스를 검색하기 위한 사용자 입력을 수신할 수 있다.
또한, 입력부(2450)는 오디오 신호 또는 비디오 신호 입력을 위한 촬영부(2452)와 마이크로폰(2453) 등이 포함될 수 있다. 촬영부(2452)는 이미지 센서를 통해 정지영상 또는 동영상 등의 화상 프레임을 얻을 수 있다. 이미지 센서를 통해 캡쳐된 이미지는 제어부(2330, 2430) 또는 별도의 이미지 처리부(미도시)를 통해 처리될 수 있다.
촬영부(2452)에서 처리된 화상 프레임은 저장부(2460)에 저장되거나 통신부(2320, 2420)를 통하여 외부로 전송될 수 있다. 촬영부(2452)는 단말기의 구성 태양에 따라 2개 이상이 구비될 수도 있다.
예를 들어, 촬영부(2452)는 사용자(110)의 스트레스가 발생했다고 결정되면, 주변의 사람 또는 물건을 촬영할 수 있다.
마이크로폰(2453)은, 외부의 음향 신호를 입력 받아 전기적인 음성 데이터로 처리한다. 예를 들어, 마이크로폰(2453)은 디바이스 또는 사용자로부터 음향 신호를 수신할 수 있다. 마이크로폰(2453)은 외부의 음향 신호를 입력 받는 과정에서 발생 되는 잡음(noise)을 제거하기 위한 다양한 잡음 제거 알고리즘을 이용할 수 있다.
예를 들어, 마이크로폰(2453)은 주변 디바이스를 검색하기 위한 사용자의 음성 입력을 수신할 수 있다.
저장부(2460)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.
저장부(2460)는, 제어부(2330, 2430)의 처리 및 제어를 위한 프로그램을 저장할 수 있고, 디바이스(2300, 2400)로 입력되거나 디바이스(2300, 2400)로부터 출력되는 데이터를 저장할 수도 있다.
예를 들어, 저장부(2460)는 적어도 하나의 주변 디바이스 및 적어도 하나의 노드의 댁내 위치 정보를 저장할 수 있다.
또한, 저장부(2460)는 댁내 위치에 따른 노드 신호 세기 핑거 프린트 맵을 저장할 수 있다. 또한, 저장부(2460)는 댁내 위치에 따른 지자기 핑거 프린트 맵을 저장할 수 있다.
또한, 저장부(2460)는 사용자(110)의 제1 디바이스의 선택 이력 정보을 저장할 수 있다.
또한, 저장부(2460)는 디바이스들이 위험 디바이스 리스트를 저장할 수 있다.
도 25는 일부 실시예에 따른 홈 디바이스(2500)의 일례를 나타내는 구성도이다.
여기서, 홈 디바이스(2500)란 도 1 내지 도 24를 통해 전술한 주변 디바이스에 해당할 수 있다. 예를 들어, 홈 디바이스(2500)는 도 1을 통해 전술한 디바이스(120), 도 4를 통해 전술한 세탁기(420), TV(430), 냉장고(440), 도 6을 통해 전술한 세탁기(620), TV(630), 냉장고(640), 도 8을 통해 전술한 적어도 하나의 주변 디바이스(820), 도 10을 통해 전술한 세탁기(1020), 도 12a 및 도 12b를 통해 전술한 세탁기(1250), TV(1260), 냉장고(1270), 도 15a 및 도 15b를 통해 전술한 세탁기(1550), TV(1560), 도 18을 통해 전술한 디바이스(1820), 및 도 20을 통해 전술한 위험 디바이스(2000) 중 적어도 하나를 포함할 수 있다. 따라서, 홈 디바이스(2500)에 관하여 도 1 내지 도 24와 중복되는 설명은 생략한다.
도 25를 참조하면, 일부 실시예에 따른 홈 디바이스(2500)는 통신부(2510), 제어부(2530) 및 출력부(2520)를 포함할 수 있다.
또한, 도 25에 도시된 구성 요소 모두가 홈 디바이스(2500) 의 필수 구성 요소인 것은 아니다. 도 25에 도시된 구성 요소보다 많은 구성 요소에 의해 홈 디바이스(2500)가 구현될 수도 있고, 도 25에 도시된 구성 요소보다 적은 구성 요소에 의해 홈 디바이스(2500)가 구현될 수도 있다.
예를 들어, 홈 디바이스(2500)는 입력부(2540) 및 저장부(2550)를 더 포함할 수 있다.
홈 디바이스(2500)의 출력부(2520)는 통신부(2510)가 디바이스(100)로부터 홈 디바이스(2500)의 정보를 출력할 것을 요청 받으면, 홈 디바이스(2500)의 정보를 출력할 수 있다. 예를 들어, 홈 디바이스(2500)는 시각 정보, 청각 정보 및 진동 정보 중 적어도 하나의 형태로 홈 디바이스(2500)의 정보를 출력할 수 있다. 구체적으로, 홈 디바이스(2500)는 문자, 영상, 소리 및 음성 중 적어도 하나의 형태로 홈 디바이스(2500)의 정보를 출력할 수 있다.
홈 디바이스(2500)의 제어부(2530)는, 통상적으로 홈 디바이스(2500)의 전반적인 동작을 제어한다. 예를 들어, 제어부(2530)는, 홈 디바이스(2500)의 저장부(미도시)에 저장된 프로그램들을 실행함으로써, 통신부(2510) 및 출력부(2520) 등을 전반적으로 제어할 수 있다.
또한, 홈 디바이스(2500)의 입력부(2540)는, 사용자가 홈 디바이스(2500)를 제어하기 위한 데이터를 입력하는 수단을 의미할 수 있다. 예를 들어, 입력부(2540)에는 키 패드(key pad), 돔 스위치 (dome switch), 터치 패드(접촉식 정전 용량 방식, 압력식 저항막 방식, 적외선 감지 방식, 표면 초음파 전도 방식, 적분식 장력 측정 방식, 피에조 효과 방식 등), 조그 휠, 조그 스위치 등이 있을 수 있으나 이에 한정되는 것은 아니다.
또한, 입력부(2540)는 오디오 신호 또는 비디오 신호 입력을 위한 촬영부(2541)와 마이크로폰(2542) 등이 포함될 수 있다. 촬영부(2541)는 이미지 센서를 통해 정지영상 또는 동영상 등의 화상 프레임을 얻을 수 있다. 이미지 센서를 통해 캡쳐된 이미지는 제어부(2530) 또는 별도의 이미지 처리부(미도시)를 통해 처리될 수 있다.
촬영부(2541)에서 처리된 화상 프레임은 저장부(미도시)에 저장되거나 통신부(2510)를 통하여 외부로 전송될 수 있다. 촬영부(2541)는 홈 디바이스(2500)의 구성 태양에 따라 2개 이상이 구비될 수도 있다.
예를 들어, 촬영부(2541)는 디바이스(2300, 2400)로부터 검색 신호를 수신하면, 사용자(110)를 촬영할 수 있다.
마이크로폰(2542)은, 외부의 음향 신호를 입력 받아 전기적인 음성 데이터로 처리한다. 예를 들어, 마이크로폰(2542)은 디바이스 또는 사용자로부터 음향 신호를 수신할 수 있다. 마이크로폰(2542)은 외부의 음향 신호를 입력 받는 과정에서 발생 되는 잡음(noise)을 제거하기 위한 다양한 잡음 제거 알고리즘을 이용할 수 있다.
예를 들어, 마이크로폰(2542)은 사용자의 음성 입력을 수신할 수 있다.
홈 디바이스(2500)의 저장부(2550)는, 제어부(2530)의 처리 및 제어를 위한 프로그램을 저장할 수 있고, 홈 디바이스(2500)로 입력되거나 홈 디바이스(2500)로부터 출력되는 데이터를 저장할 수도 있다.
저장부(2460)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.
한편, 상술한 본 발명의 실시예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다.
상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등) 및 캐리어 웨이브(예를 들면, 인터넷을 통한 전송)와 같은 저장매체를 포함한다.
상술한 바에 의하면, 디바이스(100)는 사용자(110)의 스트레스를 감지하여, 사용자의 관심 대상인 주변 디바이스의 정보를 제공할 수 있다. 따라서, 일부 실시예에 따른 디바이스(100)는 치매 환자인 사용자가 기억 상실 증상에도 불구하고, 주위 사람들의 도움 없이 스스로 일상 생활을 유지할 수 있도록 도움을 줄 수 있다.
본 실시예와 관련된 기술 분야에서 통상의 지식을 가진 자는 상기된 기재의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 방법들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

Claims (19)

  1. 사용자의 생체 신호를 검출하는 센서;
    적어도 하나의 주변 디바이스와 통신하는 통신부;
    상기 생체 신호에 기초하여 상기 사용자의 스트레스 지수를 계산하고, 상기 스트레스 지수가 임계치 이상이면, 상기 적어도 하나의 주변 디바이스를 검색하고, 디바이스의 방향에 기초한 상기 디바이스의 검색 범위 내에 위치한 상기 검색된 적어도 하나의 주변 디바이스 중 제1 디바이스를 선택하는 제어부; 및
    상기 제1 디바이스의 정보를 출력하는 출력부;
    를 포함하며,
    상기 제어부는 상기 통신부를 이용하여 상기 적어도 하나의 주변 디바이스에게 검색 신호를 송신하고, 상기 적어도 하나의 주변 디바이스로부터 응답 신호를 수신하여 상기 적어도 하나의 주변 디바이스를 검색하는 디바이스.
  2. 제1 항에 있어서,
    상기 제어부는 상기 통신부를 이용하여 기설정된 방향으로 상기 검색 신호를 송신하는 디바이스.
  3. 제1 항에 있어서,
    상기 생체 신호는, EEG(electroencephalography)를 포함하는 디바이스.
  4. 제1 항에 있어서,
    상기 제어부는 상기 출력부를 이용하여 상기 제1 디바이스의 정보를 시각 정보 및 청각 정보 중 적어도 하나로 출력하는 디바이스.
  5. 제1 항에 있어서,
    상기 제1 디바이스의 정보는 상기 제1 디바이스 기능의 실행에 대응되는 가이드 정보를 포함하는 디바이스.
  6. 제1 항에 있어서,
    상기 제1 디바이스가 미리 분류된 위험 디바이스인 경우, 상기 제어부는 상기 출력부를 이용하여 경고 신호를 출력하는 디바이스.
  7. 제1 항에 있어서,
    상기 제1 디바이스가 미리 분류된 위험 디바이스인 경우, 상기 제어부는 상기 통신부를 이용하여 기설정된 연락처로 알림을 전송하는 디바이스.
  8. 사용자의 생체 신호를 검출하는 단계;
    상기 생체 신호에 기초하여 상기 사용자의 스트레스 지수를 계산하는 단계;
    상기 스트레스 지수가 임계치 이상이면, 적어도 하나의 주변 디바이스에게 검색 신호를 송신하고, 상기 적어도 하나의 주변 디바이스로부터 응답 신호를 수신하여, 상기 적어도 하나의 주변 디바이스를 검색하는 단계;
    디바이스의 방향에 기초한 상기 디바이스의 검색 범위 내에 위치한 상기 검색된 적어도 하나의 주변 디바이스 중 제1 디바이스를 선택하는 단계; 및
    상기 제1 디바이스의 정보를 출력하는 단계를 포함하는 방법.

  9. 제8 항에 있어서,
    상기 검색 신호는 기설정된 방향으로 송신되는 방법.
  10. 제8 항에 있어서,
    상기 생체 신호는, EEG(electroencephalography)를 포함하는 방법.
  11. 제8 항에 있어서,
    상기 제1 디바이스의 정보는 음성 및 사운드 중 적어도 하나로 출력되는 방법.
  12. 제8 항에 있어서,
    상기 제1 디바이스의 정보는 상기 제1 디바이스 기능의 실행에 대응되는 가이드 정보를 포함하는 방법.
  13. 제8 항에 있어서,
    상기 제1 디바이스가 미리 분류된 위험 디바이스인 경우, 경고 신호를 출력하는 단계를 더 포함하는 방법.
  14. 제8 항에 있어서,
    상기 제1 디바이스가 미리 분류된 위험 디바이스인 경우, 기 설정된 연락처로 알림을 전송하는 단계를 더 포함하는 방법.
  15. 삭제
  16. 삭제
  17. 삭제
  18. 삭제
  19. 삭제
KR1020150085141A 2015-06-16 2015-06-16 주변 디바이스의 정보를 제공하는 시스템 및 방법 KR102314644B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020150085141A KR102314644B1 (ko) 2015-06-16 2015-06-16 주변 디바이스의 정보를 제공하는 시스템 및 방법
PCT/KR2016/006324 WO2016204496A1 (en) 2015-06-16 2016-06-15 System and method of providing information of peripheral device
US15/184,437 US10327715B2 (en) 2015-06-16 2016-06-16 System and method of providing information of peripheral device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150085141A KR102314644B1 (ko) 2015-06-16 2015-06-16 주변 디바이스의 정보를 제공하는 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20160148302A KR20160148302A (ko) 2016-12-26
KR102314644B1 true KR102314644B1 (ko) 2021-10-19

Family

ID=57545864

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150085141A KR102314644B1 (ko) 2015-06-16 2015-06-16 주변 디바이스의 정보를 제공하는 시스템 및 방법

Country Status (3)

Country Link
US (1) US10327715B2 (ko)
KR (1) KR102314644B1 (ko)
WO (1) WO2016204496A1 (ko)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10542904B2 (en) * 2014-04-23 2020-01-28 Case Western Reserve University Systems and methods for at home neural recording
CN108236463A (zh) * 2016-12-23 2018-07-03 布朗诺科技(北京）有限公司 使用耳钩式可佩带装置的健康监测系统
US10918325B2 (en) 2017-03-23 2021-02-16 Fuji Xerox Co., Ltd. Brain wave measuring device and brain wave measuring system
WO2019060298A1 (en) 2017-09-19 2019-03-28 Neuroenhancement Lab, LLC METHOD AND APPARATUS FOR NEURO-ACTIVATION
US11717686B2 (en) 2017-12-04 2023-08-08 Neuroenhancement Lab, LLC Method and apparatus for neuroenhancement to facilitate learning and performance
US11478603B2 (en) 2017-12-31 2022-10-25 Neuroenhancement Lab, LLC Method and apparatus for neuroenhancement to enhance emotional response
US11364361B2 (en) 2018-04-20 2022-06-21 Neuroenhancement Lab, LLC System and method for inducing sleep by transplanting mental states
WO2020056418A1 (en) 2018-09-14 2020-03-19 Neuroenhancement Lab, LLC System and method of improving sleep
US11786694B2 (en) 2019-05-24 2023-10-17 NeuroLight, Inc. Device, method, and app for facilitating sleep

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100418434B1 (ko) * 2000-01-21 2004-02-11 김현 스트레스 자동인식 컴퓨터 주변장치 및 이를 이용한스트레스 측정 시스템
KR100604582B1 (ko) * 2004-08-12 2006-07-25 주식회사 팬택앤큐리텔 사용자의 생체 신호를 이용하여 홈 가전기기를 제어하는 휴대용 통신 단말기
US8784293B2 (en) * 2008-10-07 2014-07-22 Advanced Brain Monitoring, Inc. Systems and methods for optimization of sleep and post-sleep performance
US20100094097A1 (en) * 2008-10-15 2010-04-15 Charles Liu System and method for taking responsive action to human biosignals
KR101635508B1 (ko) * 2009-08-28 2016-07-04 삼성전자주식회사 컨텐트 제공 방법 및 장치
KR20110032605A (ko) * 2009-09-23 2011-03-30 아주대학교산학협력단 근거리 통신 망에서 주변 기기 제어 장치 및 방법
KR101303648B1 (ko) * 2009-12-08 2013-09-04 한국전자통신연구원 감성신호 감지 장치 및 그 방법
US20110144520A1 (en) * 2009-12-16 2011-06-16 Elvir Causevic Method and device for point-of-care neuro-assessment and treatment guidance
KR20120000212A (ko) * 2010-06-25 2012-01-02 김서준 무선 통신이 가능한 이동 단말기를 이용하여 전자 장치를 원격 제어하기 위한 방법, 시스템 및 컴퓨터 판독 가능한 기록 매체, 그리고 상기 방법을 실현하기 위한 이동 단말기
US9179855B2 (en) * 2010-11-01 2015-11-10 Bright Cloud International Corp. System and method for pain reduction
US8510166B2 (en) 2011-05-11 2013-08-13 Google Inc. Gaze tracking system
US9030495B2 (en) 2012-11-21 2015-05-12 Microsoft Technology Licensing, Llc Augmented reality help
WO2014102722A1 (en) * 2012-12-26 2014-07-03 Sia Technology Ltd. Device, system, and method of controlling electronic devices via thought
US9317183B2 (en) 2013-08-20 2016-04-19 Google Inc. Presenting a menu at a mobile device
US20150095088A1 (en) 2013-09-30 2015-04-02 Google Inc. Appointment schedulers within sponsored content items
KR101679728B1 (ko) * 2013-11-29 2016-11-25 문찬곤 생체활력지수 산출 방법 및 시스템

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
공개특허공보 한국 10-2006-0014837 (2006.02.16.)*
공개특허공보 한국 10-2011-0032605 (2011.03.30.)*
공개특허공보 한국 10-2012-0000212 (2012.01.02.)*

Also Published As

Publication number Publication date
WO2016204496A1 (en) 2016-12-22
US10327715B2 (en) 2019-06-25
US20160367204A1 (en) 2016-12-22
KR20160148302A (ko) 2016-12-26

Similar Documents

Publication Publication Date Title
KR102314644B1 (ko) 주변 디바이스의 정보를 제공하는 시스템 및 방법
US11721183B2 (en) Methods and apparatus regarding electronic eyewear applicable for seniors
KR102444585B1 (ko) 생체 신호를 측정하는 전자 장치 및 방법
CN105373219B (zh) 可穿戴装置及其操作方法
US9955248B2 (en) Wearable electronic device
KR102470666B1 (ko) 배뇨 예측 및 모니터링
US10206573B2 (en) Method of obtaining biometric information in electronic device and electronic device for the same
KR102080747B1 (ko) 이동 단말기 및 그것의 제어 방법
TWI666429B (zh) 用於增強非接觸身體溫度測量的精確度的電子器件和方法
US11711695B2 (en) Wireless earpieces for hub communications
US20160241553A1 (en) Wearable device and operating method thereof
KR20160024627A (ko) 전자 장치 및 전자 장치에서 수면 모니터링 방법
EP3067777A1 (en) Method and apparatus for preventing loss of wearable electronic device
JP2018501876A (ja) 応急処置キットのウェアラブルデバイス
KR102548453B1 (ko) 전자 장치 및 그 제어 방법
KR20160142128A (ko) 와치형 단말기 및 그 제어방법
US20190090812A1 (en) Smart socks
CN108431731B (zh) 用于执行基于生物计量信号的功能的方法、存储介质和电子设备
KR20200104759A (ko) 위험 상황을 판단하고, 사용자의 안전을 관리하는 시스템
KR20200104758A (ko) 위험 상황을 판단하고, 사용자의 안전을 관리하는 방법 및 장치
KR20150016021A (ko) 이동 단말기 및 그것의 제어 방법
KR101821858B1 (ko) 휴식 심박동 측정 방법
KR20160012780A (ko) 이동 단말기 및 그 제어 방법
GB2605121A (en) An electronics module for a wearable articel, a systemm, and a method of activation of an electronics module for a wearable article
US20220373398A1 (en) Apparatus and method for measuring and providing body temperature of user

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant