KR20160076770A - 웨어러블 장치, 관리 서버, 이들을 포함하는 제어 시스템 및 그의 제어 방법 - Google Patents

웨어러블 장치, 관리 서버, 이들을 포함하는 제어 시스템 및 그의 제어 방법 Download PDF

Info

Publication number
KR20160076770A
KR20160076770A KR1020140187244A KR20140187244A KR20160076770A KR 20160076770 A KR20160076770 A KR 20160076770A KR 1020140187244 A KR1020140187244 A KR 1020140187244A KR 20140187244 A KR20140187244 A KR 20140187244A KR 20160076770 A KR20160076770 A KR 20160076770A
Authority
KR
South Korea
Prior art keywords
user
information
state
management server
unit
Prior art date
Application number
KR1020140187244A
Other languages
English (en)
Other versions
KR102247518B1 (ko
Inventor
조영이
신지연
김용주
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020140187244A priority Critical patent/KR102247518B1/ko
Priority to CN201580070990.9A priority patent/CN107113545A/zh
Priority to EP15873662.9A priority patent/EP3238163A4/en
Priority to PCT/KR2015/014200 priority patent/WO2016105135A1/en
Priority to US14/757,971 priority patent/US10764733B2/en
Publication of KR20160076770A publication Critical patent/KR20160076770A/ko
Application granted granted Critical
Publication of KR102247518B1 publication Critical patent/KR102247518B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/70—Services for machine-to-machine communication [M2M] or machine type communication [MTC]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns

Abstract

관리 서버가 개시된다. 본 관리 서버는, 기설정된 공간에 위치하는 복수의 웨어러블 장치 각각으로부터 사용자 환경 정보를 수신하는 통신 인터페이스부, 수신된 복수의 사용자 환경 정보를 기초로 기설정된 공간의 환경 상태를 분석하고, 분석된 환경 상태에 따라 기설정된 공간 내의 공용 기기의 동작 상태를 결정하는 분석부, 및, 결정된 동작 상태에 따라 공용 기기가 동작하도록 통신 인터페이스부를 제어하는 제어부를 포함한다.

Description

웨어러블 장치, 관리 서버, 이들을 포함하는 제어 시스템 및 그의 제어 방법{WEARABLE APPARATUS, MANAGEMENT SERVER, MANAGEMENT SYSTEM HAVING THE SAME AND METHOD FOR CONTROLLING THEREOF}
본 발명은 웨어러블 장치, 관리 서버, 이들을 포함하는 제어 시스템 및 그의 제어 방법에 관한 것으로, 복수의 웨어러블 장치에서 수집된 감정 정보를 기초로 공용 기기를 제어할 수 있는 웨어러블 장치, 관리 서버, 이들을 포함하는 제어 시스템 및 그의 제어 방법에 관한 것이다.
최근에는 컴퓨터 기술이 발달함에 따라, 의류 등에 구비되어 사용자가 착용할 수 있는 웨어러블(wearable) 컴퓨터가 도입되고 있다. 웨어러블 컴퓨터는, 의류에 PC에 기능을 담은 컴퓨터로, 군사 훈련용으로 개발되기 시작하여, 점점 일상생활은 물론, 패션/이동통신기기 및 디지털 제품에까지 그 영역을 넓이고 있다.
최근의 웨어러블 컴퓨터는 생체 신호를 감지할 수 있는 바이오 센서가 장착되고 있으며, 바이오 센서에서 감지된 생체 신호를 기초로 사용자의 감정을 파악할 수 있는 방법이 제안되고 있다.
그리고 파악된 감정을 이용하여 해당 감정에 대응되는 서비스를 제공할 수 있는 방법도 제안되었다. 그러나 종래에는 한 사람의 감정 변화만을 기초로 해당 사용자에 대한 서비스를 제공하였을 뿐, 복수의 사용자의 감정 변화를 기초로 공통된 서비스를 제공하지 않았다.
예를 들어, 복수의 사용자가 여름철에 지하철과 같은 공간에 밀집하게 되는 경우, 복수의 사용자들은 공통적으로 스트레스를 느낄 수 있다. 즉, 특정 공간 내의 환경 및 환경의 변화는 복수의 사용자에게 공통적으로 영향 미칠 수 있다.
따라서, 복수의 사용자의 감정을 파악하고, 복수의 사용자에게 적합한 서비스를 제공하기 위한 기술 개발이 요청되었다.
본 발명은 상술한 문제점을 해결하는 동시에 상술한 기술 개발 요청에 응답하기 위하여 안출된 것으로, 복수의 웨어러블 장치에서 수집된 감정 정보를 기초로 공용 기기를 제어할 수 있는 웨어러블 장치, 관리 서버, 이들을 포함하는 제어 시스템 및 그의 제어 방법을 제공하는 데 있다.
상술한 목적을 달성하기 본 발명의 일 실시 예에 따른 관리 서버는, 기설정된 공간에 위치하는 복수의 웨어러블 장치 각각으로부터 사용자 환경 정보를 수신하는 통신 인터페이스부, 상기 수신된 복수의 사용자 환경 정보를 기초로 상기 기설정된 공간의 환경 상태를 분석하고, 상기 분석된 환경 상태에 따라 상기 기설정된 공간 내의 공용 기기의 동작 상태를 결정하는 분석부, 및, 상기 결정된 동작 상태에 따라 상기 공용 기기가 동작하도록 상기 통신 인터페이스부를 제어하는 제어부를 포함한다.
이 경우, 상기 사용자 환경 정보는, 사용자 감정 정보 및 사용자 상황 정보에 기초하여 결정되는 정보일 수 있다.
또는, 상기 사용자 환경 정보는, 웨어러블 장치에서 측정된 생체 신호 정보를 포함하고, 상기 분석부는, 복수의 웨어러블 장치 각각에서 수신된 생체 신호 정보를 기초로 각 사용자의 감정 상태를 추정하고, 상기 추정된 감정 상태를 기초로 상기 기설정된 공간의 환경 상태를 분석할 수 있다.
이 경우, 상기 분석부는, 상기 생체 신호 정보에서, 유쾌(pleasantness) 정도, 각성(arousal) 정도를 추출하고, 추출된 유쾌 정도 및 각성 정도에 따라 기분류된 감정 상태 중 하나로 감정 상태를 결정할 수 있다.
한편, 상기 생체 신호 정보는, 심전도(ECG), 심박변이도(HRV), 근전도(EMG), 피부전도(GSR), 산소포화도(Sp02) 및 피부 온도 중 적어도 하나를 포함할 수 있다.
한편, 상기 사용자 환경 정보는, 사용자 상황 정보를 더 포함하고, 상기 분석부는, 상기 추정된 감정 상태 및 상기 사용자 상황 정보에 기초하여 각 사용자의 환경 상태를 결정하고, 상기 결정된 각 사용자의 환경 상태를 기초로 상기 기설정된 공간의 환경 상태를 분석할 수 있다.
이 경우, 상기 사용자 상황 정보는, 상기 사용자 위치 정보 및 상기 사용자 스케줄 정보 중 적어도 하나를 포함할 수 있다.
한편, 상기 공용 기기는, 조명 기기, 공조 기기 및 스피커 중 적어도 하나이며, 상기 제어부는, 상기 조명 기기의 밝기, 상기 공조 기기의 온도, 상기 공조 기기의 바람 세기 및 상기 스피커의 볼륨 중 적어도 하나를 조절할 수 있다.
또는, 상기 공용 기기는, 디스플레이 장치이며, 상기 제어부는, 상기 디스플레이 장치에 상기 결정된 동작 상태에 따른 메시지가 표시되도록 할 수 있다.
한편, 본 발명의 일 실시 예에 따른 관리 서버와 연결 가능한 웨어러블 장치는, 상기 관리 서버와 데이터를 송수신하는 통신 인터페이스부, 사용자의 생체 신호 정보를 수집하는 생체 감지부, 상기 수집된 생체 신호 정보에 기초하여 사용자의 감정 상태를 결정하고, 상기 결정된 감정 상태에 기초하여 사용자 환경 정보를 생성하는 분석부, 및, 상기 생성된 사용자 환경 정보를 상기 관리 서버에 전송하도록 상기 통신 인터페이스부를 제어하는 제어부를 포함한다.
이 경우, 상기 분석부는, 상기 생체 신호 정보에서, 유쾌(pleasantness) 정도, 각성(arousal) 정도를 추출하고, 추출된 유쾌 정도 및 각성 정도에 따라 기분류된 감정 상태 중 하나로 감정 상태를 결정할 수 있다.
이 경우, 본 웨어러블 장치는, 사용자의 스케줄 정보를 저장하는 저장부, 및, 상기 웨어러블 장치의 위치를 파악하며, 상기 파악된 위치 및 상기 스케줄 정보를 기초로 사용자 상황 정보를 생성하는 환경 감지부를 더 포함하고, 상기 분석부는, 상기 결정된 감정 상태 및 상기 생성된 사용자 상황 정보에 기초하여 사용자 환경 정보를 생성할 수 있다.
한편, 본 웨어러블 장치는, 사용자 환경 정보의 전송 명령을 입력받는 조작 입력부를 더 포함하고, 상기 제어부는, 상기 전송 명령이 입력된 경우에만 상기 생성된 사용자 환경 정보를 상기 관리 서버에 전송할 수 있다.
이 경우, 본 웨어러블 장치는, 상기 웨어러블 장치의 위치 환경이 변화되면, 상기 전송 명령의 입력을 상기 웨어러블 장치의 사용자에게 요청하는 디스플레이부를 더 포함할 수 있다.
한편, 상기 통신 인터페이스부는, 상기 웨어러블 장치의 동작 제어 명령을 수신하고, 상기 제어부는, 상기 수신된 동작 제어 명령에 따라 상기 웨어러블 장치를 제어할 수 있다.
한편, 본 발명의 일 실시 예에 따른 제어 시스템은, 기설정된 공간에 위치하는 공용 기기, 사용자의 생체 신호 정보를 수집하고, 상기 수집된 생체 신호 정보에 기초하여 사용자 환경 정보를 생성하는 복수의 웨어러블 장치, 및, 상기 기설정된 공간에 위치하는 복수의 웨어러블 장치 각각으로부터 사용자 환경 정보를 수신하고, 상기 수신된 사용자 환경 정보에 기초하여 상기 기설정된 공간의 환경 상태를 분석하고, 상기 분석된 환경 상태에 따라 상기 공용 기기를 제어하는 관리 서버를 포함한다.
한편, 본 발명의 일 실시 예에 따른 관리 서버의 제어 방법은, 기설정된 공간에 위치하는 복수의 웨어러블 장치 각각으로부터 사용자 환경 정보를 수신하는 단계, 상기 수신된 복수의 사용자 환경 정보를 기초로 상기 기설정된 공간의 환경 상태를 분석하는 단계, 상기 분석된 환경 상태에 따라 상기 기설정된 공간 내의 공용 기기의 동작 상태를 결정하는 단계, 및, 상기 결정된 동작 상태에 따라 상기 공용 기기를 제어하는 단계를 포함한다.
이 경우, 상기 사용자 환경 정보는, 사용자 감정 정보 및 사용자 상황 정보에 기초하여 결정되는 정보일 수 있다.
한편, 상기 사용자 환경 정보는, 웨어러블 장치에서 측정된 생체 신호 정보를 포함하고, 상기 환경 상태를 분석하는 단계는, 복수의 웨어러블 장치 각각에서 수신된 생체 신호 정보를 기초로 각 사용자의 감정 상태를 추정하고, 상기 추정된 감정 상태를 기초로 상기 기설정된 공간의 환경 상태를 분석할 수 있다.
한편, 본 발명의 일 실시 예에 따른 복수의 웨어러블 장치 및 공용 기기와 연결 가능 가능한 관리 서버의 제어 방법을 실행하기 위한 프로그램을 포함하는 컴퓨터 판독가능 기록매체에 있어서, 상기 제어 방법은, 기설정된 공간에 위치하는 복수의 웨어러블 장치 각각으로부터 사용자 환경 정보를 수신하는 단계, 상기 수신된 복수의 사용자 환경 정보를 기초로 상기 기설정된 공간의 환경 상태를 분석하는 단계, 상기 분석된 환경 상태에 따라 상기 기설정된 공간 내의 공용 기기의 동작 상태를 결정하는 단계, 및, 상기 결정된 동작 상태에 따라 상기 공용 기기를 제어하는 단계를 포함한다.
도 1은 본 발명의 일 실시 예에 따른 제어 시스템의 구성을 나타내는 블록도,
도 2는 도 1의 웨어러블 장치의 구체적인 구성을 도시한 블럭도,
도 3은 도 2의 분석부의 구체적인 구성을 도시한 블록도,
도 4는 도 1의 관리 서버의 구체적인 구성을 도시한 블록도,
도 5는 도 4의 분석부의 구체적인 구성을 도시한 블록도,
도 6은 복수의 센서에서 입력된 생체 신호 정보의 패턴을 도시한 도면,
도 7은 유쾌 및 각성 정도로 감정 상태를 분류하는 동작을 설명하기 위한 도면,
도 8 및 도 9는 복수의 생체 신호 정보를 통하여 사용자 감정 정보를 결정하는 동작을 설명하기 위한 도면,
도 10은 사용자 상황 정보를 생성하는 동작을 설명하기 위한 도면,
도 11 및 도 12는 사용자 환경 정보를 생성하는 동작을 설명하기 위한 도면,
도 13은 실측 값을 기초로 사용자 환경 정보를 최종 결정하는 동작을 설명하기 위한 도면,
도 14 및 도 15는 사용자 상황 정보의 공개 여부를 판단하는데 이용되는 룩업 테이블의 예를 도시한 도면,
도 16은 기설정된 공간 내의 사용자 환경 정보를 이용하는 동작을 설명하기 위한 도면,
도 17 및 도 18은 공용 기기의 동작 상태를 결정하는 동작을 설명하기 위한 도면,
도 19 내지 도 25는 다양한 환경에 따른 동작 예들을 설명하기 위한 도면,
도 26은 본 발명의 일 실시 예에 따른 웨어러블 장치의 감지 동작을 설명하기 위한 도면,
도 27은 본 발명의 일 실시 예에 따른 관리 서버의 제어 동작을 설명하기 위한 도면,
도 28은 극장 환경에서의 공용 기기의 동작 상태의 결정 과정을 설명하기 위한 흐름도,
도 29는 도 28의 웨어러블 장치에서의 동작을 자세히 설명하기 위한 흐름도,
도 30은 도 28의 관리 서버에서의 동작을 자세히 설명하기 위한 흐름도,
도 31은 회의 환경에서의 공용 기기의 동작 상태의 결정 과정을 설명하기 위한 흐름도,
도 32는 도 31의 웨어러블 장치에서의 동작을 자세히 설명하기 위한 흐름도, 그리고,
도 33은 도 31의 관리 서버에서의 동작을 자세히 설명하기 위한 흐름도이다.
이하 첨부된 도면들을 참조하여 본 발명의 일 실시 예를 더욱 상세하게 설명한다. 다만, 본 발명을 설명함에 있어서, 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그에 대한 상세한 설명은 생략한다.
도 1은 본 발명의 일 실시 예에 따른 제어 시스템의 구성을 나타내는 블록도이다.
도 1을 참조하면, 본 실시 예에 따른 제어 시스템(300)은 복수의 웨어러블 장치(100), 관리 서버(200) 및 복수의 공용 기기(10)로 구성될 수 있다.
복수의 공용 기기(10)는 기설정된 공간에 위치하며, 기설정된 기능을 수행한다. 여기서 공용 기기는 하나의 사용자에게 서비스를 제공하는 기기가 아니라, 복수의 사용자에게 공통의 서비스를 제공할 수 있는 가전 기기로, 예를 들어, 온도 제어를 수행하는 공조 기기(예를 들어, 히터, 에어컨 등), 밝기 제어를 수행하는 조명 기기, 스피커, 특정 영상을 제공할 수 있는 디스플레이 장치 등일 수 있다. 이러한 공용 기기는 스마트 홈 시스템(즉, 홈 오토메이션 시스템)을 지원할 수 있다.…
복수의 웨어러블 장치(100-1, 100-2, 100-n) 각각은 사용자 생체 신호 정보를 수집하고, 수집된 사용자 신체 신호 정보를 관리 서버(200)에 제공할 수 있다. 구체적으로, 복수의 웨어러블 장치(100) 각각은 수집된 사용자 신체 신호 정보에 대응되는 사용자 감정(또는 감성)을 나타내는 사용자 환경 정보를 생성하고, 생성된 사용자 환경 정보를 관리 서버(200)에 제공할 수도 있다. 이러한 웨어러블 장치(100)의 구체적인 구성 및 동작에 대해서는 도 2를 참조하여 후술한다.
여기서 사용자 생체 신호는 사용자의 신체에서 측정할 수 있는 생리 신호로, 심전도(ECG), 심박 변이도(HRV), 근전도(EMG), 피부전도(GSR), 산소포화도(Sp02), 피부 온도 등일 수 있다.
그리고 사용자 신체 신호 정보는 생체 신호 정보에 의하여 파악된 사용자 감정, 사용자 감정에 대응하여 조정되어야할 기기의 제어 상태 또는 상기 감정 또는 제어 상태를 파악할 수 있도록 하는 로우 데이터(예를 들어, 생체 신호 정보, 위치 정보, 스케줄 정보) 등일 수 있다.
관리 서버(200)는 복수의 웨어러블 장치(100-1, 100-2, 100-n) 각각으로부터 사용자 환경 정보를 수신하고, 수신된 사용자 환경 정보에 기초하여 기설정된 위치의 환경 상태를 분석하고, 분석된 환경 상태에 따라 공용 기기(10)를 제어할 수 있다. 관리 서버(200)의 구체적인 구성 및 동작에 대해서는 도 4를 참조하여 후술한다.
이상과 같이 본 실시 예에 따른 제어 시스템(300)은 복수의 사용자 감정을 고려하여 공용 기기를 제어할 수 있는바, 복수의 사용자의 요구를 신속하고 효율적으로 충족시킬 수 있다.
한편, 도 1을 설명함에 있어서, 복수의 웨어러블 장치(100) 및 공용 기기(10) 각각이 직접 관리 서버(200)에 연결되는 것으로 도시하고 설명하였지만, 각 장치 들은 사용자 스마트폰, 공유기, 라우터, 무선 인터넷 망 등을 통하여 연결될 수도 있다.
그리고 도 1을 설명함에 있어서, 관리 서버(200)가 하나의 공간에 배치된 공용 기기만을 제어하는 것으로 설명하였지만, 관리 서버(200)는 복수의 공간 내의 공용 기기를 제어할 수 있으며, 하나의 공간에 대해서 복수의 관리 서버가 분업하여 복수의 공용 기기를 제어할 수도 있다.
그리고 도 1을 설명함에 있어서, 관리 서버(200)가 공용 기기만을 제어하는 것으로 설명하였지만, 구현시에는 복수의 웨어러블 장치(100)를 제어할 수도 있다.
또한, 도 1을 설명함에 있어서, 웨어러블 장치(100) 측에서 직접 감정 상태를 추정하고, 추정된 감정 상태에 따른 사용자 환경 정보를 관리 서버(200)에 전송하는 것으로 설명하였지만, 구현시에는 웨어러블 장치(100)에서는 생체 신호 정보만을 수집하고, 수집된 생체 신호 정보를 기초로 감정 상태는 관리 서버(200)에서 추정할 수도 있다. 이와 같은 예에 대해서는 도 4를 참조하여 후술한다.
한편, 도 1을 설명함에 있어서, 하나의 관리 서버(200)가 있는 것으로 도시하였지만, 구현시에는 도 1의 기능을 복수의 장치가 분담하여 동작할 수도 있다.
또한, 도 1을 설명함에 있어서, 관리 서버(200)가 공간의 상태를 파악하고, 그것을 기초로 공용 기기를 제어하는 것으로 설명하였지만, 별도의 공용 기기의 제어 동작 없이 관리 서버(200)는 파악된 공간의 상태를 이용하여 해당 공간을 평가할 수 있다. 이와 같은 실시 예에 대해서는 도 24를 참조하여 후술한다.
도 2는 도 1의 웨어러블 장치의 구체적인 구성을 도시한 블럭도이다.
도 2를 참조하면, 웨어러블 장치(100)는 통신 인터페이스부(110), 디스플레이부(120), 조작 입력부(130), 저장부(180), 환경 감지부(140), 생체 감지부(150), 분석부(160) 및 제어부(170)로 구성될 수 있다.
통신 인터페이스부(110)는 웨어러블 장치(100)를 외부 장치(구체적으로, 관리 서버)에 연결하기 위해 형성되고, 근거리 통신망(LAN: Local Area Network) 및 인터넷망을 통해 외부 장치에 접속되는 형태뿐만 아니라, 무선 통신(예를 들어, Z-wave, 4LoWPAN, RFID, LTE D2D, BLE, GPRS, Weightless, Edge Zigbee, ANT+, NFC, IrDA, DECT, WLAN, 블루투스, 와이파이, Wi-Fi Direct, GSM, UMTS, LTE, WiBRO 등의 무선 통신) 방식에 의해서 접속될 수 있다.
그리고 통신 인터페이스부(110)는 생체 신호 정보를 관리 서버(200)에 전송할 수 있다. 구체적으로, 통신 인터페이스부(110)는 후술할 생체 감지부(150)에서 감지된 생체 신호 정보를 관리 서버(200)에 전송할 수 있다. 또는 통신 인터페이스부(110)는 생체 신호 정보를 기초로 생성된 사용자 환경 정보를 관리 서버(200)에 제공할 수도 있다.
그리고 통신 인터페이스부(110)는 관리 서버(200)로부터 동작 제어 명령을 입력을 수 있다. 여기서 동작 제어 명령은 웨어러블 장치의 특정 기능을 수행하는 명령이거나, 동작 상태를 변경하는 명령(예를 들어, 매너 모드(또는 무음 모드) 상태로의 전환 명령)일 수 있다.
디스플레이부(120)는 웨어러블 장치(100)에서 지원하는 각종 정보를 디스플레이할 수 있다. 이러한 디스플레이부(120)는 LCD, CRT 등과 같은 모니터일 수 있으며, 후술할 조작 입력부(130)의 기능을 동시에 수행할 수 있는 터치 스크린으로 구현될 수도 있다.
그리고 디스플레이부(120)는 웨어러블 장치(100)에 설치된 애플리케이션 리스트를 표시할 수 있다. 그리고 디스플레이부(120)는 애플리케이션의 구동에 따른 실행 화면을 표시할 수 있다. 예를 들어, 디스플레이부(120)는 후술할 생체 감지부(150)에서 감지된 사용자 생체 신호를 표시하거나, 감지된 사용자 생체 신호에 따른 평가(예를 들어, 현재 사용자의 긴장 상태, 유쾌 상태, 또는 감정 상태)를 표시할 수 있다.
그리고 디스플레이부(120)는 사용자의 위치 환경의 변화 여부를 표시할 수 있으며, 사용자의 위치 환경의 변화의 정보를 관리 서버(200)에 통지할 것인지를 확인하는 화면을 표시할 수 있다.
조작 입력부(130)는 웨어러블 장치(100)에서 지원하는 각종 기능을 사용자가 설정 또는 선택할 수 있는 다수의 기능키를 구비한다. 이러한 조작 입력부(130)는 마우스, 키보드, 마이크 등과 같은 장치로 구현될 수 있으며, 상술한 디스플레이부(120)의 기능을 동시에 수행할 수 있는 터치 스크린(121)으로 구현될 수도 있다.
그리고 조작 입력부(130)는 애플리케이션 구동 명령을 입력받을 수 있다. 구체적으로, 사용자는 웨어러블 장치(100)에서 제공하는 애플리케이션을 구동시킬 수 있으며, 해당 애플리케이션에서의 동작을 위한 각종 조작 명령을 입력받을 수 있다. 한편, 본 실시 예에 따른 동작은 특정 애플리케이션이 수행할 수 있다.
그리고 조작 입력부(130)는 사용자 환경 정보에 대한 관리 서버로의 전송 여부(이하, 정보 전송 명령)를 사용자로부터 입력받을 수 있다. 한편, 이와 같은 정보 전송 명령은 사용자 환경 정보가 전송이 필요한 시점마다 입력받거나 특정의 환경 상황에서 입력받을 수 있다. 그리고 이러한 확인이 필요한 시점에 대해서는 사용자가 미리 설정을 해놓을 수 있다. 이와 같은 동작에 대해서는 도 14 내지 도 15를 참조하여 후술한다.
저장부(180)는 웨어러블 장치(100)의 구동을 위한 프로그램을 저장한다. 구체적으로, 저장부(180)는 웨어러블 장치(100)의 구동시 필요한 각종 명령어의 집합인 프로그램을 저장할 수 있다. 여기서 프로그램은 특정의 서비스를 제공하기 위한 애플리케이션(또는, 응용 프로그램)뿐만 아니라 애플리케이션을 구동시키기 위한 운영 프로그램을 포함한다.
그리고 저장부(180)는 사용자 스케줄 정보를 저장한다. 그리고 저장부(180)는 생체 감지부(150)에서 감지된 생체 신호 정보와 환경 감지부에서 감지된 환경 정보를 저장할 수 있으며, 후술할 분석부(160)에서 생성된 사용자 환경 정보를 저장할 수 있다.
그리고 저장부(180)는 사용자 감정 정보, 사용자 상황 정보를 생성하는데 이용하는 참조 테이블(또는 룩업 테이블)을 저장할 수 있다. 그리고 저장부(180)는 생성된 사용자 환경 정보의 전송 여부를 판단하는데 이용하는 참조 테이블을 저장할 수 있다.
이러한 저장부(180)는 웨어러블 장치(100) 내의 저장매체 및 외부 저장 매체, 예를 들어, USB 메모리를 포함한 Removable Disk, 네트워크를 통한 웹서버(Web server) 등으로 구현될 수 있다.
환경 감지부(140)는 사용자 생체 신호 이외의 사용자 또는 사용자 환경에 대한 정보를 수집한다. 구체적으로, 환경 감지부(140)는 GPS, 속도/가속도 센서, 모션/변위 센서, 방위/자세 센서, 가스 센서, 자기장 센서, 자외선 센서, 조도 센서, 진동 센서, 하중 센서, 마이크 등의 센서를 통하여 사용자의 움직임 또는 사용자 주변 환경의 정보를 수집할 수 있다.
그리고 환경 감지부(140)는 사용자 스케줄 정보가 수집한다. 구체적으로, 환경 감지부(140)는 사용자의 스케줄 정보가 저장부(180)에 저장되면, 저장부(180)에 저장된 스케줄 정보에서 현재 사용자의 스케줄을 추출할 수 있다. 한편, 사용자의 스케줄 정보가 외부 서버(클라우드 서버)에 저장되면, 환경 감지부(140)는 기저장된 사용자 계정 정보를 이용하여 외부 서버로부터 사용자 스케줄 정보를 취득하고, 현재 시간에 대응되는 사용자 스케줄을 추출할 수 있다.
그리고 환경 감지부(140)는 수집된 웨어러블 장치(100)가 위치하는 환경과 관련된 정보와 사용자 스케줄 정보에 기초하여 사용자 상황 정보를 생성한다. 사용자 상황 정보를 생성하는 구체적인 동작에 대해서는 도 10을 참조하여 후술한다.
생체 감지부(150)는 사용자의 생체 신호 정보를 수집한다. 구체적으로, 생체 감지부(150)는 심전도(ECG), 근전도(EMG), 심박변이도(HRV), 산소 포화도(Sp02), 피부전도(GSR),젖산분비(Lactic), 혈압, 피부 온도, 체성분, 대사량 등을 감지할 수 있는 센서들을 포함하며, 해당 센서들을 이용하여 사용자 생체 신호 정보를 수집할 수 있다. 이와 같은 수집 동작은 실시간으로 수행될 수 있으며, 기설정된 주기 단위로 수행되거나 특정 이벤트가 발생한 경우에만 수행될 수 있다. 여기서 특정 이벤트는 사용자가 특정 공간에 진입한 경우(예를 들어, 버스를 타거나, 회의실에 들어가거나 등의 공용 기기가 위치하는 공간에 진입한 경우)일 수 있다.
분석부(160)는 수집된 생체 신호를 기초하여 사용자 감정 상태(또는 감성 상태, 감성 변화)를 결정한다. 구체적으로, 분석부(160)는 생체 감지부(150)에서 수집된 사용자의 생체 신호 정보를 기초로 유쾌(pleasantness) 정도, 각성(arousal) 정도를 추출하고, 추출된 유쾌 정도 및 각성 정도에 따라 기분류된 감정 상태 중 하나로 사용자의 감정 상태를 결정할 수 있다. 이러한 분석부(160)의 동작에 대해서는 도 6 및 도 7을 참조하여 후술한다.
그리고 분석부(160)는 사용자가 현재 환경에 대한 느끼는 감정에 대한 사용자 환경 정보를 생성한다. 구체적으로, 분석부(160)는 앞선 과정에서 결정된 감정 상태와 사용자 상황 정보에 기초하여 사용자 환경 정보를 생성할 수 있다. 이에 대해서는 도 8 내지 도 13을 참조하여 후술한다.
제어부(170)는 웨어러블 장치(100) 내의 각 구성을 제어한다. 구체적으로, 제어부(170)는 사용자 환경 정보가 관리 서버(200)에 통지될 필요가 있는지를 판단한다. 예를 들어, 사용자가 새로운 공간에 진입하거나, 사용자의 감정 상태가 급격하게 변환되는 경우, 제어부(170)는 관리 서버(200)에 사용자 환경 정보가 통지될 필요가 있는 것으로 판단할 수 있다. 다만, 제어부(170)는 이러한 통지 전에 사용자에게 정보 전송 여부를 확인받을 수 있으며, 사용자 확인 여부에 따라 사용자 환경 정보의 전송을 수행할 수 있다.
또는 제어부(170)는 기저장된 조건(예를 들어, 도 14, 15)에 따라 통지 여부를 결정할 수 있다. 구체적으로 제어부(170)는 사용자가 기설정된 놓은 조건에 대응되는 참조 테이블에 따라 선택적으로 정보 전송 여부를 결정할 수 있다. 여기서의 선택지는 전송 또는 미전송뿐만 아니라, 사용자 확인을 포함할 수 있다. 예를 들어, 긴급 상황으로 분류되는 조건에서는 사용자 확인 없이 전송하고, 긴급에서 일반 상황으로 전환되는 상황에서는 별도의 전송을 수행하지 않고, 사용자의 위치 변경에 따른 조건에서는 사용자 확인 사항에 따라 전송을 수행할 수 있다.
그리고 이러한 정보 전송 여부가 복수의 조건에 따라 기저장되어 있는 경우, 제어부(170)는 기저장된 조건을 기준으로 사용자 환경 정보의 전송 여부를 결정할 수 있다.
그리고 제어부(170)는 실시간 또는 기설정된 주기 단위로 사용자 환경 정보가 생성되도록 환경 감지부(140), 생체 감지부(150), 분석부(160)를 제어할 수 있다. 그리고 제어부(170)는 생성된 사용자 환경 정보가 관리 서버(200)로 통지되도록 통신 인터페이스부(110)를 제어할 수 있다. 이때, 제어부(170)는 사용자를 인지할 수 있는 다른 정보(예를 들어, 사용자 이름, 주소, 전화 번호, 주민 번호 등)은 제공하지 않을 수 있다.
그리고 제어부(170)는 통신 인터페이스부(110)를 통하여 동작 제어 명령이 입력되면, 입력받은 동작 제어 명령에 따른 동작이 수행되도록 웨어러블 장치(100) 내의 각 구성을 제어할 수 있다. 예를 들어, 웨어러블 장치(100)가 소리 알람 또는 진동의 알림 기능이 있으며, 관리 서버(200)로부터 집중 모드로 전환하라는 동작 제어 명령(또는 무 알람 모드로 전환하라는 동작 제어 명령)이 입력되면, 제어부(170)는 이벤트 발생에 따라 소리 알람 또는 진동이 발생하지 않도록 할 수 있다.
이상과 같이 본 실시 예에 따른 웨어러블 장치(100)는 사용자 각각의 감정 정보 또는 감정을 파악하는데 필요한 생체 정보를 관리 서버(200) 측에 제공할 수 있다. 한편, 본 실시 예에 따른 웨어러블 장치(100)는 감정을 나타내는 정보를 관리 서버(200)에 전송하는 시점에서 개인 정보와 관련된 정보는 배제하여 전달하거나, 사용자가 승인하는 경우에만 사용자 환경 정보를 전달할 수 있는바, 개인 정보가 불필요하여 유출되는 것을 방지할 수 있다.
한편, 도 2를 도시하고 설명함에 있어서, 생체 감지부(150) 및 환경 감지부(140)가 별도의 구성인 것으로 설명하였지만, 구현시에는 하나의 감지부로 구현될 수 있다. 또한, 분석부(160) 및 제어부(170)가 별도의 구성인 것으로 설명하였지만, 구현시에는 분석부(160)의 기능 및 제어부(170)의 기능은 하나의 구성에서 구현될 수 있다.
한편, 본 실시 예에서는 환경 감지부(140)가 사용자 상황 정보를 생성하는 것으로 설명하였지만, 구현시에는 환경 감지부(140)는 각종 센서를 이용하여 환경과 관련된 정보만을 수집하고, 후술할 분석부(160)가 스케줄 정보를 취득하고, 사용자 상황 정보를 생성할 수 있다. 이와 같은 실시 예에 대해서는 도 3을 참조하여 후술한다.
도 3은 도 2의 분석부의 구체적인 구성을 도시한 블록도이다.
도 3을 참조하면, 웨어러블 장치(100)는 통신 인터페이스부(110), 사용자 인터페이스부(121), 환경 감지부(140), 생체 감지부(150), 분석부(160) 및 제어부(170)로 구성된다.
통신 인터페이스부(110), 사용자 인터페이스부(121), 환경 감지부(140), 생체 감지부(150) 및 제어부(170) 구성은 도 2의 구성과 동일한 기능을 수행하는바 중복 설명은 생략한다.
분석부(160)는 수집된 각종 생체 신호 정보 및 사용자 상황 정보에 기초하여 사용자 환경 정보를 생성할 수 있다. 이러한 분석부(160)는 상황 해석기(161), 상태 해석기(163) 및 컨텍스트 조합 인식기(165)로 구성될 수 있다.
상황 해석기(161)는 환경 감지부(140) 내의 각종 센서에서 감지된 신호를 기초로 사용자 상황 정보를 생성할 수 있다. 예를 들어, 상황 해석기(161)는 도 10에서와 같이 사용자의 위치 정보, 사용자의 스케줄, 사용자가 위치하는 공간에서의 조도, 소음 등의 정보를 환경 감지부(140)로부터 제공받고, 이를 기초로 사용자 상황 정보인 상황 코드를 생성할 수 있다.
상태 해석기(163)는 생체 감지부(150) 내의 각종 센서에서 감지된 신호를 기초로 사용자 감정 상태를 나타내는 사용자 감정 정보를 생성할 수 있다. 예를 들어, 상태 해석기(163)는 도 8에 도시된 바와 같이 심전도(ECG) 센서, 심박변이도(HRV) 센서, 피부 온도(S,Temp) 센서에서 측정된 생리 신호를 생체 감지부(150)로부터 제공받고, 이를 기초로 사용자 쾌도 및 긴장도를 결정할 수 있다. 그리고 상태 해석기(163)는 결정된 쾌도 및 긴장도를 기초로 사용자의 감정(또는 심리)을 결정할 수 있다. 또한, 상태 해석기(163)는 상술한 심전도, 심박변이도, 피부온도 이외의 다른 생리 신호(EMG, GSR, Sp02)를 추가로 이용하여 상태 코드를 결정할 수 있다. 이에 대해서는 도 8 및 도 9를 참조하여 자세히 후술한다.
컨텍스트 조합 인식기(165)는 상황 코드와 상태 코드를 기초로 개인 컨텍스트(즉, 사용자 환경 정보)를 생성한다. 구체적으로, 컨텍스트 조합 인식기(165)는 도 11과 같이 상태 코드 및 상황 코드 각각에 대응되는 참조 테이블을 이용하여 상황 해석기(1610)에서 결정된 상황 코드와 상태 해석기(163)에서 결정된 상태 코드에 대응되는 개인 컨텍스트를 결정할 수 있다. 여기서 개인 컨텍스트는 사용자에게 요구되는 환경상태를 의미하며, 또는 해당 환경 상태를 위한 특정 기기의 제어 상태를 의미할 수도 있다. 예를 들어, 개인 컨텍스트는 졸린 상태로 표현되거나, 해당 졸린 상태를 해소하기 위한 환기 기능, 조명 밝기 증가 등으로 표현될 수도 있다.
이때, 컨텍스트 조합 인식기(161)는 1차적으로 결정된 상태 코드에 실체 측정 값을 고려하여, 즉, 검증 절차를 수행하여 최종 개인 컨텍스트를 결정할 수 있다. 이와 같은 동작에 대해서는 도 11 내지 도 13을 참조하여 후술한다.
도 4는 도 1의 관리 서버의 구체적인 구성을 도시한 블록도이다.
도 4를 참조하면, 관리 서버(200)는 통신 인터페이스부(210), 디스플레이부(220), 사용자 조작부(230), 저장부(240), 분석부(240) 및 제어부(260)로 구성될 수 있다.
통신 인터페이스부(210)는 관리 서버(200)를 외부 장치(구체적으로, 복수의 웨어러블 장치, 공용 기기)에 연결하기 위해 형성되고, 근거리 통신망(LAN: Local Area Network) 및 인터넷망을 통해 외부 장치에 접속되는 형태뿐만 아니라, 무선 통신(예를 들어, Z-wave, 4LoWPAN, RFID, LTE D2D, BLE, GPRS, Weightless, Edge Zigbee, ANT+, NFC, IrDA, DECT, WLAN, 블루투스, 와이파이, Wi-Fi Direct, GSM, UMTS, LTE, WiBRO 등의 무선 통신) 방식에 의해서 접속될 수 있다.
그리고 통신 인터페이스부(210)는 각 사용자의 생체 신호 정보를 각 웨어러블 장치(100)로부터 수신할 수 있다. 구체적으로, 통신 인터페이스부(210)는 복수의 웨어러블 장치(100) 각각에서 수집된 생체 신호 정보를 수신받을 수 있다. 또는 통신 인터페이스부(210)는 생체 신호 정보를 기초로 생성된 사용자 환경 정보를 각 웨어러블 장치(100)로부터 수신받을 수 있다.
그리고 통신 인터페이스부(210)는 동작 제어 명령을 제공할 수 있다. 구체적으로, 통신 인터페이스부(210)는 후술할 제어부(260)의 결정에 따른 공용 기기(10)에 결정된 동작 제어 명령을 전송할 수 있다. 한편, 구현시에는 공용 기기(10)뿐만 아니라, 웨어러블 장치(100)에도 동작 제어 명령을 제어할 수 있다.
디스플레이부(220)는 관리 서버(200)에서 지원하는 각종 정보를 디스플레이할 수 있다. 이러한 디스플레이부(220)는 LCD, CRT 등과 같은 모니터일 수 있으며, 후술할 조작 입력부(230)의 기능을 동시에 수행할 수 있는 터치 스크린으로 구현될 수도 있다.
그리고 디스플레이부(220)는 후술할 분석부(250)에서 분석된 결과인 특정 공간의 환경 상태를 표시하거나, 공용 기기의 동작 상태를 표시할 수 있다.
조작 입력부(230)는 관리 서버(200)에서 지원하는 각종 기능을 사용자가 설정 또는 선택할 수 있는 다수의 기능키를 구비한다. 이러한 조작 입력부(230)는 마우스, 키보드, 마이크 등과 같은 장치로 구현될 수 있으며, 상술한 디스플레이부(220)의 기능을 동시에 수행할 수 있는 터치 스크린으로 구현될 수도 있다.
조작 입력부(230)는 본 실시 예에 따른 제어가 적용될 공간을 선택받을 수 있다. 구체적으로, 조작 입력부(230)는 복수의 공간 각각에 위치하는 복수의 공용 기기를 제어 가능한 경우, 복수의 공간 중 공용 기기 제어를 수행할 공간을 선택받을 수 있다.
저장부(240)는 관리 서버(200)의 구동을 위한 프로그램을 저장한다. 그리고 저장부(240)는 복수의 웨어러블 장치 각각에서 수신된 사용자 환경 정보를 저장한다. 그리고 저장부(240)는 환경 상태(또는 집단 컨텍스트)에 대응되는 제어 대상 기기 및 제어 신호에 대한 참조 테이블(또는 룩업 테이블)을 저장할 수 있다.
이러한 저장부(240)는 관리 서버(200) 내의 저장매체 및 외부 저장 매체, 예를 들어, USB 메모리를 포함한 Removable Disk, 네트워크를 통한 웹서버(Web server) 등으로 구현될 수 있다.
분석부(250)는 수신된 복수의 사용자 정보를 기초로 기설정된 공간의 환경 상태를 분석하고, 분석된 환경 상태에 따라 기설정된 공간 내의 공용 기기의 동작 상태를 결정한다. 구체적으로 분석부(250)는 각 웨어러블 장치의 위치를 기설정된 공간 단위로 구분하고, 각 구분된 공간 내의 웨어러블 장치로부터 수신된 사용자 환경 정보를 기초로 해당 공간의 환경 상태를 결정한다. 예를 들어, 하나의 공간에 10개의 웨어러블 장치가 위치하고 있으며, 8개의 웨어러블 장치에서 수신된 사용자 컨텍스트가 집중 상태에 대응되는 컨텍스트 코드이면, 분석부(250)는 해당 상태는 집중 상태라고 판단할 수 있다.
한편, 사용자 환경 정보로 로우 테이터(생체 신호 정보, 위치, 스케줄 정보)를 수신한 경우, 분석부(250)는 수신한 생체 신호 정보를 기초하여 각 웨어러블 장치 각각의 사용자의 감정 상태를 결정한다. 그리고 분석부(250)는 결정된 가정 상태를 기초로 사용자가 현재 환경에 대한 느끼는 감정에 대한 사용자 환경 정보를 생성할 수 있다.
그리고 분석부(250)는 분석된 환경 상태에 따라 결정된 공간 내의 공용 기기의 동작 상태를 결정한다. 구체적으로, 분석부(250)는 저장부(240)에 저장된 룩업 테이블을 이용하여 분석된 환경 상태에 대응되는 공용 기기의 동작 상태를 결정할 수 있다.
제어부(260)는 관리 서버(200) 내의 각 구성을 제어한다. 구체적으로, 제어부(260)는 복수의 웨어러블 장치(100)로부터 사용자 환경 정보가 수신되면, 수신된 사용자 환경 정보에 따라 기설정된 공간의 환경 상태가 분석되도록 분석부(250)를 제어할 수 있다. 그리고 제어부(260)는 분석된 환경 상태에 따라 공용 기기의 동작 상태가 결정되도록 분석부(250)를 제어하고, 결정된 동작 상태에 따라 공용 기기가 동작하도록 통신 인터페이스부(210)를 제어할 수 있다.
이상과 같이 본 실시 예에 따른 관리 서버(200)는 복수의 웨어러블 장치(100)에서 수신된 사용자 환경 정보를 기초로 해당 공간의 환경 상태를 파악할 수 있으며, 그에 따라 해당 공간 내의 공용 기기를 적응적으로 제어할 수 있다.
한편, 도 4를 설명함에 있어서, 분석부(250) 및 제어부(260)가 별도의 구성인 것으로 설명하였지만, 구현시에는 하나의 구성이 분석부(250)의 기능 및 제어부(260)의 기능을 함께 수행할 수도 있다.
도 5는 도 4의 분석부의 구체적인 구성을 도시한 블록도이다.
도 5를 참조하면, 관리 서버(200)는 통신 인터페이스부(210), 저장부(240), 분석부(250)로 구성된다.
통신 인터페이스부(210) 및 저장부(240)의 동작은 도 4의 구성과 동일한바, 중복 설명은 생략한다.
분석부(250)는 복수의 웨어러블 장치가 위치하는 공간의 상태를 파악하고, 파악된 공간의 공용 기기에 대한 제어 상태를 결정할 수 있다. 구체적으로, 분석부(250)는 기기 관리부(251), 컨텍스트 분석기(252) 및 이벤트 처리기(253)로 구성될 수 있다.
기기 관리부(251)는 기설정된 공간 내에 위치하는 웨어러블 장치를 식별하고, 각 웨어러블 장치로부터 사용자 환경 정보를 취득할 수 있다.
컨텍스트 분석기(252)는 각 웨어러블 장치(100)로부터 수신된 사용자 환경 정보를 기초로 해당 공간의 상황 상태를 분석할 수 있다. 구체적으로, 도 16에 도시된 바와 같이 기설정된 공간 내에 특정 컨텍스트(A)가 우세한 경우, 컨텍스트 분석기(252)는 우세한 특정 컨텍스트를 해당 공간의 상태라고 분석할 수 있다. 여기서 우세 여부는 기설정된 비율(예를 들어, 50%) 이상인 경우로 결정할 수 있다.
한편, 복수의 컨텍스트가 양립 가능하면, 컨텍스트 분석기(252)는 해당 공간을 복수의 컨텍스트로 분석할 수 있다. 예를 들어, A 컨텍스트가 조명 변화이고, B 컨텍스트가 에어컨 동작이고, 두 컨텍스트가 모두 30% 이상의 비율을 가지면, 컨텍스트 분석기(252)는 조명 변화 및 에어컨 동작 모두가 필요한 것으로 분석할 수 있다.
그리고 이벤트 처리기(253)는 저장부(240)에 저장된 기기제어 참조 테이블을 기초로 분석된 환경 상태에 따라 기설정된 공간 내의 공용 기기의 동작 상태를 결정할 수 있다. 결정된 공용 기기의 동작 상태는 통신 인터페이스부(210)를 통하여 해당 공용 기기에 제공될 수 있다.
도 6은 복수의 센서에서 입력된 생체 신호 정보의 패턴을 도시한 도면이다.
도 6을 참조하면, 복수의 시점에서의 심전도(ECG), 심박변이도(HRV), 피부 온도 값이 3차원 좌표에 표시된다. 해당 3차원 그래프를 보면, 3개의 생체 신호(심전도, 심박변이도, 피부 온도)는 일정한 패턴을 가짐을 확인할 수 있다.
한편, 인간의 쾌도는 EEG(Electroencephalogram)을 이용하여 측정할 수 있으며, 인간의 긴장도는 심전도, 심박 변이도, 피부 온도 등의 생리 신호로 측정할 수 있다. 이와 같은 내용은 이미 널리 알려진 사실인바, 각 생리 신호를 통하여 쾌도 및 긴장도를 파악하는 방법에 대한 설명은 생략한다. 또한, 구현시에는 상술한 생리 신호 이외의 다른 생리 신호를 이용할 수 있음은 자명하다.
도 7은 유쾌 및 각성 정도로 감정 상태를 분류하는 동작을 설명하기 위한 도면이다.
도 7을 참조하면, 유쾌 및 각성 각각은 3개의 단계로 구분될 수 있다. 유쾌 및 각성의 정도에 따라 사용자의 감정은 긴장(스트레스), 고양됨(활발함), 흥미 진지함, 슬픔(불행), 행복함(기쁨), 피곤함(지침, 우울함), 졸림, 평온(느긋함) 중 어느 하나의 감정으로 결정될 수 있다.
도 8 및 도 9는 복수의 생체 신호 정보를 통하여 사용자 감정 정보를 결정하는 동작을 설명하기 위한 도면이다. 구체적으로, 도 8은 생체 신호에 대응되는 사용자 감정 상태를 나타내는 룩업 테이블의 예를 도시한 도면이고, 도 9는 감정 상태 및 추가 생체 신호에 따른 사용자 상태 코드의 예를 도시한 도면이다.
도 8을 참조하면, 룩업 테이블은 3개의 생체 신호 정보(ECG, HRV, S.Tep) 각각에 따른 유쾌, 각성에 대한 상태 값을 가지며, 유쾌, 각성에 대한 사용자 감정 상태 값을 갖는다. 한편, 도 8에 도시된 룩업 테이블은 도 6 및 도 7을 결합한 것이기 때문에, 유쾌, 각성에 대한 항목을 포함하고 있으나, 구현시에 룩업 테이블은 도 8에 도시된 항목 중 유쾌 및 각성 영역은 생략될 수 있다.
도 9를 참조하면, 제2 룩업 테이블은 사용자 상태, EMG, GSR, Sp02 각각에 대응되는 값에 대응한 상태 코드를 갖는다. 예를 들어, 사용자가 졸린 상태가 무엇에 의한 것인지 알기 위하여, EMG, GSR, Sp02 값을 이용하여 산소 부족(즉, 환경 변화)에 의한 것인지, 나른해짐(즉, 사용자의 의지)에 의한 것인지를 구분할 수 있다.
한편, 도 8 및 도 9를 도시함에 있어서, 두 개의 룩업 테이블을 이용하여 사용자의 상태 코드를 생성하는 것으로 설명하였지만, 구현시에는 도 9의 룩업 테이블 이용 없이 도 8의 룩업 테이블만을 이용할 수도 있으며, ECG, HRV, S.Tep, EMG, GSR, Sp02 값에 대응한 상태 코드를 갖는 룩업 테이블이 이용될 수도 있다.
도 10은 사용자 상황 정보를 생성하는 동작을 설명하기 위한 도면이다.
도 10을 참조하면, 제3 룩업 테이블(1020)은 상황 코드를 결정하기 위한 룩업 테이블의 예이다. 구체적으로, 제3 룩업 테이블(1020)은 스케줄, 조도, 소음 각각의 값에 대응한 상황 코드값을 갖는다.
예를 들어, 사용자 스케줄 정보(1010)에서 현재 시간에 대응되는 사용자 스케줄이 업무 회의이고, 현재 조도가 30 럭스(lx) 이하이며, 소음도 30db이하이면, 업무 회의 과정에서 사용자가 경청하는 상태라고 결정할 수 있다.
반대로, 조도가 30 럭스(lx) 이하이며, 소음이 30db 이상이면, 업무 회의 과정에서 사용자가 발표하는 상태라고 결정할 수 있다. 또는 조도가 300 럭스 이상이나, 소음이 30db 이하이면, 일반적인 업무 상태라고 결정할 수 있다.
도시된 예에서는 스케줄, 조도, 소음 3개의 값을 이용하여 상황 코드를 결정하는 것을 설명하였지만, 구현시에는 2개 이하의 값을 이용하여 상황 코드가 결정될 수 있으며, 상술한 3개의 조건 이외에 다른 조건이 더 부가되어 상황 코드가 결정될 수도 있다.
도 11 및 도 12는 사용자 환경 정보를 생성하는 동작을 설명하기 위한 도면이다. 구체적으로, 도 11은 사용자 환경 정보를 생성하는데 이용되는 제4 룩업 테이블의 예를 도시한 도면이고, 도 12는 회의 상황인 경우의 제4 룩업 테이블의 예를 도시한 도면이다.
도 11 및 도 12를 참조하면, 제4 룩업 테이블(1100)은 상태 코드 및 상황 코드 각각에 대응되는 개인 컨텍스트 값을 갖는 참조 테이블이다.
예를 들어, 도 12a와 같이 업무 회의 과정에서 경청하는 상황이나, 실제 사용자는 산소가 부족하여 졸린 상태이면, 업무 집중을 위하여 환기를 한다거나, 명을 높이는 조작을 통하여 사용자가 업무에 집중할 수 있는 환경을 조성할 수 있다.
다만, 이러한 조작이 실질적으로 필요한 것인지를 검증하기 위하여, 조작되는 공용 기기에 대응되는 상황 정보를 추가 검증하고, 그에 따라 최종 사용자 환경 정보를 결정할 수 있다. 구체적으로, 조도 및 산소를 재측정하고, 실제 산소가 부족해 짐이 확인되면, 환기가 수행될 수 있도록 환기를 수행할 수 있는 공용 기기의 동작 온을 결정할 수 있으며, 조도가 실제로 어두운 것이 확인되면, 조명의 밝기를 높이는 동작을 결정할 수 있다. 이와 같은 동작에 대해서는 도 13과 관련하여 이하에서 보다 자세히 설명한다.
이와 같은 검증을 통하여 도 12a와 같은 개인 컨텍스트는 도 12c와 같은 최종 개인 컨텍스트로 결정될 수 있다.
도 13은 실측값을 기초로 사용자 환경 정보를 최종 결정하는 동작을 설명하기 위한 도면이다.
도 13을 참조하면, 수면 상태의 심박 변이도와 운동 상태의 심박 변이도는 상호 오버랩되는 영역을 갖는다. 따라서, 심박 변이도로 사용자의 수면 상태와 운동 상태를 결정하는 경우, 운동하는 사람을 수면상태인 것으로 판정할 수 있으며, 수면하는 사람을 운동하는 사람으로 판정할 수 있다.
그러나 수면 상태와 운동 상태에서의 위치 변동 및 가속도 변화는 상호 다른 형태를 갖는다는 점에서, 예를 들어, 수면 상태에는 위치 변동 및 가속도 변화가 거의 없으나, 운동상태에서는 위치 변동과 가속도 변화가 상당한 크기를 갖는다.
따라서, 가속도 변화, 위치 변동 등의 실체 값을 이용하여 앞서 결정된 사용자 환경 정보를 보정할 수 있다. 예를 들어, 도 12의 상태에서 사용자가 졸린 상태여서, 환기가 필요한 상태로 파악하였으나, 사용자의 위치 변동이나 가속도 변화가 크다면, 수면 상태가 아닌 운동 상태로 보정할 수 있다.
도 14 및 도 15는 사용자 상황 정보의 공개 여부를 판단하는데 이용되는 룩업 테이블의 예를 도시한 도면이다.
도 14 및 도 15를 참조하면, 제4 룩업 테이블(1400)은 상황 코드, 상태 코드, 그에 대응되는 전달 서버의 주소 및 공개 설정 값을 갖는다. 예를 들어, 사용자가 산소가 부족한 상태이고, 업무 회의 상황이라면, 해당 값이 관리 서버(200)에 전달되는 공개 값을 가질 수 있다. 그러나 사용자가 산소가 부족한 상태이나, 촬영 상황이라면, 해당 값이 관리 서버(200)에 전달되지 않는 공개 값(false)을 가질 수 있다.
도 16은 기설정된 공간 내의 사용자 환경 정보를 이용하는 동작을 설명하기 위한 도면이다.
도 16을 참조하면, 관리 서버(200)가 수집한 사용자 환경 정보를 해당 웨어러블 장치의 위치에 대응하여 표시한 것이다.
관리 서버(200)는 기설정된 공간 내의 각 사용자의 사용자 환경 정보가 어떠한 것인지를 수집하고, 도시된 예와 같이 해당 공간 내에 A라는 사용자 상황이 대다수라면, A라는 상황에 대응되는 공용 기기 제어를 수행할 수 있다. 예를 들어, A라는 상황이 환기/조명 업이라는 상황이라면, 관리 서버(200)는 기설정된 공간 내에 환기를 수행하는 공용 기기가 환기를 수행하도록 제어하고, 기설정된 공간 내의 조명의 밝기를 높일 수 있다.
도 17 및 도 18은 공용 기기의 동작 상태를 결정하는 동작을 설명하기 위한 도면이다.
도 17을 참조하면, 제5 룩업 테이블은 컨텍스트 값에 대응하는 제어 대상 기기 및 각 기기에 대한 제어 신호의 값을 갖는다. 예를 들어, 도 16과 같은 기설정된 공간 내에 A라는 컨텍스트가 대부분인바, 관리 서버(200)는 해당 공간의 상황을 A라고 결정하고, 도 17의 제5 룩업 테이블의 A 항목에 대응되는 조명, 오디오 볼륨, 환풍기 기기 각각에 대한 제어를 수행할 수 있다.
도 18은 관리 서버에 기 등록된 공용 기기의 정보의 예를 도시한 도면이다.
도 18을 참조하면, 제6 룩업 테이블은 관리 서버(200)가 제어 가능한 공용 기기, 각 공용 기기의 위치 정보 및 공간 위치별 사용 여부에 대한 정보를 갖는다.
도 19 내지 도 24는 다양한 환경에 따른 동작 예들을 설명하기 위한 도면이다. 구체적으로, 도 19는 교실에서의 동작 예를 설명하기 위한 도면이다.
도 19를 참조하면, 교실 내에는 공용 기기로, 조명(10-2)과 에어컨(10-1)이 배치되어 있다.
이와 같은 교실 환경에서 많은 학생이 졸고 있는 상태이고, 해당 공간의 조명이 어둡고, 온도가 높은 상황이면, 각 학생의 웨어러블 장치(100)는 조명을 밝히고, 에어컨 풍량(capacity)이 높일 필요가 있다는 개인 코드(즉, 사용자 환경 정보)를 관리 서버(200)에 전송할 것이다.
관리 서버(200)는 상술한 개인 코드가 기설정된 개수 이상이 되면, 더 밝은 환경이 되도록 조명(10-2)을 제어하고, 에어컨의 풍량이 증가하도록 에어컨(10-1)을 제어할 수 있다.
도 20은 복수의 회의 공간을 갖는 사물에서의 동작 예를 설명하기 위한 도면이다.
도 20을 참조하면, 각 회의 공간 내에는 각 공간에 대한 공용 기기로 환풍기(10-1, 10-2, 10-3)가 배치되어 있다. 그리고 관리 서버(200)는 7개의 웨어러블 장치와 연결이 가능하다.
이와 같은 회의 환경에서 관리 서버(200)는 7개의 웨어러블 장치에서의 각 사용자 환경 정보를 수집할 수 있다. 이때, 관리 서버(200)는 7개 웨어러블 장치의 공간을 구분하고, 각 공간별로 사용자 환경 정보를 고려할 수 있다.
예를 들어, A공간에 위치하는 3개의 사용자(100-1, 100-2, 100-3)의 사용자 환경 정보만을 고려하여 환풍기(10-1)를 제어할 수 있다. 그리고 관리 서버(200)는 B 공간에 위치하는 3개의 사용자(100-4, 100-5, 100-6)의 사용자 환경 정보만을 고려하여 환풍기(10-2)를 제어할 수 있다. 그리고 관리 서버(300)는 C 공간에 위치하는 하나의 사용자(100-7)의 사용자 환경 정보만을 고려하여 환풍기(10-3)를 제어할 수 있다.
도 21은 고속도로 환경에서의 동작 예를 설명하기 위한 도면이다.
도 21을 참조하면, 고속도로에 7개의 차량이 현재 이동중이며, 관리 서버(200)는 7개의 차량의 운전자로부터 사용자 환경 정보를 취득할 수 있다.
관리 서버(200)는 취득된 정보에서 사용자의 졸음 운전 여부, 난폭 운전 여부를 구분할 수 있다. 예를 들어, 피부 긴장도가 낮으며, 산호 포화도가 낮아 조용하거나 졸린 감정을 갖는다면, 해당 사용자는 졸음 운전을 하는 것으로 판단할 수 있다. 그리고 운전자의 이동 속도가 규정 속도보다 빠르고, 가속도 변화가 높으며, 사용자의 혈압 및 심박수가 기준 값보다 높다면, 해당 사용자는 난폭 운전을 수행하는 것으로 판단할 수 있다.
그리고 관리 서버(200)는 수집된 정보에 대응되는 경고 메시지가 디스플레이 장치에 표시되도록 제어할 수 있다. 예를 들어, 제2 사용자(100-2)가 졸음 운전 중인 것으로 판단된 경우, 제2 사용자(100-2)가 디스플레이 장치를 볼 수 있는 시점에 졸음 운전 주의하라는 경고 메시지를 표시할 수 있다. 그리고 관리 서버(200)는 해당 사용자의 웨어러블 장치(100-2)에 졸음 운전 주의라는 메시지가 표시되도록 제어 명령을 전송할 수 있으며, 해당 사용자(100-2)의 주변 사용자(100-1, 100-3)에게도 방어 운전을 하라는 메시지가 표시되도록 할 수 있다.
또한, 제6 운전자(100-6)가 과속 운전을 하는 것으로 판단되면, 관리 서버(200)는 디스플레이 장치에 난폭 운전에 대한 경고 메시지를 표시하고, 해당 제6 운전자(100-6)의 웨어러블 장치에 난폭 운전하지 말라는 메시지가 표시되도록 하는 제어 명령을 전송할 수 있다. 그리고 해당 사용자(100-6)의 주변 사용자(100-5, 100-7)에게 방어 운전을 하라는 메시지가 표시되도록 할 수 있다.
도 22는 놀이 공원 환경에서의 동작 예를 설명하기 위한 도면이다.
도 22를 참조하면, 사용자가 놀이 공원의 입구를 통과하게 되면, 관리 서버(200)는 놀이 공원을 통과한 사용자의 웨어러블 장치(100)와 통신을 수행하게 된다(S2210). 이에 따라, 각 사용자의 감정 정보는 해당 놀이 공원의 관리 서버(200)에 전송될 수 있다.
이 경우, 사용자가 놀이 공원에서 특정 놀이 기구를 타게 되면, 관리 서버(200)는 해당 놀이 기구에서의 감정 변화를 측정할 수 있다. 이때, 관리 서버(200)는 제공되는 감정 변화에 따라 해당 놀이 기구에 대한 호응도를 판별할 수 있다(S2220, S2240).
그리고 관리 서버(200)는 판별된 호응도에 대응하여 놀이 기구의 놀이 동작을 가변되도록 제어할 수 있다(S2230, S2250). 예를 들어, 해당 놀이 기구를 탄 대부분의 탑승자의 심박 변이도 및 피부 긴장도가 높이 변한 경우, 해당 높인 기구는 호응도가 높은 것으로 판별하고, 놀이 시간을 줄이는 등의 조작이 가능하다. 또한, 탑승객의 심박 변이도, 피부 긴장도의 변화가 너무 급박하거나, 이상 상태에 해당하는 경우라면, 관리 서버(200)는 해당 놀이기구의 동작을 중지시킬 수 있다.
그리고 사용자가 해당 놀이 공원의 출구를 통과하게 되면, 관리 서버(200)는 웨어러블 장치(100)와의 연결이 차단되고, 웨어러블 장치(100)는 사용자 환경 정보를 관리 서버(200)에 전송하는 동작을 중단하게 될 수 있다.
도 23은 버스 탑승 환경에서의 동작 예를 설명하기 위한 도면이다.
도 23을 참조하면, 사용자가 버스에 탑승하거나, 버스 요금을 지불하기 위하여 태그 동작에 대응하여 사용자의 웨어러블 장치(100)는 관리 서버(200)에 등록되며, 사용자의 사용자 환경 정보가 전달된다(S2310).
버스에 탑승한 사용자들의 사용자 환경 정보는 관리 서버(200)에 전달되는바, 관리 서버(200)는 사용자들이 졸린 상태이면, 버스 내의 에어컨이 동작하도록 제어할 수 있다(S2320). 또는 버스가 난폭 운전을 하는 상황이어서, 버스에 탑승객 대부분이 스트레스를 받는 상황이면, 관리 서버(200)는 버스 운전자에게 안전 운전을 요구하는 메시지를 표시할 수 있다.
그리고 버스에 탑승한 사용자가 버스에서 하차하게 되면, 버스에서 하차하는 사용자의 웨어러블 장치(100)와 관리 서버(200)의 연결은 차단될 수 있다(S2340).
도 24는 공장 환경에서의 동작 예를 설명하기 위한 도면이다.
도 24를 참조하면, 공장 환경 내에서는 공용 기기로, 컨베이어 벨트(11), 스피커(12)가 배치되어 있다.
이와 같은 공장 환경에서 여러 작업자(100-1, 100-2, 100-3)는 자신의 자리에서 자신에게 부여된 작업을 수행할 것이다.
한편, 컨베이어 벨트를 이용하는 작업 환경은, 각 작업자가 유기적으로 동작하기 때문에 모든 작업자가 동일한 작업 속도로 작업을 수행하는 것이 요구된다. 이에 따라, 모든 작업자들은 자신들의 작업 능률과 무관하게 디폴트에 설정된 작업 속도에 따라 작업을 수행하여야 하였다.
그러나 작업자는 동일한 속도를 그대로 유지하여 작업을 수행하는 것이 어렵고, 모든 작업자 모두가 동일한 속도로 작업을 수행하는 것이 어렵기 때문에, 종래에는 최소한의 낮은 속도로 컨베이어 벨트가 조정되었다.
그러나 본 실시예에서는 각 작업자의 집중도 등의 확인이 가능한바, 각 작업자의 집중도 및 피로도를 이용하여 적응적으로 작업 속도를 조정하는 것이 가능하다.
구체적으로, 각 작업자의 웨어러블 장치(100-1, 100-2, 100-3)는 각 작업자의 집중도 및 피로도(예를 들어, 산호 포화도가 낮고, 소음도 낮고, 근전도도 낮은 상태)를 파악하고, 그에 따라 컨베이어 벨트의 속도를 높이거나 낮출 필요가 있다는 개인 코드를 관리 서버(200)에 전송할 수 있다.
그리고 관리 서버(200)는 수신된 개인 코드를 수집하여 컨베어 벨트의 속도를 조정할 수 있다. 이때, 앞선 케이스와 달리 다수의 개인 코드가 있더라도 소수의 다른 개인 코드가 있다면 조정을 수행하지 않을 수 있다.
예를 들어, 복수의 작업자 모두의 집중도가 높아 각 웨어러블 장치(100-1, 100-2, 100-3)로부터 컨베이어 벨트의 속도를 높일 필요가 있다는 개인 코드를 관리 서버(200)가 수신한다면, 관리 서버(200)는 보다 빠르게 작업을 수행할 수 있도록 컨베이어 벨트(11)의 속도를 증가시킬 수 있다.
반대로, 한 작업자의 집중도가 낮은 경우에, 관리 서버(200)는 높은 집중도에 대응되는 다수의 개인코드를 수신하는 경우에도, 컨베이어 벨트의 속도를 가변하지 않을 수 있다. 그리고 관리 서버(200)는 해당 작업자의 집중도가 증가할 수 있도록 스피커(12)를 이용하여 경고 메시지가 나오도록 할 수 있다.
도 25는 극장 환경에서의 동작 예를 설명하기 위한 도면이다.
도 25를 참조하면, 관리 서버(200)는 극장 환경 내의 사용자의 웨어러블 장치 각각으로부터 사용자 환경 정보를 수집하고, 수집된 사용자 환경 정보를 기초로 해당 영화에 대한 관객 평가를 계산할 수 있다.
예를 들어, 졸림 감정을 갖는 사용자의 비율, 흥미 진지함을 갖는 사용자의 비율, 그리고, 상술한 감정의 변화 회수 등을 기초로 관객 평가를 계산할 수 있다. 구체적으로, 사용자별로 흥미 진지함이 나온 횟수(또는 슬픈 감정의 횟수)별로 평균 점수에서 가산을 하고, 졸림 감정을 갖는 회수를 평균 점수에서 감산을 하여 각 사용자별 해당 영화에 대한 관객 평가를 계산할 수 있다. 그리고 모든 사용자의 평가를 평균으로 해당 영화에 대한 평가를 자동으로 산출할 수 있다. 한편, 구현시에는 상술한 방식 이외의 방식으로도 개인의 평가 및 복수의 평가를 할 수 있음은 자명하다.
도 26은 본 발명의 일 실시 예에 따른 웨어러블 장치의 감지 동작을 설명하기 위한 도면이다.
도 26을 참조하면, 먼저, 사용자의 생체 신호 및 위치 정보를 수집한다(S2610). 구체적으로, 심전도(ECG), 심박변이도(HRV), 근전도(EMG), 피부전도(GSR), 산소포화도(Sp02) 및 피부 온도 등의 생체 신호를 수집하고, GPS 정보 등을 통하여 사용자의 위치 정보를 수집할 수 있다.
그리고 수집된 신체 신호 정보를 기초하여 사용자의 감정 상태를 결정한다(S2620). 구체적으로, 생체 신호 정보에서 유쾌 정도, 각성 정도를 추출하고, 추출된 유쾌 정도, 각성 정도에 따라 기분류된 감정 상태 중 어느 하나로 감정 상태를 결정할 수 있다.
그리고 결정된 감정 상태에 기초하여 환경 정보를 생성하고, 생성한 환경 정보를 관리 서버(200)에 전송한다(S2630). 구체적으로, 사용자 위치 정보 및 스케줄 정보에 기초하여 사용자 상황 정보를 생성하고, 앞서 생성된 감정 상태와 사용자 상황 정보에 기초하여 사용자 환경 정보를 생성할 수 있다. 그리고 생성된 사용자 환경 정보에 대한 사용자 승인이 있거나, 기설정된 상태에 적합한 사용자 환경 정보인 경우에 관리 서버(200)에 사용자 환경 정보를 전송할 수 있다.
이상과 같이 본 실시 예에 따른 웨어러블 장치에서의 제어 방법은, 사용자 각각의 감정 정보 또는 감정을 파악하는데 필요한 생체 정보를 관리 서버(200) 측에 제공할 수 있다. 또한, 웨어러블 장치에서의 제어 방법은 감정을 나타내는 정보를 관리 서버(200)에 전송하는 시점에서 개인 정보와 관련된 정보는 배제하고 전달할 수 있는바, 개인 정보가 불필요하여 유출되는 것을 방지할 수 있다. 도 26과 같은 제어 방법은, 도 2의 구성을 가지는 웨어러블 장치 상에서 실행될 수 있으며, 그 밖의 구성을 가지는 웨어러블 장치 상에서도 실행될 수 있다.
또한, 상술한 바와 같은 제어 방법은 컴퓨터에서 실행될 수 있는 실행가능한 알고리즘을 포함하는 프로그램으로 구현될 수 있고, 상기 프로그램은 비일시적 판독 가능 매체(non-transitory computer readable medium)에 저장되어 제공될 수 있다.
비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 애플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.
도 27은 본 발명의 일 실시 예에 따른 관리 서버의 제어 동작을 설명하기 위한 도면이다.
도 27을 참조하면, 기설정된 공간에 위치하는 복수의 웨어러블 장치 각각으로부터 사용자 환경 정보를 수신한다(S2710). 여기서 수신되는 사용자 환경 정보는 사용자 감정 정보 및 사용자 상황 정보에 기초하여 결정된 정보(즉, 결과 정보)일 수 있으며, 사용자 환경 정보를 생성하는데 이용되는 로우 데이터(예를 들어, 생체 신호 정보, 위치 정보, 스케줄 정보 등)일 수도 있다.
그리고 수신한 복수의 사용자 환경 정보를 기초로 기설정된 공간의 환경 상태를 분석하고, 분석된 환경 상태에 대응되는 공용 기기의 동작 상태를 결정한다(S2720).
그리고 결정된 동작 상태에 대응되게 동작하도록 공용 기기를 제어할 수 있다(S2730).
이상과 같이 본 실시 예에 따른 관리 서버의 제어 동작은 복수의 웨어러블 장치(100)에서 수신된 사용자 환경 정보를 기초로 해당 공간의 환경 상태를 파악할 수 있으며, 그에 따라 해당 공간 내의 공용 기기를 적응적으로 제어할 수 있다. 도 27과 같은 제어 방법은, 도 4의 구성을 가지는 관리 서버 상에서 실행될 수 있으며, 그 밖의 구성을 가지는 관리 서버 상에서도 실행될 수 있다.
또한, 상술한 바와 같은 제어 방법은 컴퓨터에서 실행될 수 있는 실행가능한 알고리즘을 포함하는 프로그램으로 구현될 수 있고, 상기 프로그램은 비일시적 판독 가능 매체(non-transitory computer readable medium)에 저장되어 제공될 수 있다.
도 28은 극장 환경에서의 공용 기기의 동작 상태의 결정 과정을 설명하기 위한 흐름도이다.
도 28을 참조하면, 사용자가 최초 극장 환경에 진입하게 되면, 웨어러블 장치(100) 내의 각 센서 및 구성들은 초기 설정 값을 갖게 된다(S2805). 이때, 웨어러블 장치는 새로운 환경이 진입됨을 인지하고, 웨어러블 장치는 사용자 상황을 감지하기 위한 센서(위치센서, 가속도 센서, GPS 등)를 이용하여 개인 행동에 대한 누적 데이터를 생성하고(S2810), 사용자 스케줄 정보를 확인하여 현재 극장에 위치한 것을 파악하고 앞서 생성된 누적 데이터를 함께 고려하여 상황 코드를 결정할 수 있다(S2820).
그리고 사용자 감정 상태를 판단하기 위한 생체 신호 센서를 이용하여 사용자 생체 신호에 대한 누적 데이터를 생성할 수 있다(S2815, S28251).
상황 코드 및 감정 코드가 결정되면, 두 코드를 이용하여 임시 컨텍스트 코드를 결정할 수 있다(S2830).
한편, 결정된 임시 컨텍스트 코드가 추운 감정에 대응되는 코드라면, 사용자에게 추운 상태인지를 문의하여 최종 컨텍스트 코드를 확정할 수 있다(S2835).
그리고 결정된 컨텍스트 코드에 대한 전송이 허가된 경우, 전달 대상 서버에 해당 컨텍스트 코드를 전송할 수 있다(S2840).
관리 서버(200)는 상술한 과정에 의하여 전송된 컨텍스트 코드를 각 웨어러블 장치로부터 수신하고, 각 수신된 컨텍스트 코드에 기초하여 상황 코드값(환경 상태)을 생성할 수 있다(S2850).
결정된 환경 상태에 대응되는 공용 기기의 상태를 결정하고, 결정된 공용 기기의 상태에 따라 공용 기기를 제어할 수 있다(S2860, S2870). 예를 들어, 복수의 사용자가 추워하고 있다면, 냉방 온도를 높이는 제어를 수행하고, 반대인 경우에는 냉방 온도를 낮추는 제어를 수행할 수 있다.
이상에서는 시스템 측면에서의 동작을 설명하였는데, 이하에서는 웨어러블 장치와 관리 서버에서의 동작을 분리하여 설명한다.
도 29는 도 28의 웨어러블 장치에서의 동작을 자세히 설명하기 위한 흐름도이다.
도 29를 참조하면, 최초 극장 환경에 진입하게 되면, 웨어러블 장치(100) 내의 각 센서 및 구성들은 초기 설정 값을 갖게 된다(S2901, S2903). 이때, 웨어러블 장치는 새로운 환경이 진입됨을 인지하고, 사용자에게 해당 공간의 관리 서버(200)에 사용자 환경 정보를 전송할 것인지에 대한 확인을 받을 수 있다. 이와 같은 확인 사항에 기초하여 사용자 환경 정보에 대한 서버 제공 여부를 설정할 수 있다.
이후에 웨어러블 장치는 사용자 상황을 감지하기 위한 센서(위치센서, 가속도 센서, GPS 등)를 이용하여 개인 행동에 대한 누적 데이터를 생성할 수 있다(S2905).
그리고 사용자 감정 상태를 판단하기 위한 생체 신호 센서를 이용하여 사용자 생체 신호에 대한 누적 데이터를 생성할 수 있다(S2907).
상술한 해당 및 생체 신호의 데이터가 누적되는 과정 중에 사용자의 스케줄을 확인하고(S2909), 사용자가 현재 극장에 위치하는 것을 파악하고(S2913), 파악된 극장이라는 위치와 앞서 누적된 개인 행동에 대한 데이터를 이용하여 상황 코드를 결정할 수 있다(S2915, S2919)
그리고 누적된 생체 신호를 기초로 피부 온도 등을 통하여 추움을 감지하면(S2911), 해당 감정에 대응되는 감정 코드를 결정할 수 있다(S2917, S2921).
상황 코드 및 감정 코드가 결정되면, 두 코드를 이용하여 임시 컨텍스트 코드를 결정하고(S2923), 해당 컨텍스트 코드에 대응되는 센서를 이용하여 해당 컨텍스트 코드에 대한 검증을 수행하고(S2925), 그에 따른 최종 컨텍스트 코드를 생성할 수 있다(S2927, S2929).
만약, 앞선 과정에서 사용자가 사용자 환경 정보를 전송하지 않은 것으로 결정하였다면(S2931-N), 생성된 최종 컨텍스트 코드는 전송되지 않는다. 그러나 사용자가 사용자 환경 정보를 전송하는 것으로 결정하였다면(S2931-Y), 생성된 컨텍스트 코드를 관리 서버(200)에 전송할 수 있다(S2933).
도 30은 도 28의 관리 서버에서의 동작을 자세히 설명하기 위한 흐름도이다.
도 30을 참조하면, 먼저, 관리 서버(200)가 관리 가능한 장치를 로딩한다(S2001). 그리고 관리 서버(200)가 제어 가능한 장치 중 극장 공간 내의 공용 기기를 파악하고(S3005), 그 장치들의 목록을 읽을 수 있다(S3009)
그리고 각 웨어러블 장치로부터 사용자 환경 정보를 수신할 수 있다(S3003). 그리고 수신된 사용자 환경 정보 중 극장 환경 내의 웨어러블 장치 내의 것들만 선별하고(S3007). 해당 환경 내의 사용자 환경 정보를 기초로 극장 환경에 대한 환경 상태를 결정할 수 있다(S3011).
로딩된 기기제어 참조 테이블을 이용하여 결정된 환경 상태에 대응되는 공용 기기의 상태를 결정하고(S3013), 결정된 공용 기기의 상태에 따라 공용 기기를 제어할 수 있다(S3017, S3019). 예를 들어, 결정된 환경 상태가 추운 환경이면, 냉방 온도를 높이는 제어를 수행하고, 결정된 환경 상태가 더운 환경이면, 냉방 온도를 낮추는 제어를 수행할 수 있다.
그리고 관리 서버(200)는 해당 공용 기기로부터 동작 상태에 대한 피드백 받고, 목표로 하는 상태에 도달할 ?까지 해당 공용 기기를 제어할 수 있다(S3021, S3023).
도 31은 회의 환경에서의 공용 기기의 동작 상태의 결정 과정을 설명하기 위한 흐름도이다.
도 31을 참조하면, 회의 환경에 진입하게 되면(예를 들어, 회의실 진입을 위하여 사원증을 회의실에 태그), 웨어러블 장치(100) 내의 각 센서 및 구성들은 초기 설정 값을 갖게 된다(S3105, S3110).
이후에 웨어러블 장치는 사용자 상황을 감지하기 위한 센서(위치센서, 가속도 센서, GPS 등)를 이용하여 개인 행동에 대한 누적 데이터를 생성할 수 있다(S3115).
그리고 사용자 감정 상태를 판단하기 위한 생체 신호 센서를 이용하여 사용자 생체 신호에 대한 누적 데이터를 생성할 수 있다(S3120).
상술한 해당 및 생체 신호의 데이터가 누적되는 과정 중에 사용자의 스케줄을 확인하고(S3125), 사용자가 현재 컨퍼런스가 수행되는 회의실에 위치하는 것을 파악하고(S3125), 파악된 회의실이라는 위치와 앞서 누적된 개인 행동에 대한 데이터를 이용하여 상황 코드를 결정할 수 있다.
그리고 누적된 생체 신호를 기초로 집중 상태인지, 졸린 상태인지를 파악하고, 파악된 상태에 대응되는 감정 코드를 결정할 수 있다(S3130, S3135).
상황 코드 및 감정 코드가 결정되면, 두 코드를 이용하여 임시 컨텍스트 코드를 결정하고(S3140). 사용자가 기설정한 전송 여부 설정에 따라 생성된 컨텍스트 코드를 관리 서버(200)에 전송할 수 있다(S3145, S3150).
그리고 관리 서버(200)는 각 웨어러블 장치로부터 상술한 컨텍스트 코드 각각을 수신하고, 수신된 컨텍스트 코드에 따라 해당 회의실 환경 내의 사용자 환경 정보를 기초로 회의실 환경에 대한 환경 상태를 결정할 수 있다(S3155).
그리고 결정된 환경 상태에 대응되는 공용 기기의 상태를 결정하고. 결정된 공용 기기의 상태에 따라 공용 기기를 제어할 수 있다(S3160, S3165, S3170, S3175, S3180, S3181, S3183, S3185, S3187, S3189). 구체적인 공용기기의 제어 방식은 도 33을 참조하여 후술한다.
도 32는 도 31의 웨어러블 장치에서의 동작을 자세히 설명하기 위한 흐름도이다.
도 32를 참조하면, 회의 환경에 진입하게 되면(예를 들어, 회의실 진입을 위하여 사원증을 회의실에 태그), 웨어러블 장치(100) 내의 각 센서 및 구성들은 초기 설정 값을 갖게 된다(S3201, S3203). 이때, 웨어러블 장치는 새로운 환경이 진입됨을 인지하고, 사용자에게 해당 공간의 관리 서버(200)에 사용자 환경 정보를 전송할 것인지에 대한 확인을 받을 수 있다. 이와 같은 확인 사항에 기초하여 사용자 환경 정보에 대한 서버 제공 여부를 설정할 수 있다.
이후에 웨어러블 장치는 사용자 상황을 감지하기 위한 센서(위치센서, 가속도 센서, GPS 등)를 이용하여 개인 행동에 대한 누적 데이터를 생성할 수 있다(S3205).
그리고 사용자 감정 상태를 판단하기 위한 생체 신호 센서를 이용하여 사용자 생체 신호에 대한 누적 데이터를 생성할 수 있다(S3207).
상술한 해당 및 생체 신호의 데이터가 누적되는 과정 중에 사용자의 스케줄을 확인하고(S3211), 사용자가 현재 컨퍼런스가 수행되는 회의실에 위치하는 것을 파악하고(S3217), 파악된 회의실이라는 위치와 앞서 누적된 개인 행동에 대한 데이터를 이용하여 상황 코드를 결정할 수 있다(S3219, S3225)
그리고 누적된 생체 신호를 기초로 집중 상태인지, 졸린 상태인지를 파악하고, 파악된 상태에 대응되는 감정 코드를 결정할 수 있다(S3213, S3215, S3221, S3223, S3227).
상황 코드 및 감정 코드가 결정되면, 두 코드를 이용하여 컨텍스트 코드를 결정할 수 있다(S3229),
한편, 앞선 과정에서 사용자가 사용자 환경 정보를 전송하지 않은 것으로 결정하였다면(S3231-N), 생성된 최종 컨텍스트 코드는 전송되지 않는다. 그러나 사용자가 사용자 환경 정보를 전송하는 것으로 결정하였다면(S3231-Y), 생성된 컨텍스트 코드를 관리 서버(200)에 전송할 수 있다(S3233).
도 33은 도 31의 관리 서버에서의 동작을 자세히 설명하기 위한 흐름도이다.
도 33을 참조하면, 먼저, 관리 서버(200)가 관리 가능한 장치를 로딩한다(S3301). 그리고 관리 서버(200)가 제어 가능한 장치 중 회의실 공간 내의 공용 기기를 파악하고(S3305), 그 장치들의 목록을 읽을 수 있다(S3309)
그리고 각 웨어러블 장치로부터 사용자 환경 정보를 수신할 수 있다(S3303). 그리고 수신된 사용자 환경 정보 중 회의실 환경 내의 웨어러블 장치 내의 것들만 선별하고(S3307), 해당 환경 내의 사용자 환경 정보를 기초로 회의실 환경에 대한 환경 상태를 결정할 수 있다(S3311).
로딩된 기기제어 참조 테이블을 이용하여 결정된 환경 상태에 대응되는 공용 기기의 상태를 결정하고(S3313), 결정된 공용 기기의 상태에 따라 공용 기기를 제어할 수 있다(S3315, S3317, S3319, S3321). 예를 들어, 사용자들이 집중 상태이면, 냉난방기의 풍량을 줄이는 제어를 수행하거나(S3323), 사용자의 웨어러블 장치 또는 스마트폰이 무음 상태를 갖도록 제어할 수 있다(S3325). 반대로 사용자들이 졸린 상태라면, 스피커의 볼륨을 올리는 제어(S3327). 환기가 수행되도록 공조기를 제어하거나(S3329), 조명을 밝게 하는 제어를 수행할 수 있다(S3331)
그리고 관리 서버(200)는 해당 공용 기기로부터 동작 상태에 대한 피드백 받고(S3333), 목표로 하는 상태에 도달할 ?까지 해당 공용 기기를 제어할 수 있다(S3335).
이상에서는 본 개시의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 개시는 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 개시의 요지에 벗어남이 없이 당해 개시가 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 개시의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안 될 것이다.
300: 제어 시스템 100: 웨어러블 장치
110: 통신 인터페이스부 120: 디스플레이부
130: 조작 입력부 140: 환경 감지부
150: 생체 감지부 160: 분석부
170: 제어부 180: 저장부
200: 관리 서버 210: 통신 인터페이스부
220: 디스플레이부 230: 사용자 조작부
240: 저장부 250: 분석부
260: 제어부 10: 공용 기기

Claims (20)

  1. 복수의 웨어러블 장치 및 공용 기기와 연결 가능한 관리 서버에 있어서,
    기설정된 공간에 위치하는 복수의 웨어러블 장치 각각으로부터 사용자 환경 정보를 수신하는 통신 인터페이스부;
    상기 수신된 복수의 사용자 환경 정보를 기초로 상기 기설정된 공간의 환경 상태를 분석하고, 상기 분석된 환경 상태에 따라 상기 기설정된 공간 내의 공용 기기의 동작 상태를 결정하는 분석부; 및
    상기 결정된 동작 상태에 따라 상기 공용 기기가 동작하도록 상기 통신 인터페이스부를 제어하는 제어부;를 포함하는 관리 서버.
  2. 제1항에 있어서,
    상기 사용자 환경 정보는,
    사용자 감정 정보 및 사용자 상황 정보에 기초하여 결정되는 정보인 것을 특징으로 하는 관리 서버.
  3. 제1항에 있어서,
    상기 사용자 환경 정보는,
    웨어러블 장치에서 측정된 생체 신호 정보를 포함하고,
    상기 분석부는,
    복수의 웨어러블 장치 각각에서 수신된 생체 신호 정보를 기초로 각 사용자의 감정 상태를 추정하고, 상기 추정된 감정 상태를 기초로 상기 기설정된 공간의 환경 상태를 분석하는 것을 특징으로 하는 관리 서버.
  4. 제3항에 있어서,
    상기 분석부는,
    상기 생체 신호 정보에서, 유쾌(pleasantness) 정도, 각성(arousal) 정도를 추출하고, 추출된 유쾌 정도 및 각성 정도에 따라 기분류된 감정 상태 중 하나로 감정 상태를 결정하는 것을 특징으로 하는 관리 서버.
  5. 제3항에 있어서,
    상기 생체 신호 정보는,
    심전도(ECG), 심박변이도(HRV), 근전도(EMG), 피부전도(GSR), 산소포화도(Sp02) 및 피부 온도 중 적어도 하나를 포함하는 것을 특징으로 하는 서버.
  6. 제3항에 있어서,
    상기 사용자 환경 정보는,
    사용자 상황 정보를 더 포함하고,
    상기 분석부는,
    상기 추정된 감정 상태 및 상기 사용자 상황 정보에 기초하여 각 사용자의 환경 상태를 결정하고, 상기 결정된 각 사용자의 환경 상태를 기초로 상기 기설정된 공간의 환경 상태를 분석하는 것을 특징으로 하는 관리 서버.
  7. 제6항에 있어서,
    상기 사용자 상황 정보는,
    상기 사용자 위치 정보 및 상기 사용자 스케줄 정보 중 적어도 하나를 포함하는 것을 특징으로 하는 관리 서버.
  8. 제1항에 있어서,
    상기 공용 기기는,
    조명 기기, 공조 기기 및 스피커 중 적어도 하나이며,
    상기 제어부는,
    상기 조명 기기의 밝기, 상기 공조 기기의 온도, 상기 공조 기기의 바람 세기 및 상기 스피커의 볼륨 중 적어도 하나를 조절하는 것을 특징으로 하는 관리 서버.
  9. 제1항에 있어서,
    상기 공용 기기는,
    디스플레이 장치이며,
    상기 제어부는,
    상기 디스플레이 장치에 상기 결정된 동작 상태에 따른 메시지가 표시되도록 하는 것을 특징으로 하는 관리 서버.
  10. 관리 서버와 연결 가능한 웨어러블 장치에 있어서,
    상기 관리 서버와 데이터를 송수신하는 통신 인터페이스부;
    사용자의 생체 신호 정보를 수집하는 생체 감지부;
    상기 수집된 생체 신호 정보에 기초하여 사용자의 감정 상태를 결정하고, 상기 결정된 감정 상태에 기초하여 사용자 환경 정보를 생성하는 분석부; 및
    상기 생성된 사용자 환경 정보를 상기 관리 서버에 전송하도록 상기 통신 인터페이스부를 제어하는 제어부;를 포함하는 웨어러블 장치.
  11. 제10항에 있어서,
    상기 분석부는,
    상기 생체 신호 정보에서, 유쾌(pleasantness) 정도, 각성(arousal) 정도를 추출하고, 추출된 유쾌 정도 및 각성 정도에 따라 기분류된 감정 상태 중 하나로 감정 상태를 결정하는 것을 특징으로 하는 웨어러블 장치.
  12. 제11항에 있어서,
    사용자의 스케줄 정보를 저장하는 저장부; 및
    상기 웨어러블 장치의 위치를 파악하며, 상기 파악된 위치 및 상기 스케줄 정보를 기초로 사용자 상황 정보를 생성하는 환경 감지부;를 더 포함하고,
    상기 분석부는,
    상기 결정된 감정 상태 및 상기 생성된 사용자 상황 정보에 기초하여 사용자 환경 정보를 생성하는 것을 특징으로 하는 웨어러블 장치.
  13. 제10항에 있어서,
    사용자 환경 정보의 전송 명령을 입력받는 조작 입력부;를 더 포함하고,
    상기 제어부는,
    상기 전송 명령이 입력된 경우에만 상기 생성된 사용자 환경 정보를 상기 관리 서버에 전송하는 것을 특징으로 하는 웨어러블 장치.
  14. 제13항에 있어서,
    상기 웨어러블 장치의 위치 환경이 변화되면, 상기 전송 명령의 입력을 상기 웨어러블 장치의 사용자에게 요청하는 디스플레이부;를 더 포함하는 것을 특징으로 하는 웨어러블 장치.
  15. 제10항에 있어서,
    상기 통신 인터페이스부는,
    상기 웨어러블 장치의 동작 제어 명령을 수신하고,
    상기 제어부는,
    상기 수신된 동작 제어 명령에 따라 상기 웨어러블 장치를 제어하는 것을 특징으로 하는 웨어러블 장치.
  16. 제어 시스템에 있어서,
    기설정된 공간에 위치하는 공용 기기;
    사용자의 생체 신호 정보를 수집하고, 상기 수집된 생체 신호 정보에 기초하여 사용자 환경 정보를 생성하는 복수의 웨어러블 장치; 및
    상기 기설정된 공간에 위치하는 복수의 웨어러블 장치 각각으로부터 사용자 환경 정보를 수신하고, 상기 수신된 사용자 환경 정보에 기초하여 상기 기설정된 공간의 환경 상태를 분석하고, 상기 분석된 환경 상태에 따라 상기 공용 기기를 제어하는 관리 서버;를 포함하는 제어 시스템.
  17. 복수의 웨어러블 장치 및 공용 기기와 연결 가능 가능한 관리 서버의 제어 방법에 있어서,
    기설정된 공간에 위치하는 복수의 웨어러블 장치 각각으로부터 사용자 환경 정보를 수신하는 단계;
    상기 수신된 복수의 사용자 환경 정보를 기초로 상기 기설정된 공간의 환경 상태를 분석하는 단계;
    상기 분석된 환경 상태에 따라 상기 기설정된 공간 내의 공용 기기의 동작 상태를 결정하는 단계; 및
    상기 결정된 동작 상태에 따라 상기 공용 기기를 제어하는 단계;를 포함하는 제어 방법.
  18. 제17항에 있어서,
    상기 사용자 환경 정보는,
    사용자 감정 정보 및 사용자 상황 정보에 기초하여 결정되는 정보인 것을 특징으로 하는 제어 방법.
  19. 제17항에 있어서,
    상기 사용자 환경 정보는,
    웨어러블 장치에서 측정된 생체 신호 정보를 포함하고,
    상기 환경 상태를 분석하는 단계는,
    복수의 웨어러블 장치 각각에서 수신된 생체 신호 정보를 기초로 각 사용자의 감정 상태를 추정하고, 상기 추정된 감정 상태를 기초로 상기 기설정된 공간의 환경 상태를 분석하는 것을 특징으로 하는 제어 방법.
  20. 복수의 웨어러블 장치 및 공용 기기와 연결 가능 가능한 관리 서버의 제어 방법을 실행하기 위한 프로그램을 포함하는 컴퓨터 판독가능 기록매체에 있어서,
    상기 제어 방법은,
    기설정된 공간에 위치하는 복수의 웨어러블 장치 각각으로부터 사용자 환경 정보를 수신하는 단계;
    상기 수신된 복수의 사용자 환경 정보를 기초로 상기 기설정된 공간의 환경 상태를 분석하는 단계;
    상기 분석된 환경 상태에 따라 상기 기설정된 공간 내의 공용 기기의 동작 상태를 결정하는 단계; 및
    상기 결정된 동작 상태에 따라 상기 공용 기기를 제어하는 단계;를 포함하는 컴퓨터 판독가능 기록매체.
KR1020140187244A 2014-12-23 2014-12-23 웨어러블 장치, 관리 서버, 이들을 포함하는 제어 시스템 및 그의 제어 방법 KR102247518B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020140187244A KR102247518B1 (ko) 2014-12-23 2014-12-23 웨어러블 장치, 관리 서버, 이들을 포함하는 제어 시스템 및 그의 제어 방법
CN201580070990.9A CN107113545A (zh) 2014-12-23 2015-12-23 可穿戴装置、管理服务器、其管理系统及其控制方法
EP15873662.9A EP3238163A4 (en) 2014-12-23 2015-12-23 Wearable apparatus, management server, management system having the same, and method for controlling thereof
PCT/KR2015/014200 WO2016105135A1 (en) 2014-12-23 2015-12-23 Wearable apparatus, management server, management system having the same, and method for controlling thereof
US14/757,971 US10764733B2 (en) 2014-12-23 2015-12-23 Wearable apparatus, management server, management system having the same, and method for controlling thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140187244A KR102247518B1 (ko) 2014-12-23 2014-12-23 웨어러블 장치, 관리 서버, 이들을 포함하는 제어 시스템 및 그의 제어 방법

Publications (2)

Publication Number Publication Date
KR20160076770A true KR20160076770A (ko) 2016-07-01
KR102247518B1 KR102247518B1 (ko) 2021-05-03

Family

ID=56129267

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140187244A KR102247518B1 (ko) 2014-12-23 2014-12-23 웨어러블 장치, 관리 서버, 이들을 포함하는 제어 시스템 및 그의 제어 방법

Country Status (5)

Country Link
US (1) US10764733B2 (ko)
EP (1) EP3238163A4 (ko)
KR (1) KR102247518B1 (ko)
CN (1) CN107113545A (ko)
WO (1) WO2016105135A1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180066321A (ko) * 2016-12-07 2018-06-19 한국생산기술연구원 웨어러블 장치를 이용한 사용자 움직임에 따른 정보 제공 장치, 방법 및 전자장치
KR20180066322A (ko) * 2016-12-07 2018-06-19 한국생산기술연구원 웨어러블 장치를 이용한 테마파크의 운영 장치, 방법 및 시스템
KR20190121639A (ko) * 2018-04-18 2019-10-28 엘지전자 주식회사 공기조화기 및 이를 포함하는 공기조화시스템
JP2021146050A (ja) * 2020-03-23 2021-09-27 株式会社エヌ・ティ・ティ・データ 情報処理装置及び集中力向上システム
KR102534019B1 (ko) * 2022-11-29 2023-05-18 예주산업(주) 모바일 인스턴트 메신저를 활용한 공동주택 스마트 리빙 제어시스템

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016072116A1 (ja) * 2014-11-07 2016-05-12 ソニー株式会社 制御システム、制御方法、および記憶媒体
CN105243799B (zh) * 2015-09-30 2018-07-27 小米科技有限责任公司 安全提醒处理方法和装置
KR20180102870A (ko) * 2017-03-08 2018-09-18 엘지전자 주식회사 전자 장치 및 그 전자 장치의 제어 방법
US10969133B2 (en) * 2017-05-31 2021-04-06 PassiveLogic, Inc. Methodology of occupant comfort management in buildings using occupant comfort models and user interfaces thereof
US10705492B2 (en) * 2017-06-12 2020-07-07 PassiveLogic, Inc. Heuristic method of automated and learning control, and building automation systems thereof
US10708078B2 (en) 2017-06-13 2020-07-07 PassiveLogic, Inc. Automatic control method of generating sub-systems and sub-system arbitration from the deconstruction of a complex equipment graph
CN107703893A (zh) * 2017-09-18 2018-02-16 广东美的制冷设备有限公司 基于日程的家电控制方法、装置和计算机可读存储介质
US10845975B2 (en) * 2018-03-29 2020-11-24 Universal City Studios Llc Interactive animated character head systems and methods
US10958466B2 (en) * 2018-05-03 2021-03-23 Plantronics, Inc. Environmental control systems utilizing user monitoring
CA3099659A1 (en) * 2018-05-07 2019-11-14 Strong Force Iot Portfolio 2016, Llc Methods and systems for data collection, learning, and streaming of machine signals for analytics and maintenance using the industrial internet of things
CN112204924A (zh) * 2018-06-07 2021-01-08 三菱电机株式会社 设备控制系统
WO2020179186A1 (ja) * 2019-03-01 2020-09-10 パナソニックＩｐマネジメント株式会社 眠気予測装置、移動体、及び眠気予測方法
US11438452B1 (en) * 2019-08-09 2022-09-06 Apple Inc. Propagating context information in a privacy preserving manner
CN113819614B (zh) * 2021-09-13 2023-07-18 青岛海尔空调器有限总公司 用于控制空调的方法、装置及空调
WO2023113425A1 (ko) * 2021-12-14 2023-06-22 삼성전자 주식회사 전자 장치 및 이의 동작 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005208788A (ja) * 2004-01-21 2005-08-04 Fuji Xerox Co Ltd 場所サービス制御システム
KR20100098920A (ko) * 2009-03-02 2010-09-10 엘지전자 주식회사 이동 단말기 및 이를 이용한 스케쥴 관리 방법 및 위치 정보 관리 방법
US20100250554A1 (en) * 2009-03-31 2010-09-30 International Business Machines Corporation Adding and processing tags with emotion data

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6466232B1 (en) 1998-12-18 2002-10-15 Tangis Corporation Method and system for controlling presentation of information to a user based on the user's condition
US7020508B2 (en) * 2002-08-22 2006-03-28 Bodymedia, Inc. Apparatus for detecting human physiological and contextual information
JP2007135008A (ja) * 2005-11-10 2007-05-31 Sony Ericsson Mobilecommunications Japan Inc 携帯端末装置
US20130197678A1 (en) * 2010-05-21 2013-08-01 Hitachi, Ltd. Information processing system, server, and information processing method
US20140156084A1 (en) * 2011-06-10 2014-06-05 Aliphcom Data-capable band management in an integrated application and network communication data environment
US8856061B2 (en) * 2011-10-27 2014-10-07 International Business Machines Corporation User experience adjustment in controllable events
CN103656815B (zh) * 2012-09-18 2018-10-02 蒋准飞 便携式的空调及空气净化器一体化机
US20140107531A1 (en) 2012-10-12 2014-04-17 At&T Intellectual Property I, Lp Inference of mental state using sensory data obtained from wearable sensors
US9024530B2 (en) 2012-11-13 2015-05-05 Apple Inc. Synchronized ambient light sensor and display
US9465392B2 (en) * 2012-11-14 2016-10-11 International Business Machines Corporation Dynamic temperature control for a room containing a group of people
KR102043200B1 (ko) * 2013-05-07 2019-11-11 엘지전자 주식회사 스마트 워치 및 제어 방법
WO2015127119A2 (en) * 2014-02-24 2015-08-27 Sony Corporation Body position optimization and bio-signal feedback for smart wearable devices
CN105917626B (zh) * 2014-03-12 2019-03-29 腾讯科技（深圳）有限公司 通过社交网络平台控制外围设备的方法和装置
CN104077495B (zh) * 2014-07-17 2017-10-17 杜晓松 一种可穿戴无线人体特征信息采集及传输模块、监控系统
US9428034B2 (en) * 2014-07-21 2016-08-30 Ford Global Technologies, Llc Integrated vehicle cabin with driver or passengers' prior conditions and activities

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005208788A (ja) * 2004-01-21 2005-08-04 Fuji Xerox Co Ltd 場所サービス制御システム
KR20100098920A (ko) * 2009-03-02 2010-09-10 엘지전자 주식회사 이동 단말기 및 이를 이용한 스케쥴 관리 방법 및 위치 정보 관리 방법
US20100250554A1 (en) * 2009-03-31 2010-09-30 International Business Machines Corporation Adding and processing tags with emotion data

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180066321A (ko) * 2016-12-07 2018-06-19 한국생산기술연구원 웨어러블 장치를 이용한 사용자 움직임에 따른 정보 제공 장치, 방법 및 전자장치
KR20180066322A (ko) * 2016-12-07 2018-06-19 한국생산기술연구원 웨어러블 장치를 이용한 테마파크의 운영 장치, 방법 및 시스템
KR20190121639A (ko) * 2018-04-18 2019-10-28 엘지전자 주식회사 공기조화기 및 이를 포함하는 공기조화시스템
JP2021146050A (ja) * 2020-03-23 2021-09-27 株式会社エヌ・ティ・ティ・データ 情報処理装置及び集中力向上システム
KR102534019B1 (ko) * 2022-11-29 2023-05-18 예주산업(주) 모바일 인스턴트 메신저를 활용한 공동주택 스마트 리빙 제어시스템

Also Published As

Publication number Publication date
EP3238163A4 (en) 2017-12-27
WO2016105135A1 (en) 2016-06-30
US20160179075A1 (en) 2016-06-23
KR102247518B1 (ko) 2021-05-03
CN107113545A (zh) 2017-08-29
US10764733B2 (en) 2020-09-01
EP3238163A1 (en) 2017-11-01

Similar Documents

Publication Publication Date Title
KR102247518B1 (ko) 웨어러블 장치, 관리 서버, 이들을 포함하는 제어 시스템 및 그의 제어 방법
US20210005224A1 (en) System and Method for Determining a State of a User
CN107791893B (zh) 车辆座椅
US20190057615A1 (en) Methods and systems for monitoring and treating individuals with sensory processing conditions
CN103561652B (zh) 用于辅助患者的方法和系统
US10620593B2 (en) Electronic device and control method thereof
KR20140080727A (ko) 운전자 감성제어 장치 및 그 방법
CN116389554A (zh) 用于提高用户在体育活动中的表现的系统及其方法
US20220280085A1 (en) System and Method for Patient Monitoring
Khullar et al. IoT based assistive companion for hypersensitive individuals (ACHI) with autism spectrum disorder
CA3228053A1 (en) Multi-sensory, assistive wearable technology, and method of providing sensory relief using same
US10102769B2 (en) Device, system and method for providing feedback to a user relating to a behavior of the user
CN112433600A (zh) 信息处理装置、存储介质及信息处理方法
KR102426090B1 (ko) 아이 트래킹을 이용한 공포 및 인지 장애 질환 치료의 평가 시스템 및 방법
CN114586108A (zh) Hvac性能监测方法
US20200298865A1 (en) Vehicle Environmental Controlling
KR102520287B1 (ko) 메타버스를 이용한 아동 돌봄 서비스 시스템 및 제어 방법
JP2020091720A (ja) 健康被害警告方法、健康被害警告システム及びプログラム
KR102563695B1 (ko) 개인의 냉온감 정도를 추정하는 장치 및 방법
US20230012769A1 (en) Interactive system and associated interaction method
KR20220094175A (ko) 피로도 모니터링 시스템 및 방법
EP4193910A1 (en) Method and system for assessment and predicting sleepiness during osa screening using consumer devices
US20230011113A1 (en) Interactive system and associated interaction method
KR102331335B1 (ko) 취약자 돌봄 로봇 및 그 제어 방법
KR20180028335A (ko) 사용자 피로도 통합 관리 장치 및 방법

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant