KR20150082079A - 웨어러블 기기를 이용한 홈 디바이스 제어 장치 및 제어 방법 - Google Patents

웨어러블 기기를 이용한 홈 디바이스 제어 장치 및 제어 방법 Download PDF

Info

Publication number
KR20150082079A
KR20150082079A KR1020140151603A KR20140151603A KR20150082079A KR 20150082079 A KR20150082079 A KR 20150082079A KR 1020140151603 A KR1020140151603 A KR 1020140151603A KR 20140151603 A KR20140151603 A KR 20140151603A KR 20150082079 A KR20150082079 A KR 20150082079A
Authority
KR
South Korea
Prior art keywords
control signal
home device
home
observed
value
Prior art date
Application number
KR1020140151603A
Other languages
English (en)
Other versions
KR102277752B1 (ko
Inventor
구본현
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to EP15733100.0A priority Critical patent/EP3094045B1/en
Priority to US15/109,357 priority patent/US10019068B2/en
Priority to PCT/KR2015/000101 priority patent/WO2015102467A1/ko
Priority to CN201580003834.0A priority patent/CN105900376B/zh
Publication of KR20150082079A publication Critical patent/KR20150082079A/ko
Application granted granted Critical
Publication of KR102277752B1 publication Critical patent/KR102277752B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G10L17/22—Interactive procedures; Man-machine interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L12/2816—Controlling appliance services of a home automation network by calling their functionalities
    • H04L12/282—Controlling appliance services of a home automation network by calling their functionalities based on user interaction within the home
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L2012/2847—Home automation networks characterised by the type of home appliance used
    • H04L2012/285—Generic home appliances, e.g. refrigerators

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Automation & Control Theory (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Selective Calling Equipment (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephonic Communication Services (AREA)

Abstract

본 발명은 홈 디바이스 제어의 방법을 제안한다. 보다 구체적으로, 본 발명은 사용자 인터페이스를 활용하는 방법, 음성을 활용하는 방법, 웨어러블 기기를 활용한 손목 스냅과 같은 제스쳐를 활용하는 방법을 제안한다.

Description

웨어러블 기기를 이용한 홈 디바이스 제어 장치 및 제어 방법{APPARATUS AND METHOD FOR CONTROLLING HOME DEVICE USING WEARABLE DEVICE}
본 발명은 웨어러블 기기를 이용한 홈 디바이스 제어 장치 및 제어 방법에 관한 것이다.
홈 네트워크 시스템은 댁 내에 설치된 홈 디바이스(device)들을 유선 또는 무선 네트워크로 연결함으로써, 홈 디바이스들 간의 통신을 가능하도록 하는 시스템을 의미한다. 발전된 홈 네트워크 시스템은 홈 디바이스들을 홈 게이트웨이(Home Gateway: HGW 혹은 H-GW)를 통해 통합하여 외부의 공용 데이터 네트워크, 일 예로 인터넷 프로토콜(Internet Protocol: IP) 네트워크(즉, 인터넷)로 연결함으로써 인터넷과 연계된 보다 다양한 서비스를 제공한다. 이러한 홈 네트워크 시스템에서는 사용자의 요구에 따라 홈 디바이스들을 제어하여 사용자가 원하는 다양한 서비스를 제공할 수 있다.
무선 환경에서 스마트폰과 같은 단말을 활용한 레거시(Legacy) 가전 기기(예컨대, 홈 디바이스)에 대한 제어 기술은 존재하나, 단말에 대한 사용자의 입력이 필수적으로 요구된다.
따라서, 단말을 제외한 다른 기기를 이용하여 홈 디바이스를 제어할 수 있는 기술이 요구된다.
본 발명은 웨어러블(Wearable) 장치를 이용한 홈 디바이스 제어 장치 및 제어 방법을 제공한다.
본 발명은 웨어러블 기기를 이용하여 사용자의 음성 및 터치를 통한 홈 디바이스 제어 장치 및 제어 방법을 제공한다.
본 발명은 웨어러블 기기를 이용하여 댁 내부와 외부에서 홈 디바이스 제어 장치 및 제어 방법을 제공한다.
본 발명의 실시 예에 따른 단말은, 사용자 신체에 착용 가능한 웨어러블 기기를 이용하여 홈 디바이스를 제어하는 단말에 있어서, 상기 웨어러블 기기로부터 움직임에 따라 생성된 제어 신호를 수신하는 수신부; 상기 제어 신호를 기반으로 가속도 센서값을 결정하고, 상기 가속도 센서값으로 확률값을 결정하고, 상기 확률값과 임계값을 비교하고, 비교 결과에 따라서 제어 명령 수행 여부를 결정하는 제어부를 포함한다.
본 발명의 실시 예에 따른 단말 제어 방법은, 단말에서 사용자 신체에 착용 가능한 웨어러블 기기를 이용하여 홈 디바이스를 제어하는 방법에 있어서, 상기 웨어러블 기기로부터 움직임에 따라 생성된 제어 신호를 수신하는 과정; 상기 제어 신호를 기반으로 가속도 센서값을 결정하는 과정; 상기 가속도 센서값으로 확률값을 결정하는 과정; 및 상기 확률값과 임계값을 비교하고, 비교 결과에 따라서 제어 명령 수행 여부를 결정하는 과정을 포함한다.
본 발명의 실시 예에 따른 웨어러블 기기는 사용자 신체에 착용 가능한 웨어러블 기기에 있어서, 상기 웨어러블 기기의 움직임을 인식하는 움직임 감지 센서; 및 상기 움직임 감지 센서에 의해 감지된 움직임에 따라 제어 신호를 생성하고, 상기 제어 신호를 홈 디바이스로 전송하여 상기 홈 디바이스를 제어하는 제어부를 포함한다.
본 발명의 실시 예에 따른 웨어러블 기기 제어 방법은 사용자 신체에 착용 가능한 웨어러블 기기에서 홈 디바이스 제어 방법에 있어서, 상기 웨어러블 기기의 움직임을 인식하는 과정; 상기 움직임에 따라 제어 신호를 생성하는 과정; 및 상기 제어 신호를 홈 디바이스로 전송하는 과정을 포함한다.
본 발명은 웨어러블 기기를 이용하여 홈 디바이스를 제어 할 수 있다.
본 발명은 웨어러블 기기의 음성 입력을 통해 홈 디바이스를 제어 할 수 있다.
본 발명은 웨어러블 기기를 통한 댁내 및 댁외 홈 디바이스의 제어가 가능하다.
본 발명은 웨어러블 기기의 사용자 터치 인터페이스를 통한 댁내 및 댁외 홈 디바이스의 제어가 가능하다.
본 발명은 스냅을 인식한 웨어러블 기기를 통한 댁내 및 댁외 홈 디바이스의 제어가 가능하다.
도 1은 본 발명의 실시 예에 따른 홈 디바이스 제어를 위한 시스템의 간략화된 구조도;
도 2는 본 발명의 실시 예에 따른 홈 디바이스 제어를 위한 시스템의 구체화된 구조도;
도 3은 본 발명의 실시 예에 따라 웨어러블 기기에서의 홈 디바이스 제어를 위한 사용자 인터페이스;
도 4는 본 발명의 제2 실시 예에 따른 웨어러블 기기에서의 홈 디바이스 제어 방법을 나타낸 흐름도;
도 5는 본 발명의 제1 실시 예에 따른 모드 기반 사용자 터치 인터페이스 방식의 동작 절차를 도시한 흐름도;
도 6은 본 발명의 실시 예에 따른 CSRequestGetDeviceStatusList 메시지 포맷;
도 7은 CSRequestPowerControl 메시지 포맷;
도 8은 본 발명의 실시 예에 따른 ParserCSResponseGetDeviceStatusList 메시지 포맷;
도 9는 본 발명의 실시 예에 따른 ParserCSNotificationMotionEventDetected 메시지 포맷;
도 10은 본 발명의 실시 예에 따른 CSRequestPowerControl-IP Cam Power on 메시지 포맷;
도 11은 본 발명의 제3 실시 예에 따른 제스쳐 인식 기반의 홈 디바이스 제어 방법을 나타낸 시나리오;
도 12는 본 발명의 실시 예에 따른 시스템 구조도;
도 13은 가속도 및 자이로 센서의 X, Y, Z 축 센서의 변화값을 나타내는 도면;
도 14는 본 발명의 실시 예에 따른 이상 값 계산 방법을 도시한 도면;
도 15는 본 발명의 실시 예에 따른 이상 값 테이블 계산 방법을 도시한 도면;
도 16은 본 발명의 실시 예에 따라 베이지언 방식의 확률값 계산 알고리즘을 통해, 제스쳐 패턴의 일치 여부 및 제어 커맨드의 전송 여부를 처리하는 전체 과정을 도시한 흐름도.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시 예들을 상세히 설명한다. 이때 첨부된 도면에서 동일한 구성 요소는 가능한 동일한 부호로 나타내고 있음에 유의하여야 한다. 또한 본 발명의 요지를 흐리게 할 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략할 것이다.
또한 이하에서 설명되는 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념으로 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다.
이하에서 기재될 홈 디바이스는 디바이스와 혼용하여 기재할 수 있다.
도 1은 본 발명의 실시 예에 따른 홈 디바이스 제어를 위한 시스템의 간략화된 구조도를 도시한 것이다.
도 1을 참조하면, 홈 디바이스 제어를 위한 시스템은 단말(100), 손목 시계형 웨어러블(Wearable) 기기(이하, "웨어러블 기기)(110), 댁내(120)의 레거시(Legacy) 가전 기기(예컨대, 홈 디바이스)(124), 댁내(120)의 홈 게이트웨이(122), 인증 서버/기기 관리 서버 및 원격 라우팅 관리 서버(이하 "서버"이라 칭함)(130) 등을 포함한다. 홈 디바이스들(124)은 집 안(혹은 외부)에 위치하며 스마트 가전기기(Smart Appliance), 보안기기, 조명기구(Lighting devices), 에너지기기(Energy devices) 등을 포함한다.
일 예로 스마트 가전기기는 스마트 TV, 인터넷 TV, 일반 TV, 냉장고, 세탁기, 로봇청소기 등이 될 수 있다. 일 예로, 보안기기는 도어락, 보안 카메라, 보안 센서 등이 될 수 있고, 조명기구는 LED(Light Emitting Diode) 조명기구 등이 될 수 있고, 에너지기기는 전력측정기, 전력 소켓, 전기 콘센트, 멀티탭 등이 될 수 있다. 추가적으로 홈 디바이스들은 일 예로, 개인 컴퓨터(Personal Computer: PC), IP 카메라, 인터넷 전화, 유/무선 전화, 가정 내의 이동 전화 등이 될 수 있다.
홈 디바이스들(124)은 유선 혹은 무선 통신 방식에 따라 홈 게이트웨이(124)와 통신 가능하며, 홈 게이트웨이(124)로부터 제어 명령을 수신하고, 상기 제어 명령에 해당하는 요구된 정보를 홈 게이트웨이(124)에게 전송 가능하도록 구성될 수 있다. 홈 게이트웨이(124)는 홈 디바이스들(124)과 유선 혹은 무선 통신 방식에 따라 통신하기 위한 해당 통신 모듈들을 구비한다. 또한 홈 게이트웨이(120)는 홈 디바이스들(124)의 정보를 등록하여 백업하고, 홈 디바이스들(124)의 동작 및 상태를 제어하고, 홈 디바이스들(124)로부터 필요한 정보를 수집하여 관리할 수 있다. 특히, 홈 게이트웨이(124)는 인터넷과 같은 데이터 네트워크, 즉, IP 네트워크와 연결되어, 인터넷을 통해 다른 단말에 의한 접속을 허용하며, 단말로부터 수신되는 제어 신호를 해당하는 홈 디바이스에게 전달할 수 있다.
이상과 같이 구성되는 홈 네트워크 시스템에서는 인터넷을 통한 인터넷 TV(IPTV), 스마트 TV, 주문형 비디오(Video on Demand: VoD) 등과 같은 홈 엔터테인먼트 서비스, 데이터 공유, 인터넷 전화(Voice over IP: VoIP) 및 영상전화와 같은 홈 데이터 통신 서비스, 가전 기기의 원격제어, 원격 검침, 방범, 방재와 같은 홈 오토메이션 서비스를 제공할 수 있다. 즉, 홈 네트워크 시스템은 가정 내부/외부에서 사용되는 모든 형태의 홈 디바이스들을 하나의 네트워크로 연결하여 통제한다.
한편, 사용자는 외부에서 이동 단말과 같은 무선통신 장비를 이용하여, 홈 네트워크 시스템 내에 구비된 홈 게이트웨이 및 홈 게이트웨이를 통해 각 홈 디바이스에 원격으로 접속할 수 있다. 이동 단말은 일 예로써 통신 기능을 구비하는 개인 정보 단말기(Personal Digital Assistant: PDA), 스마트 폰(Smart Phone), 휴대폰, 태블릿(tablet) 컴퓨터, 노트북 등이 될 수 있으며, 사업자 네트워크와 인터넷을 통해 홈 네트워크 시스템에 접근할 수 있다.
본 발명의 실시 예에 따른 웨어러블 기기(110)는 사용자가 착용할 수 있는 기기를 의미하고, 1개 또는 2개가 필요하다. 웨어러블 기기(110)는 예컨대, 손목 시계 타입의 phone, 손목시계 형태의 기기, 또는 건강팔찌 등을 의미하지만, 이에 한정되지 않고 다양하게 구현될 수 있다. 웨어러블 기기(110)는 예컨대, 삼성전자의 갤럭시 기어(Galaxy Gear) 및 핏(fit) 등을 포함한다.
홈 디바이스와 게이트웨이 사이에는 홈 자동 프로파일(Home Automation Profile)을 기반으로 한 de facto ZigBee가 채택될 수 있다. 웨어러블 기기(110)와 단말(100) 사이에는 Bluetooth (BLE) 기반의 프로토콜(예컨대, 삼성 액세서리 프로토콜(Samsung Accessary Protocol))을 이용하여 연결된다. 단말(100)은 서버(130)와 연결되며, 이를 통해 댁 내(120)의 홈 게이트웨이(122)를 통하거나, 혹은 홈 디바이스들(124)에 대해 직접 제어가 가능하게 된다.
웨어러블 기기(110)는 사용자의 움직임(motion)(예컨대, "스냅(snap)")을 감지하고, 감지된 snap에 따라 제어 신호를 생성한다. 제어 신호는 웨어러블 기기(110)와 단말(100)을 통한 홈 디바이스의 제어 또는 웨어러블 기기(110)와 홈 디바이스의 직접 제어하기 위한 신호를 의미한다. 웨어러블 디바이스(100)와 단말간의 통신 방식에 따라 제어 신호는 다양한 형태로 생성될 수 있다. 웨어러블 디바이스(100)와 단말간의 통신 방식은 예컨대, 지그비, 와이파이(Wi-fi), 블루투스, NFC(Near-Field Communication), 2G(Generation) 혹은 3G 셀룰러 통신 시스템, 3GPP(3rd Generation Partnership Project), LTE(Long Term Evoloution), WiMAX(World Interoperability for Microwave Access) 등이 될 수 있다.
홈 디바이스들(124)은 유선 혹은 무선 통신 방식에 의해 홈 게이트웨이(122)에 접속된다. 홈 게이트웨이(122)는 인터넷과 같은 유선 네트워크에 접속할 수 있다. 한편 등록된 단말(100)은 무선 액세스 네트워크 및 사업자 코어 네트워크를 포함하는 무선 네트워크에 접속할 수 있으며, 유선 네트워크를 통해 홈 게이트웨이(122)에 접근할 수 있다. 무선 네트워크는 2G(Generation) 혹은 3G 셀룰러 통신 시스템, 3GPP(3rd Generation Partnership Project), 4G 통신 시스템, LTE(Long-Term Evolution), WiMAX(World Interoperability for Microwave Access) 등이 될 수 있다.
도 1에서는 단말(100)이 서버(130)를 통해 홈 게이트웨이(122)에 접근할 수 있다. 서버(130)는 홈 게이트웨이(122)에게 인증 번호를 제공하며, 홈 게이트웨이의 제조사 고유 번호 등을 저장한다. 또한 서버(130)는 단말의 인증 번호와 홈 게이트웨이의 인증번호가 일치할 경우에 통신할 수 있도록 관리한다.
도 2는 본 발명의 실시 예에 따른 홈 디바이스 제어를 위한 시스템의 구체화된 구조도를 도시한 것이다.
홈 디바이스 제어를 위한 시스템은 댁내 게이트웨이 역할을 수행하는 홈 게이트웨이(HomeSync)(122)와 손목 시계 기기와 게이트웨이 사이의 Delegator 역할을 수행하는 단말(100), 손목 시계형 기기의 구조를 가진 웨어러블 기기(122)를 포함한다.
홈 디바이스는 댁 내(혹은 댁 외)에 최초 설치 시에 홈 네크워크 시스템, 일례로 단말(100)과 연결하는 사전 절차를 수행하며, 이때, 단말(100)는 신규 구매된 홈 디바이스에 대한 디바이스 정보와 피어 아이디(peer ID), 피어 그룹 식별자(peerGroup ID) 및 국가 코드(countryCode) 등에 대한 사용자 정보를 획득하여 저장한다.
상기 홈 디바이스에 대한 기기 정보(디바이스 정보)는 일례로 홈 디바이스의 고유 ID인 고유 사용자 식별자(UUID: unique user identifier)와 그 밖에 타입(type), 이름(name), 디스크립션(description), 제조사(manufacturer), 모델 ID, 시리얼 번호(serialNumber), 판매 지역(salesLocation), 버전(versions) 등을 포함한다. 또한 peerGroup ID는 특정한 사용자 계정을 이용해서 서비스 서버에 등록한 홈 디바이스들의 그룹을 지시하고, countryCode는 단말(100)의 사용자가 위치하는 국가 정보를 지시한다.
단말(100)은 사용자가 홈 디바이스의 상태를 확인하거나 상기 홈 디바이스를 제어하는 목적으로 사용되는 기기이며, 일례로 스마트 폰 등의 이동 단말이나 테블릿 PC 등이 될 수 있다.
홈 디바이스(150)는 댁 내(혹은 댁 외)에 위치하며 제어 기기(160)를 통해 제어가 가능한 기기이며, 홈 디바이스(Smart Appliance), 보안기기(security devices), 조명기구(Lighting devices), 에너지기기(Energy devices) 등을 포함한다. 일례로 홈 디바이스는 TV, 에어컨, 냉장고, 세탁기, 로봇청소기, 가습기 등이 될 수 있으며, 보안기기는 도어락, 보안 카메라, CCTV(Closed Circuit Television), 보안 센서 등이 될 수 있고, 조명기구는 LED(Light Emitting Diode), 램프 등이 될 수 있고, 에너지기기는 난방기기, 전력측정기, 전력 소켓, 전기 콘센트, 멀티탭 등이 될 수 있다. 추가적으로 홈 디바이스(150)는 개인 컴퓨터(PC: Personal Computer), IP 카메라, 인터넷 전화, 유/무선 전화, 전기적으로 제어 가능한 커튼, 블라인드 등을 포함할 수 있다.
사용자는 단말(100)에서 실행되는 어플리케이션(Application), 일례로 스마트 홈 앱(Smart Home App) 등을 이용해 서비스 서버에 접속하여 홈 디바이스 정보를 등록하거나 기 등록된 홈 디바이스 정보를 회람 또는 삭제할 수 있으며, 홈 디바이스들의 일괄 제어를 위한 제어 정보를 등록하거나 기 등록된 제어 정보를 회람 또는 삭제할 수 있다.
도 3은 본 발명의 실시 예에 따라 웨어러블 기기에서의 홈 디바이스 제어를 위한 사용자 인터페이스를 나타낸다.
웨어러블 기기(110)의 초기 진입화면에는 도 3과 같이, 제어 가능한 홈 디바이스 리스트가 로딩된다. 도 3의 홈 디바이스 리스트는 예컨대, LED On/Off 제어(310), 도어락 On/Off 제어(320), 플러그 On/Off 제어(330), 온도 제어(340) 등을 포함한다.
홈 디바이스 제어를 위한 사용자 인터페이스를 통해 각 홈 디비이스의 On/Off 등의 상태 확인이 가능하다. 또한, 홈 디바이스 제어를 위한 사용자 인터페이스에 해당 기기를 터치하게 되면, On/Off의 상태가 토글(toggle)된다. 또한 세부 제어가 필요한 서모스탯(Thermostat)의 경우와 같이, 사용자가 해당 기기를 선택하는 경우에는 해당 기기의 세부 제어 사용자 인터페이스를 로드하여 온도 설정 등의 제어가 가능하다.
본 발명의 제1 실시 예에서는 도 3의 (A)와 같이 모드(Mode) 기반 사용자 터치 인터페이스 방식을 지원한다. 본 발명의 실시 예로 "귀가 모드(Comming Home Mode)"을 선택하는 경우, 웨어러블 기기(110)는 현재 연결된(제어 가능한) 홈 디바이스들에 대해 모두 또는 일부 "ON" 상태로 제어할 수 있다. 또한 본 발명의 실시 예로 외출 모드(Away Mode 또는 Going Out Mode)를 선택하는 경우, 웨어러블 기기(110)는 홈 디바이스들을 모두 또는 일부 "OFF" 상태로 제어할 수 있다.
본 발명의 제2 실시 예에서는 해당 Mode 실행에 대해 도 3의 (B)와 같이 사용자의 음성 입력을 받아 이를 실행할 수 있으며, 해당 Mode에 대한 실행 결과는 상기 사용자 터치 인터페이스 방식과 동일하다.
도 4는 본 발명의 제2 실시 예에 따른 웨어러블 기기에서의 홈 디바이스 제어 방법을 나타낸 흐름도이다.
웨어러블 기기(110)는 401 단계에서 사용자 음성을 수신한다. 웨어러블 기기(110)는 403 단계에서 수신된 사용자 음성을 스트리밍 데이터(Straming data)로 변환하고, 변환된 스트리밍 데이터를 단말(100)로 전송한다. 단말(100)은 405 단계에서 음성 인식 분석 서버(140)으로 스트리밍 데이터의 분석 요청 메시지를 전송한다. 음성 인식 분석 서버(140)는 스트리밍 데이터를 분석/해석하고, 스트리밍 데이터에 대한 분석 결과를 407 단계에서 단말(100)로 전송한다. 단말(100)은 409 단계에서 분석 결과에 해당하는 제어 명령 메시지를 생성한다. 예를 들어, 분석 결과가, 귀가 모드이면, 단말(100)은 귀가 모드를 포함하는 제어 명령 메시지를 생성한다. 예를 들어, 분석 결과가, 외출 모드이면, 단말(100)은 외출 모드를 포함하는 제어 명령 메시지를 생성한다.
단말(100)은 411 단계에서 생성된 제어 명령 메시지를 서버(130)로 전송한다. 서버(130)은 상기 제어 명령 메시지를 수신하면, 인증 절차를 수행한 후, 413 단계에서 상기 제어 명령 메시지를 홈 게이트웨이를 통해 홈 디비이스로 전송한다. 그러면, 홈 디바이스는 제어 명령 메시지에 따라서 ON/OFF를 실행한다.
도 5는 본 발명의 제1 실시 예에 따른 모드 기반 사용자 터치 인터페이스 방식의 동작 절차를 도시한 흐름도이다.
웨어러블 기기는 501 단계에서 단말로 CSRequestGetDeviceStatusList 메시지를 전송한다. 도 6은 본 발명의 실시 예에 따른 CSRequestGetDeviceStatusList 메시지 포맷을 나타낸다.
CSRequestGetDeviceStatusList 메시지는 기기 리스트 응답 요청 메시지로, 웨어러블 기기에 단말로 전송되는 메시지이다. 예컨대, 기기 리스트 응답 요청 메시지는 LED, 도어락, 스마트 플러그, 서모스탯 등의 홈 디바이스 아이디가 포함되며, 사용자 인터페이스에 LED, 도어락, 스마트 플러그, 서모스탯 등의 홈 디바이스 아이디가 디스플레이된다.
단말은 503 단계에서 ParserCSResponseGetDeviceStatusList 메시지를 웨어러블 기기로 전송한다. CSRequestGetDeviceStatusList 메시지와 ParserCSResponseGetDeviceStatusList 메시지는 모바일 기기로부터 제어 가능한 기기 리스트 요청 및 응답 메시지에 해당한다.
웨어러블 기기는 505 단계에서 CSRequestPowerControl 메시지를 단말로 전송한다. 도 7은 CSRequestPowerControl 메시지 포맷을 나타낸다.
CSRequestPowerControl 메시지는 홈 디바이스를 개별적으로 제어할 수 있도록 Power On/Off와 서모스탯 설정이 포함된다.
먼저, Power On/Off는 제어할 홈 디바이스의 아이디와 전력 상태를 전달한다. 사용자 인터페이스에 도 7에 나타낸 바와 같이, 제어할 홈 디바이스의 아이디와 전력 상태가 디스플레이된다.
서모스탯 설정은 제어할 홈 디바이스의 아이디와 전력 상태를 전달할 뿐만 아니라, 세부적인 전력 제어가 필요하기 때문에 디바이스 전력 상태를 "세부적인 전력 제어"으로 설정한다. 도 7에 나타낸 바와 같이, 사용자 인터페이스에 제어할 홈 디바이스의 아이디와 전력 상태 뿐만 아니라, 디바이스 전력 상태가 "세부적인 전력 제어(예컨대, 76도로 제어)"으로 설정되어 있는 것이 디스플레이된다.
단말은 507 단계에서 ParserCSResponseGetDeviceStatusList 메시지를 웨어러블 기기로 전송한다. 도 8은 본 발명의 실시 예에 따른 ParserCSResponseGetDeviceStatusList 메시지 포맷을 나타낸다.
ParserCSResponseGetDeviceStatusList 메시지는 CSRequestGetDeviceStatusList 메시지 또는 CSRequestPowerControl 메시지를 실행한 후, 연결되어 있는 홈 디바이스의 상태를 웨어러블 기기로 알려 준다.
예컨대, CMD_ID=CMD_VALUE_SEND_DEVICE_STATUS가 3일 경우, 도 8에 도시된 바와 같이, LED가 전력 오프 상태이고, 도어락이 전력 오프 상태이고, 스마트 플러그가 전력 오프 상태이고, 서모스탯이 세부적인 전력 제어 상태(예컨대, 76도로 제어)로 되어 있음을 웨어러블 기기로 알려 준다.
CSRequestPowerControl 메시지와 ParserCSResponseGetDeviceStatusList 메시지는 특정 기기에 대한 제어(ON/OFF 등) 명령 전송 및 상태 응답 메시지를 나타낸다.
단말은 509 단계에서 ParserCSNotificationMotionEventDetected 메시지를 웨어러블 기기로 전송한다. 도 9는 본 발명의 실시 예에 따른 ParserCSNotificationMotionEventDetected 메시지 포맷을 나타낸다.
도 9를 참조하면, 움직임이 감지되면, 단말은 웨어러블 기기로 IP 카메라의 스틸 컷(정지 컷)을 전송한다.
웨어러블 기기는 511 단계에서 CSRequestPowerControl-IP Cam Power on 메시지를 단말로 전송한다. 도 10은 본 발명의 실시 예에 따른 CSRequestPowerControl-IP Cam Power on 메시지 포맷을 나타낸다.
웨어러블 기기는 스틸 컷을 확인 후, 단말로 IP 카메라의 모니터링을 요청한다. 요청 시, 단말에서 IP 카메라 스트리밍을 실행한다.
ParserCSNotificationMotionEventDetected 메시지와 CSRequestPowerControl-IP Cam Power on 메시지는 특정 기기에 대한 상태 정보 응답 시, 팝업 등의 알람(Alerting) 실행하는 메시지를 나타낸다.
도 11은 본 발명의 제3 실시 예에 따른 제스쳐 인식 기반의 홈 디바이스 제어 방법을 나타낸 시나리오이다.
본 발명의 제3 실시 예에서는 웨어러블 기기를 활용한 손목 스냅과 같은 제스쳐를 활용하여 홈 디바이스를 제어하는 방법을 제안한다. 이때 복수의 웨어러블 기기를 이용하여 홈 디바이스 제어가 가능하다. 즉, 본 발명의 제3 실시 예에서는 왼쪽 손목과 오른쪽 손목의 웨어러블 기기를 활용하여 센서 정보의 수신이 가능함 점을 이용한다.
도 11의 (a), (b)는 두 개의 웨어러블 기기를 사용하는 경우이고, 도 11의 (c), (d)는 한 개의 웨어러블 기기를 사용하는 경우를 나타낸다.
도 11의 (a)는 모드 선택하는 경우를 나타내는 것으로, 양 손으로 스냅 동작을 취한다. 스냅 동작이란, 손으로 찰칵, 딱까닥, 또는 탁하는 소리를 내며 재빨리 움직이거나 움직이게 하는 동작을 의미한다. 여기서 모드 선택하는 것은 홈 디바이스를 제어하는 제어 모드(controlling mode)와 슬라이드(slide)의 페이지 제어를 하는 슬라이드 모드와 같이, 두 가지 모드를 선택할 때, 양손의 shaking를 통해 모드 스위칭이 가능하다.
도 11의 (b)는 예컨대, 디밍 제어(dimming control)를 나타낸 것으로, 양손으로 회전(rotation)하는 동작을 취한다. 회전 제스쳐를 통해 디빙 레벨을 제어할 수 있다. 여기서 디밍 레벨을 조절한다는 것은 빛의 세기를 조절한다는 것을 의미한다.
도 11의 (c)는 홈 디바이스들 중 특정 홈 디바이스를 선택하는 경우를 나타낸 것이다.
도 11의 (c)는 상기에서 설명한 제어 모드에서 특정 기기를 선택할 때, 사용할 수 있으며, 왼쪽 손목의 스냅을 통해 제어하고자 하는 대상 기기의 선택이 변경 가능하다. 예를 들어, 홈 디바이스의 종류가 LED 전등, 선풍기, TV가 있을 때, 각 홈 디바이스의 선택은 스냅의 반복을 통해 LED→선풍기→TV의 순서로 순차적으로 변경될 수 있다.
도 11의 (d)는 디바이스 제어하는 경우를 나타낸 것으로, 예컨대, 왼손만으로 스냅 동작을 취한다. 여기서 디바이스 제어는 예컨대, LED 전등의 On/Off, 도어락의 On/Off, 스마트 플러그의 On/Off, 서모스탯 제어 등을 나타낸다. 도 11의 (d)는 선택된 홈 디바이스가 LED 전등인 경우, 스냅 외에 웨어러블 기기를 착용한 손목의 X, Y 축 등의 회전축 값을 이용하여 LED의 디빙(밝기) 조절이 가능하다.
도 11의 (d)는 오른손만으로 스냅 동작을 취한다. 대상 홈 디바이스가 선택되어 있는 경우, 스냅을 통해 On/Off의 제어가 가능하며, 슬라이드 모드인 경우 스냅을 통해 다음 슬라이드로의 이동 제어가 가능하다.
도 12는 본 발명의 실시 예에 따른 시스템 구조도이다.
본 발명의 제3 실시 예에 따른 제스쳐 기반 홈 디바이스 제어를 위한 시스템은 적어도 하나의 홈 디바이스(이하 "홈 디바이스"이라 칭함)(1200), 홈 게이트웨이(1220), 단말(1240), 웨어러블 기기(1260) 등을 포함한다.
도 12에서 홈 디바이스(1200), 홈 게이트웨이(1220), 단말(1240), 웨어러블 기기(1260) 간 통신 방식을 각각 802.15.4, 802.11b/g/n, 802.15.1 등으로 기재하였지만, 이에 한정되지 않고, 다양한 통신 방식을 적용할 수 있다.
웨어러블 기기(1260)는 사용자의 제스쳐 패턴 행위를 발생하고, 제어 명령을 전송한다.
단말(1240)은 웨어러블 기기(1260)로부터 제어 명령을 수신하고, 정해진 임계값 등을 기반으로 하여 해당 제어 명령의 실행 여부를 판단하여 해당하는 제어 명령을 홈 게이트웨이(1220)로 전송한다.
홈 게이트웨이(1220)는 상기 단말(1240)로부터 제어 명령을 수신하여 최종적으로 홈 디바이스가 인식할 수 있는 네트워크 프로토콜로의 변환 및 홈 디바이스를 제어하는 제어 명령을 전송한다.
상기 홈 디바이스(1200)는 상기 제어 명령을 수신하여 이를 처리 및 실행한다.
상기 단말에서 해당 제스쳐의 패턴을 기반으로 하여 임계값의 지정 여부는 도 13과 같이, 제스쳐를 인식하는 알고리즘, 예컨대, 베이지언(Bayesian) 추정 알고리즘을 바탕으로 확률 패턴 분석 방식을 이용한다.
도 13의 (a)는 보통의 제스쳐 패턴을 나타내고, 도 13의 (b)는 가속도 및 자이로 센서의 X, Y, Z 축 센서의 변화값을 나타낸다.
베이지언 추정에서는 기존에 발생한 이벤트 혹은 발생하지 않은 이벤트에 따라서 해당 이벤트에 대해 발생 확률을 이전 분포에 근거하여 추정할 수 있다. 특히, Friedman의 기법은 무한의 이벤트의 경우에도 잘 활용될 수 있다고 알려져 있다. 이전의 노드간 라우팅 빈도를 프로파일링하고 현재의 노드가 라우팅 연결 요청이 이전의 프로파일과 비교할 때 발생할 확률이 어느 정도 되는지 계산한다. 이 계산을 통해 확률적으로 낮은 노드의 요청이라면 비정상적인 요청으로 판단한다.
제스쳐 입력을 위한 스냅 행위 시, 발생되는 가속도 센서 데이터의 그래프는 도 13과 같다. 도 12의 (b)와 같이, 센서 변화값을 시간에 따라 ST1, ST2, ST3으로 구분할 수 있다.
세 필드에 해당하는 값을 추출하여 이를 바탕으로 ST1(A), ST2(B), ST3(C)와 같이, ABC, ABD, EFH,…등을 하나의 표본 값으로 정의하고, 빈도 수를 측정하여 이상 값을 계산한다. 이상 값의 계산 과정은 다음과 같다.
먼저, C(D,L)을 하기 <수학식 1>과 같이 계산한다.
C(D,L)은 스케일링 펙터(scaling factor)(즉, 관찰 가능한 모든 표본들의 수)를 나타낸다.
P는 관찰하고자 하는 표준의 확률값을 나타낸다.
Figure pat00001
Figure pat00002
상기 <수학식 1>에서 N은 전체 관찰 표본의 수(AB의 센서 값 발생 빈도 수)를 나타낸다.
K는 관찰된 다른 종류의 이벤트의 수(이전 훈련에서의 AB 빈도 수)를 나타낸다.
알파(α)는 사용자 정의 값을 나타낸다.
L은 전체 관찰 표본 수(발생 가능한 노드 수)를 나타낸다.
Figure pat00003
는 훈련 데이터를 기반으로 추정된다.
X는 관찰하고자 하는 표본(센서값-ABC)을 나타낸다.
Ni는 특정 이벤트가 발생한 빈도(AB → C의 센서 값 발생 빈도 수)를 나타낸다.
수학식 1에서 P값은 <수학식 2>로 표현 가능하다.
Figure pat00004
도 14는 본 발명의 실시 예에 따른 이상 값 계산 방법을 도시한 도면이다.
본 발명의 실시 예에 따른 이상 값을 계산하는 방법은 다음과 같다. 예를 들어, 도 15와 같은 센서 데이터 발생 그래프 상에서 센서 발생 값 A는 다음과 같은 센서 발생 값 그래프로 표시될 수 있다. 각 표본의 센서 값은 도 14에 도시한 바와 같이, 예컨대, A-B-C, A-E-F, A-B-D, A-B-C가 될 수 있다.
도 15는 본 발명의 실시 예에 따른 이상 값 테이블 계산 방법을 도시한 도면이다.
상기 설명한 예에서의 P(ABC) 이상 값, 즉, A(ST1)와 B(ST2)의 센서 값 발생 후, C(ST3) 센서 값이 발생할 확률은 다음과 같이 계산한다. ABC의 구조를 2-gram을 이용하여 분할 후, <수학식 2>의 공식을 통해 P 값을 산출한다. 산출된 P 값은 기존의 프로파일 상의 이상 값과 비교하여, 임계값 범위를 벗어났다면, 이상으로 판단하게 된다.
도 16은 본 발명의 실시 예에 따라 베이지언 방식의 확률값 계산 알고리즘을 통해, 제스쳐 패턴의 일치 여부 및 제어 커맨드의 전송 여부를 처리하는 전체 과정을 도시한 흐름도이다.
단말은 1600 단계에서 센서 정보를 수신한다. 센서 정보는 사용자의 손목을 이용한 스냅을 이용하여 웨어러블 기기로부터 수신된다. 단말은 1602 단계에서 센서 정보를 통해 ST1, ST2, ST3 세 필드를 추출한다.
단말은 1604 단계에서 프로파일 상의 세션 존재 여부를 비교한다.
세션이 존재하지 않을 경우, 단말은 1608 단계로 진행하여 발생할 확률값을 계산하고, 1606 단계로 진행한다.
그러나, 세션이 존재할 경우, 단말은 1606 단계로 진행하여 확률값을 갱신하고, 1608 단계에서 갱신된 확률값과 임계값을 비교한다. 단말은 1610 단계에서, 비교 결과로, 명령 수행/사용자 인터페이스 수행 여부를 체크한다. 만약 명령 수행/사용자 인터페이스 수행이라고 판단될 경우(확률값이 임계값 이상이라면), 1614 단계에서 제어 명령을 전송한다. 그러나 명령 수행/사용자 인터페이스 미수행이라고 판단될 경우(확률값이 임계값 미만이라면), 단말은 1616 단계에서 해당 제스쳐 패턴의 발생 데이터를 수행하지 않는다.
또한 본 발명의 일 실시 예에 따른 웨어러블 기기를 이용한 홈 디바이스 제어 장치 및 제어 방법은 하드웨어, 소프트웨어 또는 하드웨어 및 소프트웨어의 조합의 형태로 실현 가능하다는 것을 알 수 있을 것이다. 이러한 임의의 소프트웨어는 예를 들어, 삭제 가능 또는 재기록 가능 여부와 상관없이, ROM 등의 저장 장치와 같은 휘발성 또는 비휘발성 저장 장치, 또는 예를 들어, RAM, 메모리 칩, 장치 또는 집적 회로와 같은 메모리, 또는 예를 들어 CD, DVD, 자기 디스크 또는 자기 테이프 등과 같은 광학 또는 자기적으로 기록 가능함과 동시에 기계(예를 들어, 컴퓨터)로 읽을 수 있는 저장 매체에 저장될 수 있다. 본 발명의 일 실시 예에 따른 웨어러블 기기를 이용한 홈 디바이스 제어 방법은 제어부 및 메모리를 포함하는 컴퓨터 또는 단말에 의해 구현될 수 있고, 상기 메모리는 본 발명의 실시 예들을 구현하는 지시들을 포함하는 프로그램 또는 프로그램들을 저장하기에 적합한 기계로 읽을 수 있는 저장 매체의 한 예임을 알 수 있을 것이다.
따라서, 본 발명은 본 명세서의 임의의 청구항에 기재된 장치 또는 방법을 구현하기 위한 코드를 포함하는 프로그램 및 이러한 프로그램을 저장하는 기계(컴퓨터 등)로 읽을 수 있는 저장 매체를 포함한다. 또한, 이러한 프로그램은 유선 또는 무선 연결을 통해 전달되는 통신 신호와 같은 임의의 매체를 통해 전자적으로 이송될 수 있고, 본 발명은 이와 균등한 것을 적절하게 포함한다.
또한 본 발명의 실시 예에 따른 웨어러블 기기를 이용한 홈 디바이스 제어 장치는 유선 또는 무선으로 연결되는 프로그램 제공 장치로부터 상기 프로그램을 수신하여 저장할 수 있다. 상기 프로그램 제공 장치는 상기 프로그램 처리 장치가 기 설정된 웨어러블 기기를 이용한 홈 디바이스 제어 방법을 수행하도록 하는 지시들을 포함하는 프로그램, 웨어러블 기기를 이용한 홈 디바이스 제어 방법에 필요한 정보 등을 저장하기 위한 메모리와, 상기 그래픽 처리 장치와의 유선 또는 무선 통신을 수행하기 위한 통신부와, 상기 그래픽 처리 장치의 요청 또는 자동으로 해당 프로그램을 상기 송수신 장치로 전송하는 제어부를 포함할 수 있다.
한편 본 발명의 상세한 설명에서는 구체적인 실시 예에 관해 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 물론이다. 그러므로 본 발명의 범위는 설명된 실시 예에 국한되어 정해져서는 안되며 후술하는 특허청구의 범위뿐만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.

Claims (20)

  1. 사용자 신체에 착용 가능한 웨어러블 기기를 이용하여 홈 디바이스를 제어하는 단말에 있어서,
    상기 웨어러블 기기로부터 움직임에 따라 생성된 제어 신호를 수신하는 수신부;
    상기 제어 신호를 기반으로 가속도 센서값을 결정하고, 상기 가속도 센서값으로 확률값을 결정하고, 상기 확률값과 임계값을 비교하고, 비교 결과에 따라서 제어 명령 수행 여부를 결정하는 제어부를 포함하는 단말.
  2. 제1항에 있어서,
    상기 움직임은 스냅을 포함함을 특징으로 하는 단말.
  3. 제1항에 있어서,
    상기 확률값은 하기 수학식에 의해 결정됨을 특징으로 하는 단말.
    Figure pat00005
    ,
    여기서
    Figure pat00006
    이다.
    C(D,L)은 스케일링 펙터(scaling factor)(즉, 관찰 가능한 모든 표본들의 수)를 나타낸다.
    P는 관찰하고자 하는 표준의 확률값을 나타낸다.
    N은 전체 관찰 표본의 수(AB의 센서 값 발생 빈도 수)를 나타낸다.
    K는 관찰된 다른 종류의 이벤트의 수(이전 훈련에서의 AB 빈도 수)를 나타낸다.
    알파(α)는 사용자 정의 값을 나타낸다.
    L은 전체 관찰 표본 수(발생 가능한 노드 수)를 나타낸다.
    X는 관찰하고자 하는 표본(센서값-ABC)을 나타낸다.
    Ni는 특정 이벤트가 발생한 빈도(AB → C의 센서 값 발생 빈도 수)를 나타낸다.
    Figure pat00007
    는 훈련 데이터를 기반으로 추정된다.
  4. 제1항에 있어서,
    상기 웨어러블 기기로부터 음성에 따라 생성된 제어 신호를 수신하는 수신부; 및
    상기 제어 신호를 기반으로 상기 제어 신호를 홈 디바이스로 전송하여 상기 홈 디바이스를 제어하는 제어부를 포함하는 단말.
  5. 제1항에 있어서,
    상기 웨어러블 기기로부터 사용자의 터치에 따라 생성된 제어 신호를 수신하는 수신부; 및
    상기 제어 신호를 기반으로 상기 제어 신호를 홈 디바이스로 전송하여 상기 홈 디바이스를 제어하는 제어부를 포함하는 단말.
  6. 단말에서 사용자 신체에 착용 가능한 웨어러블 기기를 이용하여 홈 디바이스를 제어하는 방법에 있어서,
    상기 웨어러블 기기로부터 움직임에 따라 생성된 제어 신호를 수신하는 과정;
    상기 제어 신호를 기반으로 가속도 센서값을 결정하는 과정;
    상기 가속도 센서값으로 확률값을 결정하는 과정; 및
    상기 확률값과 임계값을 비교하고, 비교 결과에 따라서 제어 명령 수행 여부를 결정하는 과정을 포함함을 특징으로 하는 방법.
  7. 제6항에 있어서,
    상기 확률값은 하기 수학식에 의해 결정됨을 특징으로 하는 방법.
    Figure pat00008
    ,
    여기서
    Figure pat00009
    이다.
    C(D,L)은 스케일링 펙터(scaling factor)(즉, 관찰 가능한 모든 표본들의 수)를 나타낸다.
    P는 관찰하고자 하는 표준의 확률값을 나타낸다.
    N은 전체 관찰 표본의 수(AB의 센서 값 발생 빈도 수)를 나타낸다.
    K는 관찰된 다른 종류의 이벤트의 수(이전 훈련에서의 AB 빈도 수)를 나타낸다.
    알파(α)는 사용자 정의 값을 나타낸다.
    L은 전체 관찰 표본 수(발생 가능한 노드 수)를 나타낸다.
    X는 관찰하고자 하는 표본(센서값-ABC)을 나타낸다.
    Ni는 특정 이벤트가 발생한 빈도(AB → C의 센서 값 발생 빈도 수)를 나타낸다.
    Figure pat00010
    는 훈련 데이터를 기반으로 추정된다.
  8. 제6항에 있어서,
    상기 움직임은 스냅을 포함함을 특징으로 하는 방법.
  9. 제6항에 있어서,
    상기 웨어러블 기기로부터 음성에 따라 생성된 제어 신호를 수신하는 과정; 및
    상기 제어 신호를 기반으로 상기 제어 신호를 홈 디바이스로 전송하여 상기 홈 디바이스를 제어하는 과정을 더 포함하는 방법.
  10. 제6항에 있어서,
    상기 웨어러블 기기로부터 사용자의 터치에 따라 생성된 제어 신호를 수신하는 과정; 및
    상기 제어 신호를 기반으로 상기 제어 신호를 홈 디바이스로 전송하여 상기 홈 디바이스를 제어하는 과정을 포함하는 방법.
  11. 사용자 신체에 착용 가능한 웨어러블 기기에 있어서,
    상기 웨어러블 기기의 움직임을 인식하는 움직임 감지 센서; 및
    상기 움직임 감지 센서에 의해 감지된 움직임에 따라 제어 신호를 생성하고, 상기 제어 신호를 홈 디바이스로 전송하여 상기 홈 디바이스를 제어하는 제어부를 포함함을 특징으로 하는 웨어러블 기기.
  12. 제11항에 있어서,
    상기 확률값은 하기 수학식에 의해 결정됨을 특징으로 하는 웨어러블 기기.
    Figure pat00011
    ,
    여기서
    Figure pat00012
    이다.
    C(D,L)은 스케일링 펙터(scaling factor)(즉, 관찰 가능한 모든 표본들의 수)를 나타낸다.
    P는 관찰하고자 하는 표준의 확률값을 나타낸다.
    N은 전체 관찰 표본의 수(AB의 센서 값 발생 빈도 수)를 나타낸다.
    K는 관찰된 다른 종류의 이벤트의 수(이전 훈련에서의 AB 빈도 수)를 나타낸다.
    알파(α)는 사용자 정의 값을 나타낸다.
    L은 전체 관찰 표본 수(발생 가능한 노드 수)를 나타낸다.
    X는 관찰하고자 하는 표본(센서값-ABC)을 나타낸다.
    Ni는 특정 이벤트가 발생한 빈도(AB → C의 센서 값 발생 빈도 수)를 나타낸다.
    Figure pat00013
    는 훈련 데이터를 기반으로 추정된다.
  13. 제11항에 있어서,
    상기 움직임은 스냅을 포함함을 특징으로 하는 웨어러블 기기.
  14. 제11항에 있어서,
    음성을 감지하는 음석 인지 센서; 및
    상기 음석 인지 센서에 의해 감지된 음성에 따라 제어 신호를 생성하고, 상기 제어 신호를 홈 디바이스로 전송하여 상기 홈 디바이스를 제어하는 상기 제어부를 더 포함함을 특징으로 하는 웨어러블 기기.
  15. 제11항에 있어서,
    사용자의 터치를 감지하는 사용자 터치 인터페이스; 및
    상기 사용자 터치 인터페이스에 의해 감지된 터치에 따라 제어 신호를 생성하고, 상기 제어 신호를 홈 디바이스로 전송하여 상기 홈 디바이스를 제어하는 상기 제어부를 더 포함함을 특징으로 하는 웨어러블 기기.
  16. 사용자 신체에 착용 가능한 웨어러블 기기에서 홈 디바이스 제어 방법에 있어서,
    상기 웨어러블 기기의 움직임을 인식하는 과정;
    상기 움직임에 따라 제어 신호를 생성하는 과정; 및
    상기 제어 신호를 홈 디바이스로 전송하는 과정을 포함함을 특징으로 하는 홈 디바이스 제어 방법.
  17. 제16항에 있어서,
    상기 확률값은 하기 수학식에 의해 결정됨을 특징으로 하는 홈 디바이스 제어 방법.
    Figure pat00014
    ,
    여기서
    Figure pat00015
    이다.
    C(D,L)은 스케일링 펙터(scaling factor)(즉, 관찰 가능한 모든 표본들의 수)를 나타낸다.
    P는 관찰하고자 하는 표준의 확률값을 나타낸다.
    N은 전체 관찰 표본의 수(AB의 센서 값 발생 빈도 수)를 나타낸다.
    K는 관찰된 다른 종류의 이벤트의 수(이전 훈련에서의 AB 빈도 수)를 나타낸다.
    알파(α)는 사용자 정의 값을 나타낸다.
    L은 전체 관찰 표본 수(발생 가능한 노드 수)를 나타낸다.
    X는 관찰하고자 하는 표본(센서값-ABC)을 나타낸다.
    Ni는 특정 이벤트가 발생한 빈도(AB → C의 센서 값 발생 빈도 수)를 나타낸다.
    Figure pat00016
    는 훈련 데이터를 기반으로 추정된다.
  18. 제16항에 있어서,
    상기 움직임은 스냅을 포함함을 특징으로 하는 홈 디바이스 제어 방법.
  19. 제16항에 있어서,
    음성을 감지하는 과정; 및
    상기 감지된 음성에 따라 제어 신호를 생성하고, 상기 제어 신호를 홈 디바이스로 전송하여 상기 홈 디바이스를 제어하는 상기 제어부를 더 포함함을 특징으로 하는 홈 디바이스 제어 방법.
  20. 제16항에 있어서,
    사용자의 터치를 감지하는 과정;
    상기 감지된 터치에 따라 제어 신호를 생성하는 과정; 및
    상기 제어 신호를 홈 디바이스로 전송하는 과정을 포함함을 특징으로 하는 홈 디바이스 제어 방법.
KR1020140151603A 2014-01-06 2014-11-03 웨어러블 기기를 이용한 홈 디바이스 제어 장치 및 제어 방법 KR102277752B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP15733100.0A EP3094045B1 (en) 2014-01-06 2015-01-06 Home device control apparatus and control method using wearable devices
US15/109,357 US10019068B2 (en) 2014-01-06 2015-01-06 Home device control apparatus and control method using wearable device
PCT/KR2015/000101 WO2015102467A1 (ko) 2014-01-06 2015-01-06 웨어러블 기기를 이용한 홈 디바이스 제어 장치 및 제어 방법
CN201580003834.0A CN105900376B (zh) 2014-01-06 2015-01-06 使用可穿戴设备的家庭设备控制装置和控制方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20140001567 2014-01-06
KR1020140001567 2014-01-06

Publications (2)

Publication Number Publication Date
KR20150082079A true KR20150082079A (ko) 2015-07-15
KR102277752B1 KR102277752B1 (ko) 2021-07-16

Family

ID=53793739

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140151603A KR102277752B1 (ko) 2014-01-06 2014-11-03 웨어러블 기기를 이용한 홈 디바이스 제어 장치 및 제어 방법

Country Status (4)

Country Link
US (1) US10019068B2 (ko)
EP (1) EP3094045B1 (ko)
KR (1) KR102277752B1 (ko)
CN (1) CN105900376B (ko)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170003747A1 (en) * 2015-07-03 2017-01-05 Google Inc. Touchless user interface navigation using gestures
KR20170024994A (ko) * 2015-08-27 2017-03-08 주식회사바텍 웨어러블 디바이스를 포함하는 구강 엑스선 촬영 장치 및 시스템
WO2017099479A1 (ko) * 2015-12-08 2017-06-15 (주)그린콤 사용자의 행동을 인지하여 사물을 제어하는 사물인터넷 시스템
US9977509B2 (en) 2015-11-20 2018-05-22 Samsung Electronics Co., Ltd. Gesture recognition method, apparatus and wearable device
US9996109B2 (en) 2014-08-16 2018-06-12 Google Llc Identifying gestures using motion data
EP3399702A4 (en) * 2015-12-29 2018-11-07 Huizhou TCL Mobile Communication Co., Ltd. Smart watch-based smart home control method and smart watch
WO2019190008A1 (ko) * 2018-03-30 2019-10-03 김신일 다기능 웨어러블 디바이스 및 이를 포함하는 홈 네트워크 시스템
CN112115855A (zh) * 2020-09-17 2020-12-22 四川长虹电器股份有限公司 一种基于5g的智能家居手势控制系统及控制方法
KR20220135860A (ko) 2021-03-31 2022-10-07 (주)알트온 스위칭 장치와 웨어러블 디바이스를 이용한 홈 내 기기 제어 방법 및 시스템

Families Citing this family (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9954996B2 (en) 2007-06-28 2018-04-24 Apple Inc. Portable electronic device with conversation management for incoming instant messages
US9207835B1 (en) 2014-05-31 2015-12-08 Apple Inc. Message user interfaces for capture and transmittal of media and location content
US10552009B2 (en) 2014-09-02 2020-02-04 Apple Inc. Stopwatch and timer user interfaces
KR20160035948A (ko) * 2014-09-24 2016-04-01 엘지전자 주식회사 이동 단말기와 그것을 포함하는 시스템
KR102277259B1 (ko) * 2014-11-26 2021-07-14 엘지전자 주식회사 디바이스 제어 시스템, 디지털 디바이스 및 디지털 디바이스 제어 방법
US11099663B2 (en) * 2015-12-22 2021-08-24 Shenzhen Royole Technologies Co., Ltd. Electronic bag
US20170206899A1 (en) * 2016-01-20 2017-07-20 Fitbit, Inc. Better communication channel for requests and responses having an intelligent agent
TWI631507B (zh) * 2016-03-04 2018-08-01 德凡特未來股份有限公司 動作判識裝置及其控制方法
US10911255B2 (en) * 2016-05-31 2021-02-02 Honeywell International Inc. Devices, methods, and systems for hands free facility status alerts
US10623509B2 (en) * 2016-07-28 2020-04-14 Accenture Global Solutions Limited Intelligent maintenance and repair of user properties
JP6869050B2 (ja) * 2017-02-27 2021-05-12 株式会社ニチベイ 遮蔽装置制御システム及びコンピュータプログラム
US11276395B1 (en) * 2017-03-10 2022-03-15 Amazon Technologies, Inc. Voice-based parameter assignment for voice-capturing devices
CN108667773B (zh) * 2017-03-30 2021-03-12 阿里巴巴集团控股有限公司 网络防护系统、方法、装置及服务器
US11431836B2 (en) 2017-05-02 2022-08-30 Apple Inc. Methods and interfaces for initiating media playback
US10992795B2 (en) 2017-05-16 2021-04-27 Apple Inc. Methods and interfaces for home media control
US20220279063A1 (en) 2017-05-16 2022-09-01 Apple Inc. Methods and interfaces for home media control
CN111343060B (zh) 2017-05-16 2022-02-11 苹果公司 用于家庭媒体控制的方法和界面
US10713935B2 (en) 2018-02-23 2020-07-14 Nokia Technologies Oy Control service for controlling devices with body-action input devices
AU2019100523A4 (en) * 2018-05-07 2019-06-13 Apple Inc. User interfaces for viewing live video feeds and recorded video
CN112468783B (zh) 2018-05-07 2022-03-29 苹果公司 用于显示视频媒体用户界面的方法、电子设备和存储介质
DK201870364A1 (en) 2018-05-07 2019-12-03 Apple Inc. MULTI-PARTICIPANT LIVE COMMUNICATION USER INTERFACE
JP2020014085A (ja) * 2018-07-17 2020-01-23 Kddi株式会社 操作補助装置、操作補助方法及び操作補助システム
US11128792B2 (en) 2018-09-28 2021-09-21 Apple Inc. Capturing and displaying images with multiple focal planes
US10996917B2 (en) 2019-05-31 2021-05-04 Apple Inc. User interfaces for audio media control
US10904029B2 (en) 2019-05-31 2021-01-26 Apple Inc. User interfaces for managing controllable external devices
JP7075547B2 (ja) 2019-05-31 2022-05-25 アップル インコーポレイテッド オーディオメディア制御のためのユーザインタフェース
US11363071B2 (en) 2019-05-31 2022-06-14 Apple Inc. User interfaces for managing a local network
DK201970533A1 (en) 2019-05-31 2021-02-15 Apple Inc Methods and user interfaces for sharing audio
WO2021002493A1 (ko) * 2019-07-01 2021-01-07 엘지전자 주식회사 지능형 게이트웨이 장치 및 그를 포함하는 제어 시스템
CN112754355A (zh) * 2019-11-01 2021-05-07 苏州欧圣电气股份有限公司 一种吸尘器遥控器的对码方法及吸尘器
CN111294259B (zh) * 2020-02-27 2021-10-08 珠海格力电器股份有限公司 控制家电设备的方法及装置
CN113939799A (zh) * 2020-05-11 2022-01-14 苹果公司 用于音频消息的用户界面
US11079913B1 (en) 2020-05-11 2021-08-03 Apple Inc. User interface for status indicators
US11657614B2 (en) 2020-06-03 2023-05-23 Apple Inc. Camera and visitor user interfaces
US11589010B2 (en) 2020-06-03 2023-02-21 Apple Inc. Camera and visitor user interfaces
WO2022051112A1 (en) 2020-09-05 2022-03-10 Apple Inc. User interfaces for managing audio for media items
US11392291B2 (en) 2020-09-25 2022-07-19 Apple Inc. Methods and interfaces for media control with dynamic feedback
US11431891B2 (en) 2021-01-31 2022-08-30 Apple Inc. User interfaces for wide angle video conference
US11449188B1 (en) 2021-05-15 2022-09-20 Apple Inc. Shared-content session user interfaces
US11893214B2 (en) 2021-05-15 2024-02-06 Apple Inc. Real-time communication user interface
US11907605B2 (en) 2021-05-15 2024-02-20 Apple Inc. Shared-content session user interfaces
CN117981282A (zh) * 2021-09-15 2024-05-03 三星电子株式会社 控制多个物联网装置的可穿戴电子装置、操作方法和存储介质
US11812135B2 (en) 2021-09-24 2023-11-07 Apple Inc. Wide angle video conference
CN114488831B (zh) * 2022-01-10 2023-09-08 锋芒科技南京有限公司 一种基于人机交互的物联网家居智能控制系统及方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120054743A (ko) * 2010-11-22 2012-05-31 엘지전자 주식회사 멀티미디어 장치에서 음성과 제스쳐를 이용한 제어 방법 및 그에 따른 멀티미디어 장치
KR20120111330A (ko) * 2011-03-31 2012-10-10 한국과학기술원 동작 인식을 이용한 원격 제어장치, 원격 제어 시스템 및 원격 제어방법

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000132305A (ja) 1998-10-23 2000-05-12 Olympus Optical Co Ltd 操作入力装置
KR100674090B1 (ko) * 2004-12-20 2007-01-24 한국전자통신연구원 착용형 범용 3차원 입력 시스템
US9000887B2 (en) * 2009-07-23 2015-04-07 Qualcomm Incorporated Method and apparatus for communicating control information by a wearable device to control mobile and consumer electronic devices
RU2569707C2 (ru) 2010-01-21 2015-11-27 Конинклейке Филипс Электроникс Н.В. Управляющее устройство, переносное устройство и осветительная система для целей фототерапии
US20110304541A1 (en) * 2010-06-11 2011-12-15 Navneet Dalal Method and system for detecting gestures
CN102053702A (zh) * 2010-10-26 2011-05-11 南京航空航天大学 动态手势控制系统与方法
KR101159475B1 (ko) 2010-12-10 2012-06-25 숭실대학교산학협력단 근전도 센서와 가속도 센서를 이용한 로봇 이동 제어 장치 및 방법
ITTO20110530A1 (it) 2011-06-16 2012-12-17 Fond Istituto Italiano Di Tecnologia Sistema di interfaccia per interazione uomo-macchina
US20130204408A1 (en) 2012-02-06 2013-08-08 Honeywell International Inc. System for controlling home automation system using body movements
SG11201504814VA (en) * 2013-01-03 2015-07-30 Saurav Suman A method and system enabling control of different digital devices using gesture or motion control
US9357492B2 (en) * 2013-08-05 2016-05-31 Qualcomm Incorporated WLAN-capable remote control device

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120054743A (ko) * 2010-11-22 2012-05-31 엘지전자 주식회사 멀티미디어 장치에서 음성과 제스쳐를 이용한 제어 방법 및 그에 따른 멀티미디어 장치
KR20120111330A (ko) * 2011-03-31 2012-10-10 한국과학기술원 동작 인식을 이용한 원격 제어장치, 원격 제어 시스템 및 원격 제어방법

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9996109B2 (en) 2014-08-16 2018-06-12 Google Llc Identifying gestures using motion data
US20170003747A1 (en) * 2015-07-03 2017-01-05 Google Inc. Touchless user interface navigation using gestures
US9804679B2 (en) * 2015-07-03 2017-10-31 Google Inc. Touchless user interface navigation using gestures
KR20170024994A (ko) * 2015-08-27 2017-03-08 주식회사바텍 웨어러블 디바이스를 포함하는 구강 엑스선 촬영 장치 및 시스템
US9977509B2 (en) 2015-11-20 2018-05-22 Samsung Electronics Co., Ltd. Gesture recognition method, apparatus and wearable device
WO2017099479A1 (ko) * 2015-12-08 2017-06-15 (주)그린콤 사용자의 행동을 인지하여 사물을 제어하는 사물인터넷 시스템
EP3399702A4 (en) * 2015-12-29 2018-11-07 Huizhou TCL Mobile Communication Co., Ltd. Smart watch-based smart home control method and smart watch
WO2019190008A1 (ko) * 2018-03-30 2019-10-03 김신일 다기능 웨어러블 디바이스 및 이를 포함하는 홈 네트워크 시스템
CN112115855A (zh) * 2020-09-17 2020-12-22 四川长虹电器股份有限公司 一种基于5g的智能家居手势控制系统及控制方法
CN112115855B (zh) * 2020-09-17 2022-11-01 四川长虹电器股份有限公司 一种基于5g的智能家居手势控制系统及控制方法
KR20220135860A (ko) 2021-03-31 2022-10-07 (주)알트온 스위칭 장치와 웨어러블 디바이스를 이용한 홈 내 기기 제어 방법 및 시스템

Also Published As

Publication number Publication date
CN105900376B (zh) 2021-02-19
US10019068B2 (en) 2018-07-10
CN105900376A (zh) 2016-08-24
EP3094045B1 (en) 2019-09-25
US20160320849A1 (en) 2016-11-03
KR102277752B1 (ko) 2021-07-16
EP3094045A1 (en) 2016-11-16
EP3094045A4 (en) 2017-06-14

Similar Documents

Publication Publication Date Title
KR102277752B1 (ko) 웨어러블 기기를 이용한 홈 디바이스 제어 장치 및 제어 방법
US9521239B2 (en) Apparatus and method for automatic discovery and suggesting personalized gesture control based on user&#39;s habit and context
US9602172B2 (en) User identification and location determination in control applications
KR101842379B1 (ko) 지능형 전기 장치의 작동 방법 및 작동 디바이스
US9204291B2 (en) User identification and location determination in control applications
US11594124B2 (en) Systems and methods for contextual intelligence using networked devices
US10345767B2 (en) Apparatus and method for gamification of sensor data interpretation in smart home
JP6130968B2 (ja) スマート端末制御方法、装置、プログラム及び記憶媒体
CN107736045B (zh) 控制外围设备的方法和装置
CN106576221B (zh) 用于物联网的终端及其操作方法
KR102344021B1 (ko) 디바이스를 제어하는 방법 및 장치
EP3417681B1 (en) Electronic device including light emitting device and operating method thereof
WO2015102467A1 (ko) 웨어러블 기기를 이용한 홈 디바이스 제어 장치 및 제어 방법
JP2016533676A (ja) 帯域外シグナリング／メタデータを光学画像と併せて使用したＩｏＴデバイス／モノ／人の特定
KR20150059081A (ko) 홈 네트워크 시스템에서 홈 디바이스들의 그룹 제어 방법 및 장치
CN104407702A (zh) 基于情境感知执行动作的方法、装置和系统
US11023525B2 (en) Electronic device and method for providing content
KR20160003450A (ko) 전자장치의 데이터를 공유하기 위한 방법 및 장치
CN105049922A (zh) 用upnp对与主显示器在相同房间的候选同伴设备的接近检测
KR20170104953A (ko) 시스템을 관리하는 방법 및 장치
CN106647292A (zh) 用于智能家居系统的可穿戴手势控制设备和方法
US20180131533A1 (en) Automation rule selection method and wireless communication device
CN106256133B (zh) 家庭网络系统中的设备控制方法和装置
US20160065910A1 (en) Video gateway device
US20240047992A1 (en) Methods and systems for remotely controlling smart electrical switches and associated devices using analytics

Legal Events

Date Code Title Description
E902 Notification of reason for refusal