KR20160133328A - 웨어러블 디바이스를 이용한 원격 제어 방법 및 장치 - Google Patents

웨어러블 디바이스를 이용한 원격 제어 방법 및 장치 Download PDF

Info

Publication number
KR20160133328A
KR20160133328A KR1020150066288A KR20150066288A KR20160133328A KR 20160133328 A KR20160133328 A KR 20160133328A KR 1020150066288 A KR1020150066288 A KR 1020150066288A KR 20150066288 A KR20150066288 A KR 20150066288A KR 20160133328 A KR20160133328 A KR 20160133328A
Authority
KR
South Korea
Prior art keywords
wearable device
user
camera
control
remote
Prior art date
Application number
KR1020150066288A
Other languages
English (en)
Inventor
구본현
안태원
공동건
김영규
김준형
백두산
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020150066288A priority Critical patent/KR20160133328A/ko
Priority to EP16793020.5A priority patent/EP3295280A1/en
Priority to US15/153,157 priority patent/US20160335981A1/en
Priority to CN201680027656.XA priority patent/CN107637066A/zh
Priority to PCT/KR2016/005033 priority patent/WO2016182374A1/en
Publication of KR20160133328A publication Critical patent/KR20160133328A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003—Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G04—HOROLOGY
    • G04G—ELECTRONIC TIME-PIECES
    • G04G21/00—Input or output devices integrated in time-pieces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/04—Exchange of auxiliary data, i.e. other than image data, between monitor and graphics controller
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/10—Use of a protocol of communication by packets in interfaces along the display data pipeline
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/16—Use of wireless transmission of display information

Abstract

본 개시는 웨어러블 디바이스를 이용한 원격 제어 방법 및 장치에 대한 것으로서, 본 개시에 따른 웨어러블 디바이스를 이용한 원격 제어 방법은, 네트워크 카메라와 통신 연결을 수행하는 과정과, 상기 웨어러블 디바이스를 착용한 사용자의 검출된 움직임에 대응되게 상기 네트워크 카메라의 시야각을 제어하는 과정을 포함한다.

Description

웨어러블 디바이스를 이용한 원격 제어 방법 및 장치{REMOTE CONTROL METHOD AND DEVICE USING WEARABLE DEVICE}
본 개시는 디바이스를 원격으로 제어하는 방법 및 장치에 대한 것으로서, 특히 웨어러블 디바이스를 이용한 원격 제어 방법 및 장치에 대한 것이다.
인터넷은 인간이 정보를 생성하고 소비하는 인간 중심의 연결 망에서, 사물 등 분산된 구성 요소들 간에 정보를 주고 받아 처리하는 사물인터넷(Internet of Things : IoT) 망으로 진화하고 있다. IoE(Internet of Everything) 기술은 클라우드 서버 등과의 연결을 통한 빅데이터 (Big data) 처리 기술 등이 IoT 기술에 결합된 하나의 예가 될 수 있다.
IoT를 구현하기 위해서, 센싱 기술, 유무선 통신 및 네트워크 인프라, 서비스 인터페이스 기술, 및 보안 기술 등과 같은 기술 요소 들이 요구되어, 최근에는 사물간의 연결을 위한 센서 네트워크(sensor network), 사물 통신(Machine to Machine : M2M), MTC(Machine Type Communication) 등의 기술이 연구되고 있다.
IoT 환경에서는 연결된 사물들에서 생성된 데이터를 수집, 분석하여 인간의 삶에 새로운 가치를 창출하는 지능형 IT(Internet Technology) 서비스가 제공될 수 있다. IoT는 기존의 IT 기술과 다양한 산업 간의 융합 및 복합을 통하여 스마트 홈, 스마트 빌딩, 스마트 시티, 스마트 카 혹은 커넥티드 카(connected car), 스마트 그리드(smart grid), 헬스 케어, 스마트 가전, 첨단 의료서비스 등의 분야에 응용될 수 있다.
IoT 서비스의 본격적인 도래로 인해, 다양한 디바이스들을 하나의 싱글 네트워크로 연계하는 서비스를 실현하고자 하는 기술들이 소개되고 있다. IoT는 모든 네트워크 기반 디바이스들이 서로 Seamless 하게 연결되는 기술로, 다양한 IT 서비스 분야에 요구되는 기술이다. 이러한 IoT 서비스의 실현을 위해 다양한 웨어러블 디바이스들이 시장에 소개되고 있다. 대표적인 웨어러블 디바이스의 형태로 애플의 iWatch 및 삼성의 Galaxy GearS 와 같은 스마트 와치 형태의 디바이스와 구글 글래스(Google Glass), 삼성 GearVR과 같은 헤드 마운티드 디스플레이(Head-Mounted Display : HMD) 장치 등이 있다. 또한 IoT 기술들을 기반으로 하는 모바일 또는 웨어러블 디바이스들에 대한 다양한 연구들이 진행 중이며, 스마트 홈 등의 기술이 일 예가 될 수 있다.
본 개시는 웨어러블 디바이스를 이용하여 타 디바이스를 원격으로 제어하는 방법 및 장치를 제공한다.
또한 본 개시는 웨어러블 디바이스를 이용하여 카메라를 원격으로 제어하는 방법 및 장치를 제공한다.
또한 본 개시는 웨어러블 디바이스를 이용하여 빌딩 시스템내 적어도 하나의 카메라를 원격으로 제어하는 방법 및 장치를 제공한다.
본 개시의 실시 예에 따른 웨어러블 디바이스를 이용한 원격 제어 방법은, 네트워크 카메라와 통신 연결을 수행하는 과정과, 상기 웨어러블 디바이스를 착용한 사용자의 검출된 움직임에 대응되게 상기 네트워크 카메라의 시야각을 제어하는 과정을 포함한다.
본 개시의 실시 예에 따른 웨어러블 디바이스는, 통신 인터페이스와, 사용자의 움직임을 검출하기 위한 센서부와, 네트워크 카메라와 통신 연결을 수행하고, 상기 웨어러블 디바이스를 착용한 사용자의 검출된 움직임에 대응되게 상기 네트워크 카메라의 시야각을 제어하는 제어부를 포함한다.
도 1은 스마트 폰을 이용하여 원격 네트워크 카메라의 P/T/Z 제어를 위한 사용자 인터페이스 화면의 일 예를 나타낸 도면,
도 2는 본 개시의 실시 예에 따라 웨어러블 디바이스를 이용하여 원격지에 설치된 적어도 하나의 카메라의 움직임을 제어하는 시스템의 일 구성 예를 나타낸 도면,
도 3a는 본 개시의 실시 예에 따른 웨어러블 디바이스와 원격 제어되는 카메라의 구성을 나타낸 블록도,
도 3b는 본 개시의 실시 예에 따라 웨어러블 디바이스를 이용하여 원격지에 설치된 카메라와 종단 디바이스를 제어하기 위한 원격 제어 시스템의 구성 예를 나타낸 도면,
도 4는 본 개시의 실시 예에 따라 이용될 수 있는 통신 인터페이스의 예를 나타낸 도면,
도 5는 본 개시의 실시 예에 따라 웨어러블 디바이스에서 헤드 추적을 이용한 카메라 제어 방법을 설명하기 위한 도면,
도 6a 및 도 6b는 본 개시의 다른 실시 예에 따라 웨어러블 디바이스와 통신 연결된 스마트 와치 또는 터치 입력을 이용한 카메라 제어 방법을 설명하기 위한 도면,
도 7은 본 개시의 실시 예에 따른 카메라의 Pan 및 Tilt 제어 동작을 설명하기 위한 도면,
도 8은 본 개시의 실시 예에서 따라 웨어러블 디바이스에서 헤드 추적 등을 이용한 카메라 제어 시 센서 데이터의 보상 방법을 설명하기 위한 도면.
하기에서 본 개시의 실시 예들을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 개시의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다.
IoT 기술의 발전에 따라 웨어러블 디바이스를 이용한 다양한 IoT 서비스들이 소개되고 있다. 본 개시에서는 IoT 서비스들의 예들로 웨어러블 디바이스를 통해 홈 네트워크 또는 빌딩 시스템 등에 설치된 적어도 하나의 카메라의 동작을 제어하여 모니터링, 출입 관리, 보안 감시 서비스(이하, 원격 감시 서비스) 등을 제공하거나 또는 홈 네트워크 또는 빌딩 시스템 내 설치된 카메라를 통해 확인된 다른 디바이스의 동작을 제어하는 서비스들을 제안한다.
본 발명의 이해를 돕기 위해, 홈 네트워크 또는 빌딩 시스템에서 카메라를 이용한 기존의 원격 감시 서비스를 설명하면, 홈 네트워크 또는 빌딩 시스템 내 설치된 카메라 등의 디바이스 제어를 위해 사용자 단말에 전용 애플리케이션의 설치가 요구되며, 디바이스에 사용자의 제어 명령을 전송하기 위해 사용자의 수동적인 키 입력이 요구되며, 디바이스의 원격 제어를 위한 공간적인 제약 사항이 존재한다.
도 1은 스마트 폰을 이용하여 원격 네트워크 카메라의 P/T/Z 제어를 위한 사용자 인터페이스 화면의 일 예를 나타낸 것이다. 상기 P/T/Z 제어는 각각 Pan/Tilt/Zoom 제어를 의미한다. Pan 제어는 좌, 우 방향 제어를 위한 것이고, Tilt 제어는 상, 하 방향 제어를 위한 것이며, Zoom 제어는 확대 제어를 위한 것이다.
도 1의 예에서 사용자는 카메라의 시계(즉, 시야각(Field of view : FoV))을 조정하기 위해 스마트 폰(100) 상의 사용자 인터페이스(UI)(110)를 통해, P/T/Z 제어 명령을 입력 및 전송한다. P/T/Z 제어 명령이 원격 네트워크 카메라로 전송되면, 원격 네트워크 카메라의 시야각은 P/T/Z 제어 명령에 따라 조정되며, 원격 네트워크 카메라가 설치된 원격지의 화상을 스마트 폰(100)을 통해 관찰할 수 있다.
그러나 스마트 폰을 이용한 카메라 제어는 사용자의 양 손을 이용한 키 입력이 요구되며, 터치스크린 상의 UI 버튼을 터치해야만 제어가 가능하다. 따라서 사용자의 편의성이 떨어짐은 물론 원격 감시를 위해 핸즈 프리 등의 지원을 위한 부가적인 기능 추가가 요구된다.
또한 디바이스의 원격 제어를 위한 다른 예로 안경(glass) 형태의 웨어러블 디바이스에 적외선 방사기(IR emitter)를 장착하여 사용자의 시선을 통해 가전 디바이스를 제어하는 기술이 있다. 이 기술을 이용하면, IR 방사기를 갖춘 글래스를 통해 안구 추적을 하여 소비자 TV와 같은 디바이스의 동작을 원격으로 제어할 수 있다. 그러나 이 기술의 경우, 디바이스 제어를 위해서는 반드시 IR 제어 명령 전송을 위한 시선(Line-of-Sight) 확보와 같은 공간적인 제약이 존재한다.
또한 디바이스의 원격 제어를 위한 또 다른 예로 스마트 폰 등에 디바이스의 동작 상태를 확인할 수 있는 애플리케이션을 설치한 후, 애플리케이션의 UI를 통해 원격지에서 디바이스의 동작 상태를 확인할 수 있다. 그러나 이러한 애플리케이션의 UI는 서버와의 연결 문제 혹은 이벤트 스케줄링 오류와 같은 다양한 변수로 인해 디바이스와 정확하게 동기화 되지 못하는 경우가 있다. 이는 제어 대상 디바이스로 사용자의 의도와는 다른 명령을 전송하는 오류를 야기할 수 있다. 따라서 원격지의 디바이스의 보다 정확한 제어를 보장할 수 있는 방안이 요구된다.
따라서 본 개시에서는 원격 감시에서 사용자의 편의성을 보다 향상시키고, 디바이스 제어를 위한 공간적인 제약을 해결하고, 또한 원격지의 디바이스 제어를 보다 정확하게 수행할 수 있도록 웨어러블 디바이스를 이용한 원격 제어 방안을 제안한다. 상기 웨어러블 디바이스는 예컨대, 글래스 형태의 웨어러블 디바이스 또는 HMD 타입의 웨어러블 디바이스 등 사용자의 헤드 움직임을 검출할 수 있는 다양한 형태의 웨어러블 디바이스를 이용할 수 있다.
또한 본 개시에서는 원격 네트워크 카메라의 움직임 제어를 위해 스마트 와치, 헤드 추적(Head Tracking), 또는 터치 인터페이스를 이용한 P/T/Z 제어 방식과 음성 인식을 통한 홈 네트워크 또는 빌딩 시스템 내 디바이스의 원격 제어 방안을 제안한다. 이하 본 명세서에서 카메라라 함은 원격 네트워크 카메라를 의미하는 것으로 이해하기로 한다.
도 2는 본 개시의 실시 예에 따라 웨어러블 디바이스를 이용하여 원격지에 설치된 적어도 하나의 카메라의 움직임을 제어하는 시스템의 일 구성 예를 나타낸 도면이다.
도 2를 참조하면, 웨어러블 디바이스(210)는 네트워크(21)를 통해 통신 연결되며, 원격지(250)에서 카메라(230)로부터 촬영되는 영상을 네트워크(21)를 통해 실시간 수신하고, 수신된 영상은 웨어러블 디바이스(210)의 디스플레이 화면(P1)을 통해 사용자가 확인할 수 있다. 사용자의 헤드에 거치된 글래스 형태의 웨어러블 디바이스(210)는 사용자의 움직임에 대응되는 P/T/Z 제어 명령을 네트워크(21)를 통해 카메라(230)에게 전송하고, P/T/Z 제어 명령을 수신한 카메라(230)는 그 P/T/Z 제어 명령에 따라 시야각(FoV)을 조정한다. 또한 사용자는 카메라(230)의 실시간 영상을 확인하고, 원격지(250)에 설치된 디바이스의 동작을 원격 제어할 수 있다. 여기서 원격지(250)에 설치된 디바이스의 원격 제어는 음성 명령 인식을 통해 수행될 수 있으며, 웨어러블 디바이스(210)는 음성 명령의 인식 및 통신을 위한 수단을 포함할 수 있다.
도 3a는 본 개시의 실시 예에 따른 웨어러블 디바이스와 원격 제어되는 카메라의 구성을 나타낸 블록도로서, 상기 카메라는 복수 개가 구비될 수 있으나 편의상 하나의 카메라를 설치한 경우의 예를 설명하기로 한다.
도 3a을 참조하면, 웨어러블 디바이스(210a)는 표시부(211), 센서부(213), 통신 인터페이스(215), 및 제어부(217)를 포함한다. 웨어러블 디바이스(210a)는 예컨대, 글래스 형태의 웨어러블 디바이스 또는 HMD 타입의 웨어러블 디바이스 등 사용자의 헤드 움직임을 검출할 수 있는 다양한 형태의 웨어러블 디바이스를 이용할 수 있으나, 이하 설명될 본 개시의 실시 예들에서는 편의상 글래스 형태의 웨어러블 디바이스를 이용하는 예를 설명하기로 한다.
도 3에서 표시부(211)는 카메라(230)로부터 실시간으로 전송되는 원격지의 영상을 디스플레이 하기 위한 것이다. 센서부(213)는 웨어러블 디바이스(210a)를 착용한 사용자의 헤드 움직임(예컨대, 상/하/좌/우 움직임)을 검출하고, 그 검출된 헤드 움직임에 대응되는 값을 출력한다. 통신 인터페이스(213)는 네트워크(21)를 통해 카메라(230)의 움직임 제어를 위한 상기한 P/T/Z 제어 명령을 전송하고, 카메라(230)의 영상을 수신하기 위한 각종 유선 또는 무선 통신 모듈을 포함한다. 제어부(215)는 통신 인터페이스(213)를 통해 카메라(230)와 통신 연결되며, 상기 카메라(230)의 영상을 통신 인터페이스(213)를 통해 수신하고, 수신된 영상을 표시부(211)를 통해 디스플레이 하도록 제어한다.
또한 제어부(217)는 센서부(213)에서 검출된 사용자의 헤드 움직임에 따라 센서부(213)로부터 출력되는 값에 대응되게 카메라(230)의 회전각이 조정되도록 P/T/Z 제어 명령을 생성하고, 생성된 P/T/Z 제어 명령을 통신 인터페이스(215)를 통해 카메라(230)에게 전송한다. 상기 카메라(230)의 회전각은 상/하/좌/우 방향의 시야각(FoV)에 해당된다. 상기 센서부(213)는 사용자의 헤드 움직임을 상/하/좌/우 방향으로 검출할 수 있는 자이로 센서(Gyro Sensor) 등을 이용할 수 있다. 또한 상기 센서부(213)는 정밀한 움직임 검출을 위해 복수 개의 센서들을 포함하여 구현될 수 있다.
도 3a에서 카메라(230)는 구동부(231), 렌즈부(233), 통신 인터페이스(235), 및 제어부(237)를 포함한다. 카메라(230)는 댁 내 또는 빌딩 등에서 사용되는 원격 감시를 위한 원격 네트워크 카메라를 이용할 수 있다. 구동부(231)는 제어부(237)의 제어에 따라 카메라 렌즈가 탑재된 렌즈부(233)의 상/하/좌/우 방향의 움직임을 제어한다. 통신 인터페이스(235)는 웨어러블 디바이스(210a)로부터 네트워크(21)를 통해 전송되는 P/T/Z 제어 명령을 수신하고, 카메라(230)의 영상을 전송하기 위한 각종 유선 또는 무선 통신 모듈을 포함한다. 제어부(237)는 상기 P/T/Z 제어 명령을 수신한 경우, 그 P/T/Z 제어 명령에 대응되게 구동부(231)를 통해 렌즈부(233)의 움직임을 제어한다. 또한 제어부(237)는 렌즈부(233)를 통해 촬영된 영상을 이미지 처리하여 웨어러블 디바이스(210a)로 전송하는 동작을 제어한다. 상기 P/T/Z 제어는 각각 Pan/Tilt/Zoom 제어를 의미한다.
도 3b는 본 개시의 실시 예에 따라 웨어러블 디바이스를 이용하여 원격지에 설치된 카메라와 종단 디바이스를 제어하기 위한 원격 제어 시스템의 구성 예를 나타낸 도면이다.
도 3b의 시스템은 웨어러블 디바이스(210b), 카메라(230), 게이트웨이(310), 그리고 종단 디바이스(330)를 포함한다. 도 3b의 웨어러블 디바이스(210b)는 도 3a의 웨어러블 디바이스(230a)의 기능들을 포함하며, 추가로 사용자의 음성 명령을 인식하고, 음성 명령에 대응되는 제어 명령을 게이트웨이(310)로 전달하는 기능을 포함한다. 상기 음성 명령은 종단 디바이스(330)의 동작을 제어하기 위한 것으로서, 상기 음성 명령에 대응되는 제어 명령을 수신한 게이트웨이(310)는 그 제어 명령에 따라 해당되는 종단 디바이스(330)의 온/오프 제어 등 동작 제어를 수행한다.
도 3b의 웨어러블 디바이스(210b)는 상기 음성 명령의 인식을 위한 음성 인식부(219)를 포함하며, 상기 음성 인식부(219)는 공지된 음성 인식 모듈을 이용할 수 있다. 제어부(217)는 상기 음성 인식부(219)를 통해 사용자의 음성 명령을 수신하면,그 음성 명령에 대응되는 제어 명령을 게이트웨이(31)로 전송한다. 상기 제어 명령은 제어 대상인 종단 디바이스(330)의 식별 정보와 제어 내용을 포함하는 패킷 형태로 구성될 수 있다. 상기 제어 내용은 해당 종단 디바이스(330)의 전원 온/오프는 물론 구체적인 동작 제어 명령을 포함할 수 있다. 또한 상기 제어 명령을 전달하는 패킷은 웨어러블 디바이스(210)의 사용자 인증 정보를 포함할 수 있다. 상기 사용자 인증 정보를 근거로 게이트웨이(310)는 정당한 사용자로 확인된 경우, 수신한 제어 명령에 따라 종단 디바이스(330)의 동작을 제어하고, 정당한 사용자로 확인되지 않은 경우, 수신한 제어 명령의 수행을 거부할 수 있다. 도 3b의 웨어러블 디바이스(210b)에서 상기 음성 명령 관련 기능을 제외한 나머지 기능들은 도 3a의 웨어러블 디바이스(210a)의 기능들과 동일하며, 카메라(230)의 기능들도 도 3a의 실시 예와 동일하므로 구체적인 설명은 생략하기로 한다.
도 3b에서 게이트웨이(310)는 웨어러블 디바이스(210b)로부터 제어 명령을 수신하여 해당되는 종단 디바이스(330)의 동작을 제어한다. 도 3b의 시스템에서 카메라(230), 게이트웨이(310), 및 종단 디바이스(330)는 동일한 원격지에 설치될 수 있다. 사용자는 웨어러블 디바이스(210b)를 이용하여 카메라(230)가 촬영하는 원격지의 영상을 수신하고, 음성 명령을 통해 종단 디바이스(330)의 동작을 제어할 수 있다. 이러한 동작 예는 빌딩 시스템에서 카메라(230)의 감시 지역에서 외부인의 출입 등이 감지된 경우, 해당 지역의 전등을 온 시키는 등의 원격 디바이스 제어를 수행할 수 있게 한다. 다른 예로 사용자가 외부에서 웨어러블 디바이스(210b)를 이용하여 댁 내 상황을 카메라(230)를 통해 확인한 후, 댁 내 종단 디바이스(330) 중 무선 청소기를 동작시킬 경우, "거실을 청소해~"와 같은 음성 명령을 내린다. 그러면 웨어러블 디바이스(210b)는 "청소해"와 "거실"을 각각 인식하고, "청소해"는 댁내 종단 디바이스들 중에서 무선 청소기(도시되지 않음)에게 전달되어야 할 명령이고, 그 청소 위치가 "거실"임을 판독한다. 그러면 웨어러블 디바이스(210b)는 그 판독 결과에 따른 제어 명령이 포함된 패킷(예컨대, 무선 청소기의 식별 정보와, 청소 명령, 청소 위치 정보 등이 포함된 패킷)을 게이트웨이(310)에게 전송할 수 있다.
도 3b에서 게이트웨이(310)는 저장부(311), 사용자 인터페이스(313), 통신 인터페이스(315), 그리고 제어부(317)를 포함한다.
상기 저장부(311)는 제어부(317)의 제어에 따라 게이트웨이(310)의 동작에 필요한 프로그램 코드, 데이터 또는 정보를 저장할 수 있도록 구성된다. 예를 들어 저장부(311)는 종단 디바이스(330)의 등록 정보, 웨어러블 디바이스(210b)로부터 전송될 수 있는 다양한 제어 명령의 판독을 위한 정보, 종단 디바이스(330)의 동작 상태 정보 등이 저장될 수 있다. 또한 저장부(311)는 필요 시 외부 디바이스(예를 들어 시스템 관리자의 단말, 사용자의 스마트 폰 등)로부터 전달되는 데이터를 저장할 수 있다. 상기 사용자 인터페이스(313)는 표시부, 스피커, 알림 램프와 같은 각종 출력 모듈과, 터치스크린, 키패드, 마이크와 같은 각종 입력 모듈 중 적어도 하나를 포함하며, 사용자가 직접 게이트웨이(310)를 제어하거나, 제어 대상인 종단 디바이스(330)를 게이트웨이(310)에 등록 또는 삭제하거나, 게이트웨이(310)를 통해 종단 디바이스(330)를 제어하기 위해 사용될 수 있다.
도 3b에서 통신 인터페이스(315)는 웨어러블 디바이스(210b)로부터 사용자의 음성 명령에 대응되는 제어 명령을 수신하고, 그 제어 명령에 따라 해당되는 종단 디바이스(330)의 동작을 제어하기 위한 제어 신호를 전송하기 위한 각종 유선 또는 무선 통신 모듈을 포함한다. 상기 제어부(317)는 웨어러블 디바이스(210b)로부터 제어 명령을 수신한 경우, 수신된 제어 명령에 따라 종단 디바이스(330)의 동작을 제어하기 위한 제어 신호를 해당되는 종단 디바이스(330)에게 전송한다. 예를 들어 상기한 동작 예들 중 거실 청소의 경우, 제어부(317)는 통신 인터페이스(315)를 통해 종단 디바이스들 중에서 무선 청소기에게 "거실"을 "청소"할 것을 지시하는 제어 신호를 전송한다. 또한 상기 제어부(317)는 사용자의 요청이 있는 경우, 해당 종단 디바이스(330)의 제어 명령에 따른 동작 상태, 또는 동작 결과 등을 종단 디바이스(330)로부터 수신하여 웨어러블 디바이스(210b)에게 전송하는 동작을 제어 할 수 있다.
도 3b에서 종단 디바이스(330)는 저장부(331), 사용자 인터페이스(333), 통신 인터페이스(335), 그리고 제어부(337)를 포함한다.
상기 저장부(331)는 게이트웨이(310)로부터 전송되는 제어 신호에 따라 그 종단 디바이스(330)의 동작 제어를 위해 필요한 각종 정보를 저장할 수 있다. 상기 제어 신호는 온/오프 동작, 세부 동작(동작 시간, 동작 위치,...) 등으로 구분되어 종단 디바이스(330)와 게이트웨이(310) 간에 미리 정해진 신호를 등록하여 사용할 수 있다. 또한 상기 저장부(331)는 종단 디바이스(330)의 동작 상태 기록을 저장할 수 있다. 도시되지는 않았으나, 종단 디바이스(330)의 위치는 RF 태그, 센서 등을 이용하여 확인될 수 있다. 상기 사용자 인터페이스(333)는 표시부, 스피커, 알림 램프와 같은 각종 출력 모듈, 터치스크린, 키패드, 마이크와 같은 각종 입력 모듈 중 적어도 하나를 포함할 수 있으며, 종단 디바이스(330)의 동작 제어를 위한 정보의 입출력 시 사용될 수 있다. 상기 제어부(337)는 게이트웨이(310)로부터 제어 신호를 수신한 경우, 수신된 제어 신호에 따라 종단 디바이스(330)의 동작을 제어한다. 또한 상기 제어부(337)는 상기 제어 신호에 따른 동작 결과 또는 동작 상태 정보를 통신 인터페이스(335)를 통해 게이트웨이(310)에게 전송할 수 있다. 상기 통신 인터페이스(3335)는 게이트웨이(310)로부터 제어 신호를 수신하고, 그 제어 신호에 따른 동작 결과 또는 동작 상태 정보를 전송하기 위한 각종 유선 또는 무선 통신 모듈을 포함한다.
이하 설명의 편의를 위해, 도 3a의 웨어러블 디바이스(210a)와, 도 3b의 웨어러블 디바이스의 참조 번호를 웨어러블 디바이스(210)로 통칭하기로 한다.
도 4는 본 개시의 실시 예에 따라 이용될 수 있는 통신 인터페이스의 예를 나타낸 도면이다. 도 4를 참조하면, 통신 인터페이스(400)는 WiFi와 같은 802.xx 기반의 무선 랜 모듈(401), 지그비(ZigBee) 모듈(403), 블루투스 모듈(405), NFC(Near-Field Communication) 모듈(407), Z-WAVE 모듈(409) 그리고 유선 통신 모듈(126) 등과 같은 각종 무선 또는 유선 통신 프로토콜 기반의 모듈 중 적어도 하나를 포함할 수 있다. 상기 Z-WAVE 모듈(406)은 홈 네트워크 등에서 사용되는 RF(Radio Frequency) 기술 중 하나이다. 상기 웨어러블 디바이스(210), 카메라(230), 게이트웨이(310), 종단 디바이스(330)의 통신 인터페이스들은 각각 상기 예시된 모듈들 중 적어도 하나를 이용할 수 있으며, 도 4에 예시된 통신 인터페이스 외에도 각종 공지된 유선 또는 무선 통신 모듈을 이용할 수 있다.
본 개시에서는 종단 디바이스(330)와 게이트웨이(310) 간에는 ZigBee 기반 HAP(Home Automation Profile), SEP(Smart Energy Profile) 등을 이용하여 통신을 수행하며, 카메라(230)와 웨어러블 디바이스(210) 간에는 Wi-Fi 네트워크를 이용하여 통신을 수행함을 가정한다.
도 5는 본 개시의 실시 예에 따라 웨어러블 디바이스에서 헤드 추적을 이용한 카메라 제어 방법을 설명하기 위한 도면이다.
도 5의 501과 같이 웨어러블 디바이스(210)를 헤드에 착용한 사용자는 음성 명령 또는 터치 입력을 통해 웨어러블 디바이스(210)와 카메라(230)의 원격 접속을 진행한다. 상기 원격 접속이 이루어지면, 카메라(230)를 통해 촬영된 실시간 영상은 예컨대, RTSP(Real Time Streaming Protocol)을 이용하여 네트워크(21)를 통해 웨어러블 디바이스(210)로 전송된다. 수신된 영상은 웨어러블 디바이스(210)의 디스플레이 화면(P1)을 통해 사용자가 확인할 수 있다. 이후 도 5에서 사용자가 카메라(230)의 시야각(FoV) 제어를 위해 507, 509와 같이 헤드를 좌/우 방향으로 수평 회전(즉 Pictch)하면, 도 7에서 카메라(230)의 좌/우 움직임(703)을 제어하는 Pan 제어가 수행된다. 또한 도 5에서 503, 505과 같이 사용자가 헤드를 상/하 방향으로 수직 회전(즉 Yaw)하면, 도 7에서 카메라(230)의 상/하 움직임(701)을 제어하는 Tilt 제어가 수행된다. 이때 카메라(230)의 각도 변화는 카메라(230)와 웨어러블 디바이스(210) 간의 API(Application Programming Interface)를 이용하여 제어할 수 있다.
도 6a 및 도 6b는 본 개시의 다른 실시 예에 따라 웨어러블 디바이스와 통신 연결된 스마트 와치 또는 터치 입력을 이용한 카메라 제어 방법을 설명하기 위한 도면이다.
도 6a는 글래스 형태의 웨어러블 디바이스(210)와 통신 연결된 한 쌍의 스마트 와치들을 이용한 카메라 제어 방법을 나타낸 것으로서, 스마트 와치들은 양 손목의 회전을 감지하여 웨어러블 디바이스(210)에게 전달한다. 일정 이상의 오른 손목 또는 왼 손목 회전이 감지된 경우, 웨어러블 디바이스(210)는 카메라(230)에 대해 각각 Pan 제어(601) 또는 Tilt 제어(603)를 수행한다. 도 6b는 글래스 형태의 웨어러블 디바이스(210)에서 사용자의 터치 입력을 이용한 카메라 제어 방법을 나타낸 것으로서, 사용자가 손가락을 이용하여 웨어러블 디바이스(210)에 포함된 터치 인터페이스를 상하 또는 좌우 방향으로 가로지르는 터치 입력을 수행한 경우, 웨어러블 디바이스(210)는 카메라(230)에 대해 각각 Pan 제어(605) 또는 Tilt 제어(607)를 수행한다.
도 8은 본 개시의 실시 예에서 따라 웨어러블 디바이스에서 헤드 추적 등을 이용한 카메라 제어 시 센서 데이터의 보상 방법을 설명하기 위한 도면으로서, 이는 웨어러블 디바이스(210)에서 예컨대, 자이로 센서를 통해 검출된 헤드 추적 파형의 일 예를 나타낸 것으로서, 이는 자이로 센서의 Y 축 값을 나타낸 것이다. 도 8을 참조하면, 801은 사용자의 헤드가 우 측으로 움직였을 때 자이로 센서에서 검출된 헤드 추적 파형을 나타낸 것이고, 803은 사용자의 헤드가 좌 측으로 움직였을 때 자이로 센서에서 검출된 헤드 추적 파형을 나타낸 것이다.
자이로 센서에서 검출되는 실제 헤드 추적 파형은 도 8에서 가는 실선으로 표시된 파형과 같이 변동(fluctuation)을 갖는다. 이러한 변동(fluctuation)은 카메라(230)의 안정적인 제어를 어렵게 만드는 요인으로 작용한다. 본 개시의 실시 예는 자이로 센서의 센서 데이터에서 변동(fluctuation)을 보정하기 위해 칼만 필터(Kalman Filter)를 적용할 수 있다. 도 8에서 굵은 실선으로 표시된 참조 번호 81의 파형은 상기 칼만 필터(Kalman Filter)의 적용에 따라 센서 데이터에서 변동이 보정된 파형을 나타낸 것이다. 상기 변동(fluctuation)을 보정할 수 있는 필터라면, 다른 공지된 필터를 이용하는 것도 가능하다.
글래스 타입의 웨어러블 디바이스(210)에서 Y축 움직임은 사용자의 헤드가 좌우로 움직임을 보였을 때, 도 8과 같은 그래프의 파형을 보인다.
예컨대, 사용자가 오른쪽으로 고개를 회전하는 경우, 센서 데이터는 0.00 ~ +1.00 사이의 값을 가지며, 헤드 회전과 동기화된 카메라(230)의 움직임은 0 ~ +90도 사이의 Pan 회전 값과 동기화 된다. 그리고 사용자가 왼쪽으로 고개를 회전하는 경우, 센서 데이터는 -1.00 ~ 0.00 사이의 값을 가지며, 헤드 회전과 동기화된 카메라(230)의 움직임은 -90도 ~ 0도 사이의 Pan 회전 값과 동기화 된다.
이때, 원격지 카메라(230)의 제어를 위한 API는 아래 <표 1>과 같다.
Figure pat00001
한편, 사용자가 헤드를 위쪽으로 회전하는 경우, 센서 데이터는 0.00 ~ +1.00 사이의 값을 가지며, 헤드 회전과 동기화된 카메라(230)의 움직임은 0도 ~ +30도 사이의 Tilt 회전 값과 동기화 된다. 그리고 사용자가 헤드를 아래쪽으로 회전하는 경우, 센서 데이터는 -1.00 ~ 0.00 사이의 값을 가지며, 헤드 회전과 동기화된 카메라(230)의 움직임은 -30도 ~ 0도 사이의 Tilt 회전 값과 동기화 된다.
이때, 원격지 카메라(230)의 제어를 위한 API는 아래 <표 2>와 같다.
Figure pat00002
또한 본 개시에서는 상기한 필터가 적용된 Pan 제어와 Tilt 제어가 동일하게 움직이도록 아래 <수학식 1>과 <수학식 2>의 알고리즘을 제안한다. 자이로 센서의 센서 데이터는 사용자의 헤드 회전 시, 노이즈 데이터가 다수 발생하여, 카메라가 부정확하게 움직일 수 있다. 아래 <수학식 1>과 <수학식 2>와 같이 정의된 필터를 적용하면, 사용자의 헤드 회전 시, 제어되는 카메라는 보다 부드러운 움직임을 가질 수 있다.
Figure pat00003
Figure pat00004
아래 <표 3>은 상기 <수학식 1>, <수학식 2>의 변수들을 정의한 것이다.
Figure pat00005
상기 <수학식 1>은 자이로 센서의 실시간 센서 데이터가 보정된 값(도 8에서 참조 번호 803)을 가지기 위한 필터링을 위한 수식이며, 상기 <수학식 2>는 상기 <수학식 1>의 변수의 측정을 위한 수식이다. 변수, P, Q, R의 상수 데이터는 각각 1, 0.00001, 0.001의 값을 사용함을 가정한다.
상기 실시 예들에 의하면, 원격지의 댁 내 또는 빌딩 내 영상을 실시간으로 네트워크 카메라를 통해 촬영하고, 카메라의 FoV 제어를 위한 사용자 편의성을 보다 향상시킬 수 있다. 또한 상기 실시 예들에 의하면, 웨어러블 디바이스를 이용하여 원격지의 카메라로부터 영상 정보를 수신하고, 스마트 와치, Finger Swipes, 그리고 헤드 추적 등을 이용하여, 카메라의 움직임을 원격 제어할 수 있다. 이 경우 스마트 폰을 이용한 원격 감시 시스템에서와 같이 사용자가 카메라 제어를 위해 양 손을 사용해야 하는 불편함을 개선할 수 있다.
또한 상기한 실시 예들에 의하며, 사용자는 웨어러블 디바이스를 이용하여 원격지의 상황을 카메라를 통해 확인하고, 음성 명령을 통해 원격지의 디바이스 동작을 제어할 수 있다.

Claims (12)

  1. 웨어러블 디바이스를 이용한 원격 제어 방법에 있어서,
    네트워크 카메라와 통신 연결을 수행하는 과정; 및
    상기 웨어러블 디바이스를 착용한 사용자의 검출된 움직임에 대응되게 상기 네트워크 카메라의 시야각을 제어하는 과정을 포함하는 원격 제어 방법.
  2. 제 1 항에 있어서,
    상기 웨어러블 디바이스는 글래스 타입의 웨어러블 디바이스인 원격 제어 방법.
  3. 제 1 항에 있어서,
    상기 사용자의 움직임은 헤드 추적을 이용하여 검출되는 원격 제어 방법.
  4. 제 1 항에 있어서,
    상기 사용자의 검출된 움직임은 스마트 워치를 착용한 상기 사용자의 손목 움직임인 원격 제어 방법.
  5. 제 1 항에 있어서,
    상기 사용자의 검출된 움직임은 터치 입력을 포함하는 원격 제어 방법.
  6. 제 1 항에 있어서,
    상기 사용자의 음성 명령을 인식하여 원격지의 디바이스의 동작을 제어하는 원격 제어 방법.
  7. 통신 인터페이스;
    사용자의 움직임을 검출하기 위한 센서부; 및
    네트워크 카메라와 통신 연결을 수행하고, 상기 웨어러블 디바이스를 착용한 사용자의 검출된 움직임에 대응되게 상기 네트워크 카메라의 시야각을 제어하는 제어부를 포함하는 웨어러블 디바이스.
  8. 제 7 항에 있어서,
    상기 웨어러블 디바이스는 글래스 타입의 웨어러블 디바이스인 웨어러블 디바이스.
  9. 제 7 항에 있어서,
    상기 사용자의 움직임은 헤드 추적을 이용하여 검출되는 웨어러블 디바이스.
  10. 제 7 항에 있어서,
    상기 사용자의 검출된 움직임은 스마트 워치를 착용한 상기 사용자의 손목 움직임인 웨어러블 디바이스.
  11. 제 7 항에 있어서,
    상기 사용자의 검출된 움직임은 터치 입력을 포함하는 웨어러블 디바이스.
  12. 제 7 항에 있어서,
    상기 제어부는 상기 사용자의 음성 명령을 인식하여 원격지의 디바이스의 동작을 제어하는 웨어러블 디바이스.
KR1020150066288A 2015-05-12 2015-05-12 웨어러블 디바이스를 이용한 원격 제어 방법 및 장치 KR20160133328A (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020150066288A KR20160133328A (ko) 2015-05-12 2015-05-12 웨어러블 디바이스를 이용한 원격 제어 방법 및 장치
EP16793020.5A EP3295280A1 (en) 2015-05-12 2016-05-12 Remote control method and device using wearable device
US15/153,157 US20160335981A1 (en) 2015-05-12 2016-05-12 Remote control method and device using wearable device
CN201680027656.XA CN107637066A (zh) 2015-05-12 2016-05-12 使用可穿戴装置的远程控制方法和装置
PCT/KR2016/005033 WO2016182374A1 (en) 2015-05-12 2016-05-12 Remote control method and device using wearable device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150066288A KR20160133328A (ko) 2015-05-12 2015-05-12 웨어러블 디바이스를 이용한 원격 제어 방법 및 장치

Publications (1)

Publication Number Publication Date
KR20160133328A true KR20160133328A (ko) 2016-11-22

Family

ID=57248143

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150066288A KR20160133328A (ko) 2015-05-12 2015-05-12 웨어러블 디바이스를 이용한 원격 제어 방법 및 장치

Country Status (5)

Country Link
US (1) US20160335981A1 (ko)
EP (1) EP3295280A1 (ko)
KR (1) KR20160133328A (ko)
CN (1) CN107637066A (ko)
WO (1) WO2016182374A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112416115A (zh) * 2019-08-23 2021-02-26 亮风台（上海）信息科技有限公司 一种用于控件交互界面中进行人机交互的方法与设备
KR20220029002A (ko) * 2020-09-01 2022-03-08 이상호 시선 추적 기술을 이용한 ar 방식의 스마트팩토리 모니터링 시스템

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9940009B2 (en) * 2013-05-15 2018-04-10 Sony Corporation Display control device for scrolling of content based on sensor data
KR20160138806A (ko) * 2015-05-26 2016-12-06 엘지전자 주식회사 글래스타입 단말기 및 그 제어방법
CN105049813A (zh) * 2015-08-11 2015-11-11 小米科技有限责任公司 控制视频画面的方法、装置及终端
US10097745B2 (en) * 2016-04-27 2018-10-09 Zepp Labs, Inc. Head rotation tracking device for video highlights identification
US20190260863A1 (en) 2016-08-30 2019-08-22 Xleap, Inc. Information processing terminal
US10122990B2 (en) 2016-12-01 2018-11-06 Varjo Technologies Oy Imaging system and method of producing context and focus images
US11636572B2 (en) * 2016-12-29 2023-04-25 Nokia Technologies Oy Method and apparatus for determining and varying the panning speed of an image based on saliency
JP6815886B2 (ja) * 2017-02-14 2021-01-20 キヤノン株式会社 撮像装置、その制御方法、プログラム
CN106888368A (zh) * 2017-03-21 2017-06-23 广东容祺智能科技有限公司 一种云台实时遥控系统
CN106993167A (zh) * 2017-04-28 2017-07-28 深圳前海弘稼科技有限公司 一种植株的监控方法及监控系统
CN107147883A (zh) * 2017-06-09 2017-09-08 中国科学院心理研究所 一种基于头动控制的远程摄像系统
KR102560689B1 (ko) 2017-09-26 2023-07-28 삼성전자주식회사 Ar 객체를 표시하기 위한 장치 및 방법
US11290518B2 (en) * 2017-09-27 2022-03-29 Qualcomm Incorporated Wireless control of remote devices through intention codes over a wireless connection
CN107832036B (zh) * 2017-11-22 2022-01-18 北京小米移动软件有限公司 语音控制方法、装置及计算机可读存储介质
US11010975B1 (en) * 2018-03-06 2021-05-18 Velan Studios, Inc. Remote camera augmented reality system
CN109067822A (zh) * 2018-06-08 2018-12-21 珠海欧麦斯通信科技有限公司 线上线下融合的实时混合现实城市服务实现方法及系统
CN108769535B (zh) * 2018-07-04 2021-08-10 腾讯科技（深圳）有限公司 图像处理方法、装置、存储介质和计算机设备
KR20200090403A (ko) 2019-01-21 2020-07-29 삼성전자주식회사 전자 장치 및 그 제어 방법
CN110121066A (zh) * 2019-01-23 2019-08-13 北京中科戎大科技股份有限公司 一种基于立体视觉的特种车辆辅助驾驶系统
US11163434B2 (en) * 2019-01-24 2021-11-02 Ademco Inc. Systems and methods for using augmenting reality to control a connected home system
JP7149215B2 (ja) * 2019-03-27 2022-10-06 富士フイルム株式会社 プリントシステム、プリンタ及び端末
US10965914B2 (en) * 2019-07-08 2021-03-30 Andrae T. D'Acquisto Trail camera
CN110505401A (zh) * 2019-08-16 2019-11-26 维沃移动通信有限公司 一种摄像头控制方法及电子设备
CN111432120B (zh) * 2020-03-30 2021-08-27 维沃移动通信有限公司 摄像组件的控制方法、可穿戴式设备和介质
CN112995501A (zh) * 2021-02-05 2021-06-18 歌尔科技有限公司 摄像头的控制方法、装置、电子设备及存储介质
US11815687B2 (en) * 2022-03-02 2023-11-14 Google Llc Controlling head-mounted device with gestures into wearable device

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4878409B2 (ja) * 1999-03-23 2012-02-15 キヤノン株式会社 情報制御装置及び情報制御方法及び記憶媒体
US9300921B2 (en) * 1999-07-20 2016-03-29 Comcast Cable Communications, Llc Video security systems and methods
US7262573B2 (en) * 2003-03-06 2007-08-28 Intouch Technologies, Inc. Medical tele-robotic system with a head worn device
GB2449694B (en) * 2007-05-31 2010-05-26 Sony Comp Entertainment Europe Entertainment system and method
US8320623B2 (en) * 2009-06-17 2012-11-27 Lc Technologies, Inc. Systems and methods for 3-D target location
CN102550023A (zh) * 2009-10-23 2012-07-04 上海贝尔股份有限公司 改进的视频监控方法和系统
US20120242698A1 (en) * 2010-02-28 2012-09-27 Osterhout Group, Inc. See-through near-eye display glasses with a multi-segment processor-controlled optical layer
KR101234578B1 (ko) * 2011-03-31 2013-02-19 한국과학기술원 동작 인식을 이용한 원격 제어장치, 원격 제어 시스템 및 원격 제어방법
CN103620527B (zh) * 2011-05-10 2018-08-17 寇平公司 使用动作和语音命令来控制信息显示和远程设备的头戴式计算机
US9557807B2 (en) * 2011-07-26 2017-01-31 Rackspace Us, Inc. Using augmented reality to create an interface for datacenter and systems management
GB2495105B (en) * 2011-09-28 2013-08-14 Overview Ltd Camera apparatus and system
US8813173B2 (en) * 2011-12-22 2014-08-19 Next Level Security Systems, Inc. Mobile communication device surveillance system
US9245428B2 (en) * 2012-08-02 2016-01-26 Immersion Corporation Systems and methods for haptic remote control gaming
KR102058918B1 (ko) * 2012-12-14 2019-12-26 삼성전자주식회사 홈 모니터링 방법 및 장치
US8943558B2 (en) * 2013-03-08 2015-01-27 Next Level Security Systems, Inc. System and method for monitoring a threat
US10288881B2 (en) * 2013-03-14 2019-05-14 Fresenius Medical Care Holdings, Inc. Wearable interface for remote monitoring and control of a medical device
US9609290B2 (en) * 2013-07-10 2017-03-28 Subc Control Limited Telepresence method and system for supporting out of range motion by aligning remote camera with user's head
US20150022674A1 (en) * 2013-07-18 2015-01-22 Koss Corporation Wireless video camera
KR102034587B1 (ko) * 2013-08-29 2019-10-21 엘지전자 주식회사 이동 단말기 및 이의 제어 방법

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112416115A (zh) * 2019-08-23 2021-02-26 亮风台（上海）信息科技有限公司 一种用于控件交互界面中进行人机交互的方法与设备
CN112416115B (zh) * 2019-08-23 2023-12-15 亮风台（上海）信息科技有限公司 一种用于控件交互界面中进行人机交互的方法与设备
KR20220029002A (ko) * 2020-09-01 2022-03-08 이상호 시선 추적 기술을 이용한 ar 방식의 스마트팩토리 모니터링 시스템

Also Published As

Publication number Publication date
US20160335981A1 (en) 2016-11-17
EP3295280A4 (en) 2018-03-21
EP3295280A1 (en) 2018-03-21
WO2016182374A1 (en) 2016-11-17
CN107637066A (zh) 2018-01-26

Similar Documents

Publication Publication Date Title
KR20160133328A (ko) 웨어러블 디바이스를 이용한 원격 제어 방법 및 장치
CN205670807U (zh) 监视系统
RU2654155C2 (ru) Носимое управляющее устройство для обнаружения взаимодействия
KR102277752B1 (ko) 웨어러블 기기를 이용한 홈 디바이스 제어 장치 및 제어 방법
US10235874B2 (en) Remote control system, remote control method and gateway
US10012963B2 (en) Smart household appliance, mobile communication device, system and method for controlling smart household appliance
KR102513379B1 (ko) 통신 장치 및 이를 구비하는 전자기기
KR101728052B1 (ko) 사용자의 행동을 인지하여 사물을 제어하는 사물인터넷 시스템
CN104887155A (zh) 智能扫地机
WO2015102467A1 (ko) 웨어러블 기기를 이용한 홈 디바이스 제어 장치 및 제어 방법
US20140176430A1 (en) Intelligent switching system, electronic device thereof, and method thereof
TWI467958B (zh) 溝通頻率低於ＷｉＦｉ訊號頻率的遠端控制系統
EP3398029B1 (en) Intelligent smart room control system
CN112910746A (zh) 家庭机器人以及与家庭设备互通的智能家庭安全监视系统
JP2021152928A (ja) 端末装置、方法、およびプログラム
KR20150035108A (ko) 와이파이 다이렉트를 이용한 로봇 청소기 및 방범 시스템
JP6352874B2 (ja) ウェアラブル端末、方法及びシステム
KR20140067765A (ko) 홈 네트워크 시스템 및 그 서비스 제공 방법
KR20140075963A (ko) 이동 단말을 이용한 카메라 원격 제어 장치 및 방법
Nahas Smart Home Security System (SHSS)
KR101520016B1 (ko) 자기식 엔코더를 이용한 회전장치 및 회전장치의 제어방법
US20230251672A1 (en) Assistive robotic manipulation of building controls
CN105227899A (zh) 一种虚拟鼠标远程监控方法
KR20150029189A (ko) 휴대용 단말기를 이용한 감시시스템 및 그 감시방법
KR20160050884A (ko) 스마트폰 어플을 이용한 제어 및 관제시스템