KR102215569B1 - 홈 모니터링 방법 및 장치 - Google Patents

홈 모니터링 방법 및 장치 Download PDF

Info

Publication number
KR102215569B1
KR102215569B1 KR1020200114284A KR20200114284A KR102215569B1 KR 102215569 B1 KR102215569 B1 KR 102215569B1 KR 1020200114284 A KR1020200114284 A KR 1020200114284A KR 20200114284 A KR20200114284 A KR 20200114284A KR 102215569 B1 KR102215569 B1 KR 102215569B1
Authority
KR
South Korea
Prior art keywords
robot cleaner
home
mobile terminal
camera
information
Prior art date
Application number
KR1020200114284A
Other languages
English (en)
Other versions
KR20200107906A (ko
Inventor
김경재
권지현
이근철
김동석
김현식
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Publication of KR20200107906A publication Critical patent/KR20200107906A/ko
Application granted granted Critical
Publication of KR102215569B1 publication Critical patent/KR102215569B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L12/2823—Reporting information sensed by appliance or service execution status of appliance services in a home automation network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L9/00—Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
    • A47L9/28—Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means
    • A47L9/2805—Parameters or conditions being sensed
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L9/00—Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
    • A47L9/28—Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means
    • A47L9/2836—Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means characterised by the parts which are controlled
    • A47L9/2852—Elements for displacement of the vacuum cleaner or the accessories therefor, e.g. wheels, casters or nozzles
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19678—User interface
    • G08B13/19684—Portable terminal, e.g. mobile phone, used for viewing video remotely
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L12/2816—Controlling appliance services of a home automation network by calling their functionalities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L12/2816—Controlling appliance services of a home automation network by calling their functionalities
    • H04L12/2818—Controlling appliance services of a home automation network by calling their functionalities from a device located outside both the home and the home network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L12/2823—Reporting information sensed by appliance or service execution status of appliance services in a home automation network
    • H04L12/2825—Reporting to a device located outside the home and the home network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L12/283—Processing of data at an internetworking point of a home automation network
    • H04L12/2834—Switching of information between an external network and a home network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L12/283—Processing of data at an internetworking point of a home automation network
    • H04L12/2836—Protocol conversion between an external network and a home network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42202—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] environmental sensors, e.g. for detecting temperature, luminosity, pressure, earthquakes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/23206—
    • H04N5/23296—
    • H04N5/23299—

Abstract

보안 모드에서 로봇 청소기를 동작시키기 위한 방법이 제공된다. 상기 방법은 모바일 단말로부터, 이동 경로에 대한 타겟 위치의 제1 정보를 획득하는 단계 ― 상기 이동 경로는 상기 로봇 청소기의 도킹 위치 및 상기 타겟 위치를 포함함 ― , 상기 모바일 단말로부터, 상기 제1 정보에 기초하여 획득되는 상기 타겟 위치에서 상기 로봇 청소기의 적어도 하나의 카메라의 방향을 조정하기 위한 제2 정보를 획득하는 단계, 상기 제1 정보 및 상기 제2 정보 모두에 기초한 상기 로봇 청소기의 상기 보안 모드에 대한 설정을 저장하는 단계, 상기 모바일 단말로부터, 상기 로봇 청소기가 가전(appliance) 모드일 때, 상기 보안 모드에서 상기 로봇 청소기를 동작시키기 위한 요청을 획득하는 단계, 상기 보안 모드에서 상기 로봇 청소기를 동작시키기 위한 요청을 획득하는 것에 응답하여, 상기 타겟 위치와 상기 로봇 청소기의 도킹 위치를 포함하는 상기 이동 경로를 따라 이동하고, 그리고 상기 적어도 하나의 카메라의 방향이 제1 방향으로부터 제2 방향으로 변경되도록 상기 설정에 따라 상기 타겟 위치에서 상기 로봇 청소기의 상기 적어도 하나의 카메라의 방향을 조정하는 단계, 상기 로봇 청소기가 상기 타겟 위치에 있을 때 상기 조정된 위치에서 상기 로봇 청소기의 상기 적어도 하나의 카메라를 이용하여 적어도 하나의 이미지를 획득하는 동안, 상기 로봇 청소기에 의해 상기 로봇 청소기의 상기 적어도 하나의 카메라를 이용하여 객체(object)의 움직임을 검출하는 단계, 상기 로봇 청소기에 의해 상기 객체의 움직임을 검출하는 것에 기초하여, 상기 로봇 청소기에 의해 상기 모바일 단말로 전송될 둘 이상의 이미지들을 획득하는 단계, 및 상기 모바일 단말로 상기 둘 이상의 이미지들을 전송하는 단계를 포함한다.

Description

홈 모니터링 방법 및 장치{HOME MONITORING METHOD AND APPARATUS}
본 발명은 홈 네트워크 시스템에 관한 것으로서, 특히 가전기기 및 카메라를 이용한 홈 모니터링 방법 및 장치에 관한 것이다.
홈 네트워크 시스템은 댁 내에 설치된 홈 디바이스(device)들을 유선 또는 무선 네트워크로 연결함으로써 홈 디바이스들의 제어를 가능하도록 하는 시스템을 의미한다. 발전된 홈 네트워크 시스템은 홈 디바이스들을 홈 게이트웨이(Home Gateway: HGW 혹은 H-GW)를 통해 통합하여 외부의 공용 데이터 네트워크, 일 예로 인터넷 프로토콜(Internet Protocol: IP) 네트워크(즉 인터넷)로 연결함으로써 인터넷과 연계된 보다 다양한 서비스를 제공한다. 이러한 홈 네트워크 시스템에서는 사용자의 요구에 따라 홈 디바이스들을 제어하여 사용자가 원하는 서비스를 제공할 수 있다.
최근 홈 디바이스들의 종류가 점차 다양해지고 이에 대한 사용자 요구 또한 점차 다양해짐에 따라, 다양한 사용자 요구를 수용하여 최선의 서비스를 제공하기 위한 노력을 필요로 하게 되었다.
본 발명은 홈 네트워크 시스템을 위한 서비스 제공 방법 및 장치를 제공한다.
본 발명은 홈 네트워크 시스템을 통한 홈 모니터링 방법 및 장치를 제공한다.
본 발명은 홈 네트워크 시스템에서 가전기기 및 IP 카메라를 통해 집 안의 상황을 모니터링하는 방법 및 장치를 제공한다.
본 발명의 일 실시예에 따른 보안 모드에서 로봇 청소기를 동작시키기 위한 방법은 모바일 단말로부터, 이동 경로에 대한 타겟 위치의 제1 정보를 획득하는 단계 ― 상기 이동 경로는 상기 로봇 청소기의 도킹 위치 및 상기 타겟 위치를 포함함 ― , 상기 모바일 단말로부터, 상기 제1 정보에 기초하여 획득되는 상기 타겟 위치에서 상기 로봇 청소기의 적어도 하나의 카메라의 방향을 조정하기 위한 제2 정보를 획득하는 단계, 상기 제1 정보 및 상기 제2 정보 모두에 기초한 상기 로봇 청소기의 상기 보안 모드에 대한 설정을 저장하는 단계, 상기 모바일 단말로부터, 상기 로봇 청소기가 가전(appliance) 모드일 때, 상기 보안 모드에서 상기 로봇 청소기를 동작시키기 위한 요청을 획득하는 단계, 상기 보안 모드에서 상기 로봇 청소기를 동작시키기 위한 요청을 획득하는 것에 응답하여, 상기 타겟 위치와 상기 로봇 청소기의 도킹 위치를 포함하는 상기 이동 경로를 따라 이동하고, 그리고 상기 적어도 하나의 카메라의 방향이 제1 방향으로부터 제2 방향으로 변경되도록 상기 설정에 따라 상기 타겟 위치에서 상기 로봇 청소기의 상기 적어도 하나의 카메라의 방향을 조정하는 단계, 상기 로봇 청소기가 상기 타겟 위치에 있을 때 상기 조정된 위치에서 상기 로봇 청소기의 상기 적어도 하나의 카메라를 이용하여 적어도 하나의 이미지를 획득하는 동안, 상기 로봇 청소기에 의해 상기 로봇 청소기의 상기 적어도 하나의 카메라를 이용하여 객체(object)의 움직임을 검출하는 단계, 상기 로봇 청소기에 의해 상기 객체의 움직임을 검출하는 것에 기초하여, 상기 로봇 청소기에 의해 상기 모바일 단말로 전송될 둘 이상의 이미지들을 획득하는 단계, 및 상기 모바일 단말로 상기 둘 이상의 이미지들을 전송하는 단계를 포함한다.
본 발명의 일 실시예에 따른 보안 모드에서 동작하기 위한 로봇 청소기는, 적어도 하나의 카메라를 포함하는 적어도 하나의 센서, 메시지들을 송신하고 또는 수신하기 위한 통신 인터페이스, 명령들을 저장하기 위한 메모리, 및 상기 저장된 명령들을 실행하도록 구성되는 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는: 모바일 단말로부터 상기 통신 인터페이스를 통해, 이동 경로에 대한 타겟 위치의 제1 정보를 획득하고 ― 상기 이동 경로는 상기 로봇 청소기의 도킹 위치 및 상기 타겟 위치를 포함함 ― , 상기 모바일 단말로부터 상기 통신 인터페이스를 통해, 상기 제1 정보에 기초하여 획득되는 상기 타겟 위치에서 상기 로봇 청소기의 적어도 하나의 카메라의 방향을 조정하기 위한 제2 정보를 획득하고, 상기 제1 정보 및 상기 제2 정보 모두에 기초한 상기 로봇 청소기의 상기 보안 모드에 대한 설정을 상기 메모리에 저장하고, 상기 모바일 단말로부터 상기 통신 인터페이스를 통해, 상기 로봇 청소기가 가전(appliance) 모드일 때, 상기 보안 모드에서 상기 로봇 청소기를 동작시키기 위한 요청을 획득하고, 상기 보안 모드에서 상기 로봇 청소기를 동작시키기 위한 요청을 획득하는 것에 응답하여: 상기 타겟 위치와 상기 로봇 청소기의 도킹 위치를 포함하는 상기 이동 경로를 따라 이동하도록 상기 로봇 청소기를 제어하고, 그리고 상기 적어도 하나의 카메라의 방향이 제1 방향으로부터 제2 방향으로 변경되도록 상기 설정에 따라 상기 타겟 위치에서 상기 로봇 청소기의 상기 적어도 하나의 카메라의 방향을 조정하고, 상기 로봇 청소기가 상기 타겟 위치에 있을 때 상기 조정된 위치에서 상기 로봇 청소기의 상기 적어도 하나의 카메라를 이용하여 적어도 하나의 이미지를 획득하는 동안, 상기 로봇 청소기에 의해 상기 로봇 청소기의 상기 적어도 하나의 카메라를 이용하여 객체(object)의 움직임을 검출하고, 상기 로봇 청소기에 의해 상기 객체의 움직임을 검출하는 것에 기초하여: 상기 로봇 청소기에 의해 상기 모바일 단말로 전송될 둘 이상의 이미지들을 획득하고, 그리고 상기 통신 인터페이스를 통해 상기 모바일 단말로 상기 둘 이상의 이미지들을 전송하도록 구성된다.
도 1은 본 발명의 일 실시예에 따른 홈 네트워크 시스템의 간략화된 구조를 도시한 것이다.
도 2는 본 발명의 일 실시예에 따라 이동 단말과 접속 가능한 홈 네트워크 시스템의 간략화된 구성을 도시한 것이다.
도 3은 본 발명의 일 실시예에 따른 홈 게이트웨이의 개략적인 구성을 나타낸 블록도이다.
도 4은 본 발명의 일 실시예에 따른 이동 단말의 개략적인 구성을 나타내는 블록도이다.
도 5는 본 발명의 일 실시예에 따른 홈 모니터링을 지원하는 홈 네트워크 시스템의 개략적인 구성을 도시한 것이다.
도 6은 본 발명의 일 실시예에 따른 카메라를 구비하는 이동식 홈 디바이스의 구성을 도시한 것이다.
도 7은 본 발명의 일 실시예에 따른 홈 디바이스의 등록 절차를 나타낸 메시지 흐름도이다.
도 8은 본 발명의 일 실시예에 따른 이동 단말의 등록 절차를 나타낸 메시지 흐름도이다.
도 9는 본 발명의 일 실시예에 따라 홈 네트워크 시스템에서 이루어지는 홈 모니터링 절차를 나타낸 것이다.
도 10은 본 발명의 다른 실시예에 따라 홈 네트워크 시스템에서 이루어지는 홈 모니터링 절차를 나타낸 것이다.
도 11은 본 발명의 일 실시예에 따른 홈 모니터링 절차를 나타낸 메시지 흐름도이다.
도 12는 본 발명의 다른 실시예에 따른 홈 모니터링 절차를 나타낸 메시지 흐름도이다.
도 13은 본 발명의 또 다른 실시예에 따른 홈 모니터링 절차를 나타낸 메시지 흐름도이다.
도 14는 본 발명의 일 실시예에 따른 홈 모니터링을 위한 이동 단말에서 원격 제어 어플의 실행을 위한 사용자 인터페이스(UI)를 도시한 것이다.
도 15는 본 발명의 일 실시예에 따른 원격 제어 어플의 홈 모니터링을 위한 화면 구성을 도시한 것이다.
도 16은 본 발명의 다른 실시예에 따른 원격 제어 어플의 홈 모니터링을 위한 화면 구성을 도시한 것이다.
도 17은 본 발명의 일 실시예에 따른 영상 데이터의 표시를 나타낸 것이다.
도 18은 본 발명의 다른 실시예에 따른 영상 데이터의 표시를 나타낸 것이다.
도 19a 및 도 19b는 본 발명의 일 실시예에 따른 이동식 카메라의 제어를 나타낸 화면이다.
도 20은 본 발명의 일 실시예에 따른 이동 단말에서 홈 네트워크 시스템에 대한 이상 상황의 알람을 나타낸 것이다.
도 21은 본 발명의 다른 실시예에 따른 원격 제어 어플의 홈 모니터링을 위한 화면 구성을 도시한 것이다.
도 22는 본 발명의 다른 실시예에 따른 이동 단말에서 홈 네트워크 시스템에 대한 이상 상황의 표시를 도시한 것이다.
도 23은 본 발명의 일 실시예에 따른 이동식 홈 디바이스의 이동 벡터 계산을 예시한 것이다.
이하 본 발명의 바람직한 실시 예를 첨부된 도면을 참조하여 상세히 설명한다. 그리고, 본 발명을 설명함에 있어서, 관련된 공지기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단된 경우 그 상세한 설명은 생략한다. 그리고 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 본 발명의 일 실시예에 따른 홈 네트워크 시스템의 간략화된 구조를 도시한 것이다.
도 1을 참조하면, 홈 네트워크 시스템은 제어 및 통신 기능을 가지는 홈 디바이스들(110) 및 홈 게이트웨이(HGW)(120)를 포함하여 구성된다. 홈 디바이스들(110)은 집 안(혹은 외부)에 위치하며 스마트 가전기기(Smart Appliance)(112), 보안기기(security devices)(114), 조명기구(Lighting devices)(116), 에너지기기(Energy devices)(118) 등을 포함한다. 일 예로 스마트 가전기기(112)는 텔레비전(Television: TV), 에어컨, 냉장고, 세탁기, 로봇 청소기, 가습기 등이 될 수 있으며, 보안기기(114)는 도어락, 보안 카메라, CCTV(Closed Circuit Television), 접촉, 소리, 움직임 등을 감지하는 보안 센서 등이 될 수 있고, 조명기구(116)는 LED(Light Emitting Diode), 램프 등이 될 수 있고, 에너지기기(118)은 난방기기, 전력측정기, 전력 소켓, 전기 콘센트, 멀티탭 등이 될 수 있다. 추가적으로 홈 디바이스들(110)은 개인 컴퓨터(Personal Computer: PC), IP 카메라, 인터넷 전화, 유/무선 전화, 가정 내의 이동 전화, 전기적으로 제어 가능한 커튼, 블라인드 등을 포함할 수 있다.
홈 디바이스들(110)은 유선 혹은 무선 통신 방식에 따라 홈 게이트웨이(110)와 통신 가능하며, 홈 게이트웨이(120)로부터 제어 명령을 수신하여 제어 명령에 따라 동작하고, 요구된 정보 및/또는 데이터를 홈 게이트웨이(120)에게 전송 가능하도록 구성될 수 있다.
홈 게이트웨이(120)는 독립적인 장치로 구현되거나 혹은 홈 게이트웨이 기능을 구비하는 장치로서 구현될 수 있다. 일 예로서 홈 게이트웨이(120)는 텔레비전, 핸드폰, 태블릿 컴퓨터, 셋톱박스, 로봇 청소기 혹은 개인 컴퓨터(Personal Computer)로 구현될 수 있다. 홈 게이트웨이(120)는 홈 디바이스들(110)과 유선 혹은 무선 통신 방식에 따라 통신하기 위한 해당 통신 모듈들을 구비하여, 홈 디바이스들(110)의 정보를 등록하여 저장하고, 홈 디바이스들(110)의 동작, 지원 가능한 기능 및 상태를 관리 및 제어하고, 홈 디바이스들(110)로부터 필요한 정보를 수집하여 저장할 수 있다. 특히, 홈 게이트웨이(120)는 인터넷(internet)과 같은 데이터 네트워크, 즉 IP 네트워크(130)와 연결되어, 인터넷(130)을 통해 통신 단말에 의한 접속을 허용하며, 통신 단말로부터 수신되는 제어 신호를 해당하는 홈 디바이스에게 전달할 수 있다. 또한 홈 게이트웨이(120)는 WiFi(Wireless Fidelity), 지그비(Zigbee), 블루투스(Bluetooth), NFC(Near Field Communication), z-wave와 같은 무선 통신 방식을 사용하여 통신 단말과 통신할 수 있다.
이상과 같이 구성되는 홈 네트워크 시스템에서는 인터넷(130)을 통한 인터넷 TV(IPTV), 주문형 비디오(Video on Demand: VoD) 등과 같은 홈 엔터테인먼트 서비스, 데이터 공유, 인터넷 전화(Voice over IP: VoIP) 및 영상전화와 같은 홈 데이터 통신 서비스, 가전 기기의 원격제어, 원격 검침, 방범, 방재와 같은 홈 오토메이션 서비스를 제공할 수 있다. 즉 홈 네트워크 시스템은 가정 내부/외부에서 사용되는 모든 형태의 홈 디바이스들을 하나의 네트워크로 연결하여 통제한다.
한편 사용자는 가정 외부에서 이동 단말과 같은 통신 단말을 이용하여, 홈 네트워크 시스템 내에 구비된 홈 게이트웨이에 접속하거나, 홈 게이트웨이를 통해 각 홈 디바이스에 원격으로 접속할 수 있다. 이동 단말은 일 예로서 통신 기능을 구비하는 개인 정보 단말기(Personal Digital Assistant: PDA), 스마트 폰(Smart Phone), 피처 폰, 태블릿 PC(Personal Computer), 노트북 등이 될 수 있으며, 사업자 네트워크와 인터넷을 통해 혹은 직접 홈 네트워크 시스템에 접근할 수 있다.
도 2는 본 발명의 일 실시예에 따라 이동 단말과 접속 가능한 홈 네트워크 시스템의 간략화된 구성을 도시한 것이다.
도 2를 참조하면, 홈 네트워크 시스템 내의 홈 디바이스들(110)은 유선 혹은 무선 통신 방식에 의해 홈 게이트웨이(120)에 접속된다. 홈 게이트웨이(120)는 인터넷과 같은 유선 네트워크(230)에 접속한다. 등록된 이동 단말(250)은 무선 액세스 네트워크 및 사업자 코어 네트워크를 포함하는 무선 네트워크(240)에 접속하며, 유선 네트워크(230)를 통해 홈 게이트웨이(220)에 접근할 수 있다. 무선 네트워크(240)는 2G(Generation) 혹은 3G 셀룰러 통신 시스템, 3GPP(3rd Generation Partnership Project), 4G 통신 시스템, LTE(Long-Term Evolution), WiMAX(World Interoperability for Microwave Access) 등이 될 수 있다. 또한 이동 단말(250)은 WiFi, 지그비, 블루투스, NFC, z-wave와 같은 무선 통신 방식을 사용하여 홈 게이트웨이(220)와 바로 통신하는 것도 가능하다.
도 3은 본 발명의 일 실시예에 따른 홈 게이트웨이의 개략적인 구성을 나타낸 블록도이다. 홈 게이트웨이는 도시된 구성요소들 중 적어도 하나 이상을 포함하여 구성될 수 있다.
도 3을 참조하면, 홈 게이트웨이(300)는 적어도 하나의 통신 모듈(312 내지 314)을 사용하여 홈 디바이스들(도시하지 않음)과 연결될 수 있다. 통신 모듈(312 내지 314)은 WiFi와 같은 무선 랜 모듈(312), 지그비 모듈(314), 블루투스 모듈(316), NFC 모듈(318), 유선 통신 모듈(320) 중 적어도 하나를 포함한다. 또한 홈 게이트웨이(300)는 제어부(310)와 네트워크 인터페이스 모듈(322)과 사용자 인터페이스(User Interface: UI)(324) 및 저장부(Storage)(326)를 포함한다.
제어부(310)는 CPU(Central Processing Unit)와 홈 게이트웨이(300)의 제어를 위한 제어 프로그램이 저장된 롬(Read-Only Memory: ROM) 및 홈 게이트웨이(300)에서 수행되는 작업들을 위한 기억 영역으로 사용되는 램(Random Access Memory: RAM)을 포함한다. 제어부(310)는 롬이나 램에 저장된 프로그램들 혹은 저장부(326)에 저장될 수 있는 응용 프로그램들의 실행에 의해 통신 모듈(312 내지 320)을 통해 홈 디바이스들과 통신하며, 제어 명령을 생성하여 홈 디바이스들로 전송하거나 홈 디바이스들로부터 수집된 정보를 저장부(326)에 저장한다.
사용자 인터페이스(324)는 디스플레이, 스피커, 알림 램프와 같은 출력 모듈과, 터치스크린, 키패드, 마이크와 같은 입력 모듈을 포함하며, 사용자가 직접 홈 게이트웨이(300)를 제어하거나, 홈 게이트웨이(300)에 홈 디바이스들을 등록 혹은 삭제하거나, 홈 게이트웨이(300)를 통해 홈 디바이스들을 제어하기 위해 사용될 수 있다.
네트워크 인터페이스(322)는 일 예로서 인터넷 통신 모듈이 될 수 있으며, 홈 게이트웨이(300)를 외부의 네트워크로 연결한다.
저장부(326)는 제어부(310)의 제어 하에 홈 게이트웨이(300)의 동작에 필요한 프로그램 코드, 데이터 혹은 정보를 저장할 수 있도록 구성되며, 필요시 외부의 디바이스들이나 홈 디바이스들로부터 전달되는 대용량의 데이터를 저장할 수 있다. 또한 저장부(326)는 홈 네트워크 시스템의 제어에 필요한 추가적인 정보, 일 예로서 가정 내의 구역들(일 예로 방, 주방, 거실, 욕실 등)의 배치를 포함하는 배치도(혹은 맵)와, 홈 네트워크 시스템 내에 존재하는 홈 디바이스들에 대한 정보, 보안 감시가 필요한 적어도 하나의 타겟 위치에 대한 정보, 이동식 홈 디바이스의 이동 제어를 위한 이동 명령들 중 적어도 하나를 더 저장할 수 있다.
도 4은 본 발명의 일 실시예에 따른 이동 단말의 개략적인 구성을 나타내는 블록도이다. 이동 단말은 도시된 구성요소들 중 적어도 하나 이상을 포함하여 구성될 수 있다.
도 4를 참조하면, 이동 단말(400)은 제어부(410), 셀룰러 이동 통신 모듈(420), 서브통신 모듈(422), 멀티미디어 모듈(428), 카메라 모듈(436), GPS(Global Positioning System) 모듈(438), 입/출력 모듈(444), 센서 모듈(442), 저장부(458), 전원공급부(440) 및 적어도 하나의 디스플레이 모듈(460)을 포함하여 구성된다. 서브통신 모듈(130)은 무선랜 모듈(424) 및 근거리통신 모듈(426) 중 적어도 하나를 포함하고, 멀티미디어 모듈(428)은 방송통신 모듈(430), 오디오재생 모듈(432) 및 동영상재생 모듈(434) 중 적어도 하나를 포함한다. 카메라 모듈(436)은 적어도 하나의 카메라를 포함하고, 입/출력 모듈(444)은 버튼 셋(button set)(446), 마이크(448), 스피커(450), 진동모터(452), 커넥터(454), 및 키패드(456) 중 적어도 하나를 포함한다.
제어부(410)는 CPU와, 이동 단말(400)의 제어를 위한 제어 프로그램이 저장된 ROM 및 이동 단말(400)의 외부로부터 입력되는 신호 또는 데이터를 기억하거나, 이동 단말(400)에서 수행되는 작업을 위한 기억영역으로 사용되는 RAM을 포함하며, 이동 단말(400)의 다른 구성요소들을 제어한다.
셀룰러 이동 통신 모듈(420)은 제어부(410)의 제어에 따라 셀룰러 통신 프로토콜에 따른 무선 액세스 기술을 사용하여, 이동 단말(400)가 적어도 하나 또는 복수의 안테나(도시되지 아니함)를 통해 외부 장치(특히 셀룰러 시스템의 기지국)와 연결되도록 한다. 셀룰러 이동 통신 모듈(420)은 통신 가능한 다른 기기와, 음성 통화, 화상 통화, 단문(Short Messaging Service: SMS) 메시지 또는 멀티미디어(Multimedia Messaging Service: MMS) 메시지를 담은 무선 신호를 송/수신한다. 또한 상기 셀룰러 이동 통신 모듈(420)은 어플리케이션 등의 제어를 위한 작은 데이터(short data)를 포함한 무선 신호를 송수신할 수 있다.
무선랜 모듈(424)은 제어부(410)의 제어에 따라 무선 AP(access point)(도시되지 아니함)가 설치된 장소에서 인터넷에 연결할 수 있다. 근거리통신 모듈(426)은 제어부(410)의 제어에 따라 이동 단말(400)와 외부 기기 사이에 무선으로 근거리 통신을 수행할 수 있다. 근거리 통신방식은 블루투스, 지그비, 적외선 통신(IrDA, infrared data association) 등을 포함할 수 있다.
디스플레이(460)은 제어부(410)에 의해 실행될 수 있는 다양한 어플리케이션(예, 통화, 데이터 전송, 방송, 카메라 등)의 정보를 표시하고 그에 적응되게 구성된 사용자 인터페이스를 제공하는 터치스크린으로 구성될 수 있다. 제어부(410)는 터치스크린 상에서 감지되는 사용자 제스처에 응답하여 터치스크린(460)에 표시된 소프트 키가 선택되게 하거나 또는 소프트 키에 대응하는 어플리케이션 혹은 기능을 실행할 수 있다. 상기 사용자 제스처는 손가락 혹은 기구에 의한 터치, 인체에 의한 모션 인식 등을 포함한다.
상기와 같이 구성되는 홈 네트워크 시스템에서 외부에 위치하는 사용자는 집안의 상황에 대한 모니터링 기능을 수행하기를 원할 수 있다. 이러한 경우 사용자는 소지하고 있는 이동 단말 혹은 컴퓨팅 장치를 사용하여 홈 게이트웨이에 접속하고, 홈 게이트웨이를 통해 등록된 홈 디바이스들 중 적어도 하나를 제어하여 집안의 상황을 모니터링할 수 있다.
도 5는 본 발명의 일 실시예에 따른 홈 모니터링을 지원하는 홈 네트워크 시스템의 개략적인 구성을 도시한 것이다.
도 5를 참조하면, 홈 네트워크 시스템(500)은 홈 게이트웨이(510)와, 카메라 모듈을 구비하는 적어도 하나의 고정식 홈 디바이스(혹은 고정식 카메라)(512a, 512b; 512라 통칭함)와, 카메라 모듈을 구비하는 적어도 하나의 이동식 홈 디바이스(혹은 이동식 카메라)(514)를 포함한다. 고정식 홈 디바이스(512)는 일 예로서 벽 혹은 천정과 같은 소정 위치에 구비되는 폐쇄회로 텔레비전(Closed Circuit Television: CCTV), 카메라 모듈을 구비하는 에어컨 혹은 냉장고와 같은 가전기기 등이 될 수 있으며, 유선 인터페이스를 통해 홈 게이트웨이(510)와 연결되거나 혹은 무선 인터페이스를 통해 홈 게이트웨이(510)와 연결될 수 있다.
이동식 홈 디바이스(514)는 이동 기능을 구비하는 로봇 청소기나 이동식 장난감 등이 될 수 있으며, 무선 인터페이스를 통해 홈 게이트웨이(510)와 연결되어 홈 게이트웨이(510)의 제어에 따라 이동할 수 있다. 홈 디바이스들(512,514) 중 적어도 하나는 카메라 혹은 센서를 통해 움직임을 감지하는 기능을 구비하며, 움직임 감지 결과를 홈 게이트웨이(510)로 보고할 수 있다. 또한 홈 디바이스들(512,514) 중 적어도 하나는 어두운 실내에서 영상을 촬영할 수 있도록 LED와 같은 조명을 구비할 수 있다.
추가적으로 감시가 필요한 위치에 설치된 하나 혹은 그 이상의 감지 모듈(516)이 유선 혹은 무선 인터페이스를 통해 홈 게이트웨이(510)에 연결될 수 있다. 감지 모듈(516)은 현관 문으로의 침입을 감지하는 도어 센서와, 창문의 파손에 의한 침입을 감지하는 마그네틱 센서, 초음파 센서, 가스렌지 등에 의한 가스 누출을 감지하는 가스 센서, 화재 발생을 감지하는 열 센서, 침입자 혹은 애완동물(pet)의 움직임을 감지하는 움직임 센서, 이상 소리를 감지하는 마이크 등이 될 수 있으며, 다양한 이상 상황의 발생을 모니터링하고, 해당 이상 상황이 감지되면 해당 식별자 정보를 포함하는 이상 신호를 유선 혹은 무선으로 송출하는 신호 송신 모듈을 포함한다. 일 실시예로서 상기 감지 모듈(516)은 감시가 필요한 고정된 위치에 설치되거나, 혹은 이동 가능한 홈 디바이스에 구비될 수 있다. 상기 이상 신호는 홈 게이트웨이(510)에 의해 수집되거나, 혹은 카메라를 구비하는 홈 디바이스(512,514)에 직접 전달될 수 있다.
홈 게이트웨이(510)는 홈 디바이스들(512,514)의 정보를 등록하고 상태를 관리한다. 고정식 홈 디바이스(512)의 경우, 홈 게이트웨이(510)는 홈 디바이스(512)가 설치된 위치, 일 예로서 안방의 제1 CCTV, 거실의 제2 및 제3 CCTV를 등록하고 관리한다. 이동식 홈 디바이스(514)의 경우, 홈 게이트웨이(510)는 홈 디바이스(514)의 도킹 위치(일 예로 로봇 청소기의 충전기)를 등록하고 관리하며, 추가적으로 홈 디바이스(514)의 현재 위치를 RF(Radio Frequency) 태그, 센서, 홈 디바이스(514)에 구비된 카메라 등을 사용하여 감지하고 추적할 수 있다.
또한 홈 게이트웨이(510)는 홈 디바이스(514)에게 움직임 제어를 위한 이동 명령을 전송하고 상기 이동 명령의 이력을 시간 정보와 함께 저장할 수 있다. 일 실시예로서 홈 게이트웨이(510)는 홈 디바이스(514)가 도킹 위치로부터 감시하고자 하는 적어도 하나의 위치로 이동한 후 다시 도킹 위치로 되돌아올 것을 지시하는 이동 명령들을 저장한다. 상기 감시하고자 하는 적어도 하나의 위치는 일 예로서 고정식 감지 모듈이 설치되지 않았거나, 보안에 취약하다고 판단되었거나, 어린아이나 애완 동물이 위치하는 장소로서, 사용자에 의해 설정될 수 있다. 다른 실시예로서 홈 게이트웨이(510)는 홈 네트워크 시스템이 보안 모드로 동작할 시, 홈 디바이스(514)가 도킹 위치와 감시하고자 하는 위치(들) 간의 경로를 패트롤하도록 설정할 수 있다.
홈 게이트웨이(510)는 홈 디바이스들(512,514)에 구비되는 카메라들을 통해 촬영되는 영상 데이터를 수집한다. 상기 영상 데이터의 수집은 실시간으로 지속적으로 이루어지거나, 혹은 소정의 이벤트 조건에 따라 개시될 수 있다. 상기 영상 데이터는 소정 시간 동안 혹은 사용자에 의해 삭제될 때까지 홈 게이트웨이(510) 혹은 외부 저장장치에 저장될 수 있다.
사용자는 사무실의 개인 컴퓨터(522)를 이용하여 인터넷(520)을 거쳐 홈 게이트웨이(510)에 접속하고, 홈 게이트웨이(510)에 의해 수집되는 영상 데이터를 확인할 수 있다. 또한 사용자는 이동 환경 중에 이동 단말(532)을 이용하여 무선 네트워크(530)와 인터넷(520)을 거쳐 홈 게이트웨이(510)에 접속하고, 홈 게이트웨이(510)에 의해 수집되는 영상 데이터를 확인할 수 있다.
고정식 홈 디바이스들(512)에 구비되는 카메라들의 방향 전환이 가능한 경우, 사용자는 개인 컴퓨터(522) 혹은 이동 단말(532)을 통해 홈 게이트웨이(510)로 제어 명령을 전송하며, 홈 게이트웨이(510)는 상기 제어 명령을 해당하는 홈 디바이스(512)로 전달한다. 상기 제어 명령은 고정식 카메라들의 방향 조절을 위한 상/하/좌/우 조절 명령 및 줌 인/아웃(Zoom In/Out) 명령 중 적어도 하나를 포함할 수 있다. 그러면 홈 디바이스(512)는 상기 제어 명령에 응답하여 카메라 렌즈를 제어하고, 제어된 카메라 렌즈를 통해 촬영된 영상 데이터를 홈 게이트웨이(510)로 전달한다.
또한 사용자는 개인 컴퓨터(522) 혹은 이동 단말(532)을 통해 이동식 카메라(혹은 카메라 모듈을 구비하는 이동식 홈 디바이스)(514)의 이동을 제어하기 위한 제어 명령을 홈 게이트웨이(510)로 전송하며, 홈 게이트웨이(510)는 상기 제어 명령을 해당하는 홈 디바이스(514)로 전달한다. 상기 제어 명령은 홈 디바이스(514)의 이동을 위한 좌/우 회전 명령, 전진/후진 이동 명령 및/또는 줌 인/아웃 명령을 포함할 수 있다. 그러면 홈 디바이스(514)는 상기 제어 명령에 응답하여 카메라 렌즈를 제어하거나 이동하고, 제어된 카메라 렌즈를 통해 촬영된 영상 데이터를 홈 게이트웨이(510)로 전달한다.
도 6은 본 발명의 일 실시예에 따른 카메라를 구비하는 이동식 홈 디바이스의 구성을 도시한 것이다. 여기에서는 로봇 청소기로 구현된 홈 디바이스의 구성을 도시하였다. 로봇 청소기는 도시된 구성요소들 중 적어도 하나 이상을 포함하여 구성될 수 있다.
도 6을 참조하면, 로봇 청소기(600)은 제어부(610), 카메라 모듈(612), 사용자 인터페이스(614), 센서 모듈(616), 통신 모듈(618), 저장부(620), 청소 모터(622), 이동 모터(624), 방향 모터(626), 전원 공급부(628)를 포함하여 구성된다.
제어부(610)는 CPU와, 로봇 청소기(600)의 청소 및 이동 제어를 위한 제어 프로그램이 저장된 ROM 및 로봇 청소기(600)의 외부로부터 입력되는 신호 또는 데이터를 기억하거나, 로봇 청소기(600)에서 수행되는 작업을 위한 기억영역으로 사용되는 RAM을 포함하며, 저장된 제어 프로그램 혹은 외부로부터 수신되는 제어 명령에 따라 로봇 청소기(600)의 기능을 제어하고, 카메라 모듈(612)에 의해 수집된 영상 데이터를 지정된 목적지로 전송하도록 통신 모듈(618)을 제어할 수 있다.
카메라 모듈(612)은 로봇 청소기(600) 외부의 소정 위치에 고정적으로 장착되고 주변 영상을 촬영하여 생성한 영상 데이터를 제공한다. 카메라 모듈(612)는 촬영 렌즈의 방향을 기구적으로 조절할 수 있도록 구성될 수 있으며, 제어부(610)로부터의 제어 명령에 응답하여 촬영 렌즈의 방향을 상/하/좌/우로 소정 각도 만큼 조절하거나 혹은 줌인/줌아웃 할 수 있다.
사용자 인터페이스(614)는 로봇 청소기(600)의 전원 온/오프, 로봇 고유 기능(예를 들어 청소 기능 등)의 설정을 위한 키 입력부와, 로봇 청소기(600)의 상태, 기능, 통신 상태 등을 나타내는 디스플레이부를 포함하여 구성된다. 센서 모듈(616)은 열 센서 혹은 움직임 센서 등으로 구성될 수 있으며, 감지 가능한 범위 내에서의 움직임을 감지하면 제어부(610)으로 움직임 감지를 보고한다. 통신 모듈(618)은 이동 통신 모듈 및/또는 무선랜 통신 모듈로 구성될 수 있으며, 홈 게이트웨이 및/또는 외부 기기와 무선 신호를 송수신한다. 구체적으로 통신 모듈(618)은 무선랜 혹은 지그비를 통해 홈 게이트웨이로부터 제어 명령을 수신하고, 무선랜 혹은 이동통신 방식을 통해, 카메라 모듈(612)에 의해 수집된 영상 데이터를 홈 게이트웨이로 전송할 수 있다.
저장부(620)는 제어부(610)의 제어 하에 카메라 모듈(612)에 의해 촬영된 영상 데이터를 소정 시간 혹은 소정 용량 내에서 저장할 수 있으며, 로봇 청소기(600)의 영상 모니터링을 위해 처리되는 데이터를 일시 저장한다. 또한 저장부(620)는 로봇 청소기(600)의 이동에 필요한 추가적인 정보, 일 예로서 가정 내의 방, 주방, 거실, 욕실의 배치를 포함하는 배치도와, 일 예로서 충전 시스템과 같은 도킹 위치에 대한 정보, 감시하고자 하는 적어도 하나의 타겟 위치에 대한 정보, 상기 도킹 위치와 상기 타겟 위치 간을 이동하기 위한 이동 명령들 중 적어도 하나를 더 저장할 수 있다.
청소 모터(622)는 제어부(610)의 제어에 따라 구동되어 로봇 청소기(600)의 청소 기능을 실행한다. 이동 모터(624)는 제어부(610)의 제어에 따라 구동되어 로봇 청소기(600)이 전진 혹은 후진 이동하도록 한다. 방향 모터(626)은 제어부(610)의 제어에 따라 구동되어 로봇 청소기(600)가 이동 방향을 전환하도록 한다. 전원 공급부(628)는 충전지에 충전되어 있는 전압을 로봇 청소기(600)의 구동에 필요한 각 동작 회로에 공급하고, 외부로부터 공급되는 전원에 의해 충전지를 충전시킨다.
도 5와 같이 구성되는 홈 네트워크 시스템에서, 홈 게이트웨이는 가정 내부/외부에 설치된 홈 디바이스들의 정보를 등록하고, 상기 등록된 홈 디바이스들을 제어 및 관리한다. 일 예로 홈 게이트웨이는 새로운 홈 디바이스가 설치되면, 상기 홈 디바이스에 대한 정보, 일 예로서 상기 홈 디바이스의 식별자와, 위치 정보, 성능(capacity) 정보와, 상태 정보 중 적어도 하나를 수집하여 저장한다. 상기 홈 디바이스에 대한 정보는 홈 게이트웨이와 홈 디바이스 간의 서비스 탐색(Service Discovery) 절차를 통해 홈 디바이스로부터 직접 획득되거나, 혹은 홈 디바이스로부터 제공되는 식별 정보를 기반으로 인터넷 상의 서버로부터 홈 게이트웨이로 수신되거나, 혹은 사용자 혹은 시스템 관리자(administrator)로부터 홈 게이트웨이에 직접 입력될 수 있다. 일 예로서 사용자가 새로운 홈 디바이스를 구입하여 설치하고, 홈 디바이스 혹은 그 사용 설명서를 통해 제공되는 식별 정보, 일 예로 일련번호, 모델번호, QR(Quick Response) 코드를 홈 게이트웨이에 입력하면, 홈 게이트웨이는 상기 식별 정보를 기반으로 인터넷 상의 제조사 서버에 접속하여 상기 홈 디바이스에 대한 정보를 획득할 수 있다.
도 7은 본 발명의 일 실시예에 따른 홈 디바이스의 등록 절차를 나타낸 메시지 흐름도이다.
도 7을 참조하면, 과정 702에서 홈 디바이스가 설치되고 처음으로 전원이 공급된다. 혹은 기 설치된 홈 디바이스에 대해 홈 게이트웨이에 등록할 것으로 사용자가 결정한다. 과정 704에서 홈 게이트웨이는 홈 디바이스에 대한 탐색 절차를 수행한다. 일 예로서 홈 디바이스가 홈 게이트웨이에 WiFi로 연결되는 경우, 홈 게이트웨이는 주기적으로 혹은 사용자의 요청에 의해 주변의 새로운 디바이스에 대한 탐색 절차를 수행한다. 상기 탐색 절차를 통해 홈 디바이스가 홈 게이트웨이에 의해 검출되면, 홈 게이트웨이는 홈 디바이스에 대한 정보를 홈 디바이스로부터 수신한다. 상기 홈 디바이스에 대한 정보는, 상기 홈 디바이스의 식별자와, 성능(capacity) 정보와, 상태 정보 중 적어도 하나를 포함한다. 일 예로 상기 홈 디바이스가 보안 카메라인 경우, 상기 성능 정보는 보안 카메라의 각도 조절 가능 여부, 줌인/줌아웃 지원 여부 등을 포함하며, 상기 상태 정보는 상기 보안 카메라가 설치된 위치를 포함한다.
선택 가능한 실시예로서, 과정 706에서 홈 게이트웨이는 등록하고자 하는 홈 디바이스에 대한 등록 요청을, 자신의 사용자 인터페이스를 통해 혹은 외부 인터페이스에 의해 접속된 제어 콘솔을 통해 혹은 인터넷 상의 컴퓨터를 통해, 사용자로부터 직접 수신하며, 상기 홈 디바이스에 대한 정보를 사용자로부터 입력받는다. 또 다른 실시예로서 홈 게이트웨이는 홈 디바이스로부터 혹은 사용자로부터 홈 디바이스에 대한 식별 정보 및/또는 상태 정보를 획득하며, 상기 식별 정보를 기반으로 인터넷 상의 제조사 서버에 접속하여 상기 홈 디바이스에 대한 성능 정보를 획득할 수 있다.
과정 708에서 홈 게이트웨이는 상기 홈 디바이스에 대한 정보를 저장하고 등록된 홈 디바이스로서 관리한다. 선택 가능한 실시예로서 홈 게이트웨이는 사용자로부터 직접, 혹은 인터넷이나 와이파이를 통해 원격 단말로부터 상기 홈 디바이스에 대한 추가 정보를 입력받을 수 있다. 상기 추가 정보는 일 예로서 상기 홈 디바이스의 이름 혹은 별명, 상기 홈 디바이스가 설치된 위치 중 적어도 하나를 포함할 수 있다.
선택 가능한 또 다른 실시예로서, 홈 게이트웨이는 사용자로부터 직접, 인터넷이나 와이파이를 통해 원격 단말로부터, 상기 홈 디바이스의 모드 및/또는 권한에 대한 추가 정보를 입력받을 수 있다. 상기 추가 정보는 일 예로서 상기 홈 디바이스에 대한 접근 권한의 레벨을 포함한다. 상기 접근 권한의 레벨은 일 예로서, 권한 우선순위, 홈 게이트웨이를 통한 접근만을 허용, 혹은 등록된 원격 단말에 의한 접근을 허용, 혹은 홈 게이트웨이에 등록된 원격 단말에 의한 접근을 허용 등을 포함한다.
과정 710에서 홈 게이트웨이는 필요한 경우 홈 디바이스와 접속을 설정한다. 상기 접속의 설정은, 홈 게이트웨이와 홈 디바이스간 통신 방식, 즉 WiFi, 지그비, 블루투스, NFC, 혹은 유선 통신 방식의 정해진 절차에 따라 수행된다. 상기와 같이 홈 게이트웨이와 홈 디바이스간에 접속이 설정되면, 과정 712에서 필요한 경우 홈 디바이스는 상기 설정된 접속을 통해 홈 게이트웨이에게 데이터를 전송할 수 있다. 일 실시예로서 상기 홈 디바이스가 보안 카메라, 혹은 보안 카메라 기능을 구비하는 가전기기인 경우, 상기 홈 디바이스는 홈 게이트웨이에게 실시간으로 촬영된 영상 데이터를 전송한다. 또한 과정 714에서 필요한 경우 홈 게이트웨이는 홈 디바이스에게 제어 명령을 전송할 수 있다. 일 예로서 홈 게이트웨이는 홈 디바이스에 구비된 보안 카메라를 위해 각도 조절 및/또는 줌인/줌아웃 명령을 전송하며, 홈 디바이스는 상기 명령에 응답하여 카메라 렌즈의 각도를 조절하거나 줌인/줌아웃을 실행하고, 그에 따른 영상 데이터를 계속하여 전송한다. 다른 실시예로서 홈 디바이스가 에어컨인 경우, 상기 제어 명령은 희망 온도, 원하는 바람 세기, 동작 시간, 예약 시간 등을 포함할 수 있다. 적용되는 통신 방식에 따라 홈 디바이스는 홈 게이트웨이에게 상기 제어 명령의 수행 결과를 응답할 수 있다.
도 5와 같이 구성되는 홈 네트워크 시스템에서, 사용자는 원격 제어를 위한 개인 컴퓨터(PC) 혹은 이동 단말(MS)을 홈 게이트웨이에 등록하고, 홈 게이트웨이는 등록된 PC 혹은 이동 단말에 의한 원격 제어를 제한적으로 허용할 수 있다. 일 예로 사용자는 이동 통신 네트워크 혹은 WiFi를 사용하여 혹은 수동으로, 원격 제어를 위해 사용할 이동 단말을 홈 게이트웨이에게 등록하며, 홈 게이트웨이는 상기 이동 단말에 대한 정보, 일 예로서 상기 이동 단말의 식별자와, 원격 제어 권한, 사용자 모드에 대한 정보를 수신하여 저장한다. 상기 이동 단말에 대한 정보는 홈 게이트웨이와 이동 단말의 접속을 통해 이동 단말로부터 직접 획득되거나, 혹은 이동 단말로부터 제공되는 식별 정보를 기반으로 무선 통신 시스템의 서버로부터 홈 게이트웨이로 수신되거나, 혹은 사용자 혹은 시스템 관리자로부터 홈 게이트웨이로 직접 입력될 수 있다.
도 8은 본 발명의 일 실시예에 따른 이동 단말의 등록 절차를 나타낸 메시지 흐름도이다.
도 8을 참조하면, 과정 802에서 이동 단말은 홈 네트워크 시스템의 제어를 지원하는 원격 제어 어플리케이션(이하 어플이라 칭함)을 설치한다. 선택 가능한 실시예로서 상기 원격 제어 어플은 소정의 인증 절차를 통과한 사용자의 이동 단말에만 설치되도록 제한될 수 있다. 일 예로서 홈 게이트웨이는 인증 번호를 제공하며, 홈 게이트웨이, 홈 게이트웨이의 제조사 서버 혹은 원격 제어 어플의 제공 서버는 상기 인증 번호를 입력하는 사용자의 이동 단말에게만 원격 제어 어플의 다운로드를 허용한다. 선택 가능한 다른 실시예로서 상기 원격 제어 어플리케이션은 이동 단말의 권한 레벨에 따라 제한적인 기능을 제공할 수 있다. 일 예로서 원격 제어 어플은 홈 게이트웨이를 통한 정보 조회, 홈 게이트웨이로부터의 알람 수신, 홈 디바이스들의 부분적인 제어, 홈 디바이스들의 완전한 제어 중 적어도 하나에 대한 기능을, 홈 게이트웨이에 의해 허용된 권한 레벨에 따라 선택적으로 제공할 수 있다.
과정 804에서 이동 단말은 상기 원격 제어 어플을 실행하고 상기 원격 제어 어플을 통해 홈 게이트웨이에게 등록 요청 메시지를 전송한다. 상기 원격 제어 어플은 인터넷을 통해 홈 게이트웨이에게 전달되거나 직접 WiFi를 통해 홈 게이트웨이에 전달될 수 있다. 상기 등록 요청 메시지는, 상기 이동 단말의 식별자(일 예로 MSID(MS Identifier) 혹은 IMSI(International Mobile Subscriber Identify)), 로그인 아이디 및 비밀번호, 권한 정보, 모드 정보 중 적어도 하나를 포함한다. 상기 권한 정보는 홈 네트워크 시스템에 대한 접근 권한의 레벨을 나타내며, 일 예로서 홈 게이트웨이를 통한 정보 조회를 허용, 홈 게이트웨이로부터의 알람 수신을 허용, 홈 디바이스들의 제어를 부분적으로 허용, 홈 디바이스들의 제어를 완전히 허용 등을 나타낸다.
선택 가능한 실시예로서, 과정 806에서 홈 게이트웨이는 등록하고자 하는 이동 단말에 대한 등록 요청을 자신의 사용자 인터페이스를 통해 혹은 외부 인터페이스에 의해 접속된 제어 콘솔을 통해 혹은 인터넷 상의 컴퓨터를 통해, 사용자로부터 수신하며, 상기 이동 단말에 대한 정보, 일 예로서 권한 정보 및/또는 모드 정보를 사용자로부터 입력받을 수 있다.
선택 가능한 실시예로서 과정 808에서 홈 게이트웨이는 이동 단말로부터 혹은 사용자로부터 이동 단말에 대한 획득한 식별 정보를 기반으로 이동 통신 네트워크의 가입자 서버에 접속하여 이동 단말을 인증할 수 있다. 이동 단말의 권한 정보가 입력되지 않은 경우, 홈 게이트웨이는 상기 인증 결과에 따라 이동 단말의 권한 정보를 생성할 수 있다.
과정 810에서 홈 게이트웨이는 상기 이동 단말에 대한 정보를 저장하고, 등록된 이동 단말로서 관리한다. 과정 812에서 홈 게이트웨이는 상기 이동 단말에 대한 정보가 성공적으로 등록되었음을 나타내는 등록 승인 메시지를 상기 이동 단말에게 전송한다.
과정 814에서 필요한 경우 홈 게이트웨이는 이동 단말에게 원격 제어를 위해 요구되는 데이터를 전송할 수 있다. 일 실시예로서 홈 게이트웨이는 가정 내부/외부에 설치된 적어도 하나의 보안 카메라에 의해 촬영된 영상 데이터를 실시간으로 혹은 주기적으로 혹은 이벤트 트리거식으로 이동 단말에게 전송한다. 다른 실시예로서 홈 게이트웨이는 가정 내부/인근의 조명, 전력 소비, 도어 개폐에 대한 상태 정보를 실시간으로, 혹은 주기적으로, 혹은 이벤트 트리거식으로 이동 단말에게 전송한다. 과정 816에서 필요한 경우 이동 단말은 홈 게이트웨이에게 홈 게이트웨이 혹은 적어도 하나의 홈 디바이스를 위한 제어 명령을 전송할 수 있다. 일 예로서 이동 단말은 홈 게이트웨이에게 특정 위치의 보안 카메라에 의한 영상 데이터를 실시간으로 전송할 것을 요구할 수 있다. 다른 실시예로서 이동 단말은 홈 게이트웨이를 통해 보안 카메라에게 각도 조절 및/또는 줌인/줌아웃 명령을 전송할 수 있다.
도 9는 본 발명의 일 실시예에 따라 홈 네트워크 시스템에서 이루어지는 홈 모니터링 절차를 나타낸 것이다.
도 9를 참조하면, 홈 네트워크 시스템(900)은 홈 게이트웨이(910)와, 카메라를 구비하는 적어도 하나의 고정식 홈 디바이스(912a, 912b; 912라 통칭함)와, 카메라를 구비하는 적어도 하나의 이동식 홈 디바이스(914)를 포함한다. 고정식 홈 디바이스(912)는 일 예로서 벽 혹은 천정과 같은 소정 위치에 구비되는 폐쇄회로 텔레비전(CCTV), 카메라 모듈을 구비하는 에어컨 혹은 냉장고와 같은 가전기기 등이 될 수 있으며, 유선 인터페이스를 통해 홈 게이트웨이(910)와 연결되거나 혹은 무선 인터페이스를 통해 홈 게이트웨이(910)와 연결될 수 있다. 이동식 홈 디바이스(914)는 이동 기능을 구비하는 로봇 청소기나 이동식 장난감 등이 될 수 있으며, 무선 인터페이스를 통해 홈 게이트웨이(910)와 연결될 수 있다.
홈 게이트웨이(910)는 사용자의 요청에 따라 혹은 미리 정해지는 설정에 따라 홈 네트워크 시스템(900)을 보안 모드로 동작시킬 수 있다. 보안 모드가 개시되면 카메라를 구비하는 홈 디바이스(912,914)는 영상 데이터를 촬영하기 시작하며 상기 영상 데이터를 저장하거나 혹은 홈 게이트웨이(910)로 보고한다. 일 실시예로서 보안 모드가 개시되면, 홈 게이트웨이(910)는 이동식 홈 디바이스(914)를 사용자의 요구에 따라 미리 설정된 특정 위치, 일 예로 주방 창문 혹은 뒷문 등으로 이동하여 영상 데이터의 촬영 및 감지 기능을 수행하도록 지시할 수 있다. 구체적으로 이동식 홈 디바이스(914)는 고정식 감지 모듈이 설치되지 않은, 보안이 취약한 위치의 감시를 강화하기 위해 사용될 수 있다.
홈 네트워크 시스템(900)의 외부에 위치하는 사용자는 가정 내부/인근의 상황을 확인하기를 원하는 경우, 이동 단말(922)을 통해 홈 모니터링을 지원하는 원격 제어 어플을 실행하고 홈 모니터링 기능을 선택한다. 그러면 과정 930에서 이동 단말(922)은 네트워크(920)를 거쳐 혹은 직접 홈 게이트웨이(910)에 접속하고, 홈 게이트웨이(910)에게 홈 모니터링의 요청 메시지를 전송한다. 과정 932에서 홈 게이트웨이(910)는 상기 요청 메시지에 응답하여 카메라를 구비하는 적어도 하나의 홈 디바이스(912,914)로부터 영상 데이터를 수집한다. 과정 934에서 홈 게이트웨이(910)는 적어도 하나의 홈 디바이스(912,914)로부터 수집된 영상 데이터를 이동 단말(922)에게 전송한다. 이동 단말(922)은 사용자가 확인할 수 있도록 상기 영상 데이터를 디스플레이한다.
일 실시예로서 홈 게이트웨이(910)는 시스템 내의 카메라를 구비하는 모든 홈 디바이스(912,914)로부터의 영상 데이터를 수집하여 이동 단말(922)로 제공한다. 다른 실시예로서 홈 게이트웨이(910)는 홈 모니터링을 위해 미리 등록된 적어도 하나의 홈 디바이스(912,914)로부터의 영상 데이터를 수집하여 이동 단말(922)로 제공한다.
상기 영상 데이터는 이동 단말(922)에서 실행되는 원격 제어 어플의 설정에 따라, 원래 해상도로 전달되거나 혹은 압축된 작은 해상도의 형태로 전달될 수 있다. 홈 디바이스(912,914)가 실시간으로 영상 데이터를 홈 게이트웨이(910)에게 전송하고 홈 게이트웨이(910)가 상기 영상 데이터를 저장하고 있는 경우, 홈 게이트웨이(910)은 영상 데이터의 전송 요청 없이 실시간으로 수집되는 영상 데이터를 이동 단말(922)에게 전송한다. 다른 실시예로서 홈 게이트웨이(910)는 이동 단말(922)로부터의 홈 모니터링의 요청 메시지를 수신하면, 적어도 하나의 홈 디바이스(912,914)에게 영상 데이터의 전송을 요청하고 상기 요청에 응답하여 홈 디바이스(912,914)로부터 영상 데이터를 수신할 수 있다.
과정 936에서 이동 단말(922)는 다른 카메라의 영상을 선택하거나 혹은 특정 카메라의 위치, 각도, 줌을 변경하기 위한 제어 명령을 홈 게이트웨이(910)로 전송한다. 과정 938에서 홈 게이트웨이(910)은 선택된 카메라를 구비하는 홈 디바이스(일 예로서 914)에게 상기 제어 명령을 전달한다. 과정 940에서 홈 디바이스(914)는 상기 제어 명령에 응답하여 이동하거나 혹은 카메라 렌즈를 제어한 후 촬영된 영상 데이터를 홈 게이트웨이(910)으로 전달하며, 과정 942에서 홈 게이트웨이(910)는 상기 영상 데이터를 이동 단말(922)에 전달한다. 이동 단말(922)은 사용자가 확인할 수 있도록 상기 영상 데이터를 디스플레이한다.
도 10은 본 발명의 다른 실시예에 따라 홈 네트워크 시스템에서 이루어지는 홈 모니터링 절차를 나타낸 것이다.
도 10을 참조하면, 홈 네트워크 시스템(1000)은 홈 게이트웨이(1010)와, 카메라를 구비하는 적어도 하나의 고정식 홈 디바이스(1012)와, 카메라를 구비하는 적어도 하나의 이동식 홈 디바이스(1014)를 포함한다. 고정식 홈 디바이스(1012)는 일 예로서 벽 혹은 천정과 같은 소정 위치에 구비되는 폐쇄회로 텔레비전(CCTV), 카메라 모듈을 구비하는 에어컨 혹은 냉장고와 같은 가전기기 등이 될 수 있으며, 유선 인터페이스를 통해 홈 게이트웨이(1010)와 연결되거나 혹은 무선 인터페이스를 통해 홈 게이트웨이(1010)와 연결될 수 있다.
이동식 홈 디바이스(1014)는 이동 기능을 구비하는 로봇 청소기나 이동식 장난감 등이 될 수 있으며, 무선 인터페이스를 통해 홈 게이트웨이(1010)와 연결될 수 있다. 홈 디바이스들(1012,1014) 중 적어도 하나는 카메라 혹은 센서를 통해 움직임을 감지하는 기능을 구비하며, 움직임 감지 결과를 홈 게이트웨이(1010)로 보고할 수 있다. 또한 홈 디바이스들(1012,1014) 중 적어도 하나는 어두운 실내에서 영상을 촬영할 수 있도록 LED와 같은 조명을 구비할 수 있다.
하나 혹은 그 이상의 감지 모듈(1016)은 감시가 필요하다고 판단되는 위치에 설치되거나 혹은 이동식 홈 디바이스(1014)에 구비되어, 유선 혹은 무선 인터페이스를 통해 홈 게이트웨이(1010)에 연결될 수 있다. 감지 모듈(1016)은 현관 문으로의 침입을 감지하는 도어 센서와, 창문의 파손에 의한 침입을 감지하는 마그네틱 센서, 초음파 센서, 가스렌지 등에 의한 가스 누출을 감지하는 가스 센서, 화재 발생을 감지하는 열 센서, 침입자 혹은 애완동물(pet)의 움직임을 감지하는 움직임 센서가 될 수 있으며, 홈 네트워크 시스템이 보안 모드로 동작할 시 이상 상황이 감지되면 자신의 식별자 정보를 포함하는 이상 신호를 유선 혹은 무선으로 송출하는 신호 송신 모듈을 포함한다. 상기 이상 신호는 홈 게이트웨이(1010)에 의해 수집되거나, 혹은 카메라를 구비하는 홈 디바이스(1012,1014)에 직접 전달될 수 있다.
홈 게이트웨이(1010)는 사용자의 요청에 따라 혹은 미리 정해지는 설정에 따라 홈 네트워크 시스템(1000)을 보안 모드로 동작시킬 수 있다. 보안 모드가 개시되면 카메라를 구비하는 홈 디바이스(1012,1014)는 영상 데이터를 촬영하기 시작하며 상기 영상 데이터를 저장하거나 혹은 홈 게이트웨이(1010)로 보고한다. 홈 게이트웨이(1010)는 이동식 홈 디바이스(1014)가 감시가 추가로 필요한 적어도 하나의 타겟 위치, 일 예로 감지 모듈이 설치되지 않은 위치, 침입 가능성이 높은 위치, 어린아이나 애완 동물이 위치하는 장소 등으로 도달할 수 있는 이동 명령들을 시간 정보와 함께 저장할 수 있다. 이동식 홈 디바이스(1014)는 보안 모드가 실행되면 도킹 위치로부터 적어도 하나의 타겟 위치 사이의 경로를 패트롤하면서, 영상 데이터를 촬영하고 감지 동작을 수행하도록 구성될 수 있다. 이동식 홈 디바이스(1014)는 상기 이동 명령들을 자체적으로 저장할 수 있다.
보안 모드에서 감지 모듈(1016)은 감지 동작을 시작한다.
과정 1030에서 감지 모듈(1016)은 이상 상황을 감지하고, 자신의 식별자 정보를 포함하는 이상 신호를 홈 게이트웨이(1010)로 전송한다. 선택 가능한 실시예로서 홈 게이트웨이(1010)가 유선 연결 혹은 무선 접속을 통해 감지 모듈(1016)의 신원 혹은 위치를 식별 가능한 경우, 식별자 정보의 전송은 생략될 수 있다.
과정 1032에서 홈 게이트웨이(1010)는 상기 이상 신호의 수신에 응답하여 등록된 적어도 하나의 이동 단말(1022)에게 이상 상황의 알람 메시지를 전송하며, 이동 단말(1022)은 홈 게이트웨이(1010)으로부터의 알람 메시지의 수신에 응답하여 경고 메시지를 디스플레이 혹은 출력할 수 있다. 선택 가능한 실시예로서 홈 게이트웨이(1010)는 사전에 등록된 시나리오들에 근거하여 상기 감지 모듈(1016)에 의한 이상 상황을 이동 단말(1022)에게 통보할지 여부를 판단할 수 있다. 일 실시예로서 사용자는 외출시 어린아이 혹은 애완 동물이 안방에 위치한다는 시나리오를 홈 게이트웨이(1010)에 등록할 수 있다. 그러면 홈 게이트웨이(1010)는 안방에 위치한 열 혹은 움직임 감지를 정상 상황으로 판단하고, 이동 단말(1022)에게 알람 메시지를 전송하지 않을 것으로 결정한다. 다른 실시예로서 주방에 음식의 조리가 진행중이거나 혹은 예약되어 있는 경우, 사용자는 주방에서 열이 발생한다는 시나리오를 홈 게이트웨이(1010)에 등록할 수 있다. 그러면 홈 게이트웨이(1010)는 주방에서 발생하는 열 혹은 움직임 감지를 정상 상황으로 판단하고, 이동 단말(1022)에게 알람 메시지를 전송하지 않을 것으로 결정한다. 등록된 시나리오 이외의 상황이 발생한 경우, 홈 게이트웨이(1010)는 이동 단말(1022)에게 이상 상황을 통보할 것으로 판단한다. 다른 실시예로서 홈 게이트웨이(1010)는 현관 문이나 창문이 열림을 감지하거나, 움직임을 감지하는 등의 등록된 이상 시나리오에 대응하는 상황이 발생한 경우, 이동 단말(1022)에게 이상 상황을 통보할 것으로 판단한다.
과정 1034에서 이동 단말(1022)은 홈 게이트웨이(1010)으로부터의 알람 메시지의 수신에 응답하여 자동으로 혹은 사용자의 입력(터치 혹은 음성)에 따라 홈 모니터링을 지원하는 원격 제어 어플을 실행하여 네트워크(1020)를 거쳐 홈 게이트웨이(1010)에 접속하고, 홈 게이트웨이(1010)에게 홈 모니터링의 요청 메시지를 전송한다.
과정 1036에서 홈 게이트웨이(1010)는 상기 요청 메시지에 응답하여 카메라를 구비하는 적어도 하나의 홈 디바이스(1012,1014)로부터 영상 데이터를 수집하고, 과정 1038에서 상기 수집된 영상 데이터를 이동 단말(1022)에게 전송한다. 이동 단말(1022)은 사용자가 확인할 수 있도록 상기 영상 데이터를 디스플레이한다.
일 실시예로서 홈 게이트웨이(1010)는 이상 상황이 감지된 감지 모듈(1016)과 동일한 공간(일 예로 방)에 위치하는 미리 등록된 적어도 하나의 홈 디바이스(1012,1014)로부터의 영상 데이터를 수집하여 이동 단말(1022)로 제공한다. 다른 실시예로서 홈 게이트웨이(1010)는 카메라를 구비하는 모든 홈 디바이스(1012,1014)로부터의 영상 데이터를 수집하여 이동 단말(1022)로 제공한다. 또 다른 실시예로서 홈 게이트웨이(1010)는 홈 모니터링을 위해 미리 등록된 적어도 하나의 홈 디바이스(1012,1014)로부터의 영상 데이터를 수집하여 이동 단말(1022)로 제공한다.
상기 영상 데이터는 이동 단말(1022)에서 실행되는 원격 제어 어플의 설정에 따라, 원래 해상도로 전달되거나 혹은 압축된 작은 해상도의 형태로 전달될 수 있다. 홈 디바이스(1012,1014)가 실시간으로 영상 데이터를 홈 게이트웨이(1010)에게 전송하고 홈 게이트웨이(1010)가 상기 영상 데이터를 저장하고 있는 경우, 홈 게이트웨이(1010)은 영상 데이터의 전송 요청 없이 실시간으로 수집되는 영상 데이터를 이동 단말(1022)에게 전송한다. 다른 실시예로서 홈 게이트웨이(1010)는 이동 단말(1022)로부터의 홈 모니터링의 요청 메시지를 수신하면, 적어도 하나의 홈 디바이스(1012,1014)에게 영상 데이터의 전송을 요청하고 상기 요청에 응답하여 홈 디바이스(1012,1014)로부터 영상 데이터를 수신할 수 있다.
과정 1040에서 이동 단말(1022)은 다른 카메라의 영상을 선택하거나 혹은 특정 카메라의 위치, 각도, 줌을 변경하기 위한 제어 명령을 홈 게이트웨이(1010)로 전송한다. 과정 1042에서 홈 게이트웨이(1010)은 선택된 카메라를 구비하는 홈 디바이스(일 예로서 1014)에게 상기 제어 명령을 전달한다. 과정 1044에서 홈 디바이스(1014)는 상기 제어 명령에 응답하여 이동하거나 혹은 카메라 렌즈를 제어한 후 촬영된 영상 데이터를 홈 게이트웨이(1010)으로 전달하며, 과정 1046에서 홈 게이트웨이(1010)는 상기 영상 데이터를 이동 단말(1022)에 전달한다. 이동 단말(1022)은 사용자가 확인할 수 있도록 상기 영상 데이터를 디스플레이한다.
한편, 홈 게이트웨이(1010)는 감지 모듈(1016)로부터 이상 신호를 수신한 경우, 이동 단말(1022)에게 알람 메시지를 전송하는 것과 함께, 과정 1048에서 긴급구조 센터(1024)로 알람 메시지를 전송할 수 있다. 상기 알람 메시지는 이상 상황에 대한 정보와 이상 상황이 발생한 위치(집 주소 등)를 포함하며, 인터넷과 같은 네트워크(1020)를 통해 긴급구조 센터(1024)로 전송된다. 긴급구조 센터(1024)의 연락처(전화번호, 목적지 IP 주소 등)는 사용자 혹은 제조사에 의해 홈 게이트웨이(1010)에 미리 설정될 수 있다. 상기 긴급구조 센터(1024)는 일 예로서 인근의 경찰서, 파출소, 소방서, 119 센터, 소방서, 혹은 복합건물이나 집합건물에 대응되는 아파트, 빌딩 등의 경비실, 사설 경비 용역 업체가 될 수 있다.
도 11은 본 발명의 일 실시예에 따른 홈 모니터링 절차를 나타낸 메시지 흐름도이다.
도 11을 참조하면, 과정 1102에서 이동 단말은 사용자의 요청(터치 입력 혹은 음성 명령)에 응답하여 혹은 미리 설정되는 실행 조건에 따라 홈 모니터링 기능을 가지는 원격 제어 어플을 실행한다. 상기 원격 제어 어플은 실행되면서 홈 게이트웨이와 접속하여 로그인 절차를 수행하거나, 혹은 기 수행된 로그인 절차를 확인함으로써 홈 게이트웨이와의 접속을 승인할 수 있다. 과정 1104에서 홈 게이트웨이는 이동 단말에 의한 홈 모니터링의 요청과 관계없이 홈 네트워크 시스템에 설치된 카메라 모듈을 가지는 적어도 하나의 홈 디바이스로부터 실시간으로 혹은 주기적으로 영상 데이터를 수집하여 저장하고 있을 수 있다.
과정 1106에서 이동 단말은 원격 제어 어플을 통해 홈 게이트웨이에게 홈 모니터링 요청 메시지를 전송한다. 상기 홈 모니터링 요청 메시지는 홈 게이트웨이에 대한 접속을 위한 로그인 아이디 및 비밀번호, 이동 단말의 식별자, 기 획득한 인증 정보 중 적어도 하나를 포함할 수 있다. 선택 가능한 실시예로서 사용자로부터 모니터링을 원하는 구역(방1/방2/주방/거실 등)에 대한 요구가 입력된 경우, 상기 홈 모니터링 요청 메시지는 모니터링을 원하는 구역에 대한 정보를 더 포함할 수 있다.
과정 1108에서 홈 게이트웨이는 상기 홈 모니터링 요청 메시지에 응답하여 상기 이동 단말의 권한을 확인하고, 상기 이동 단말이 홈 모니터링을 위한 영상 데이터를 수신 가능한 권한 레벨을 가지는 경우, 이동 단말에게 가정 내에 모니터링될 위치들 및/또는 카메라 모듈을 가지는 적어도 하나의 홈 디바이스에 대한 모니터링 정보를 전달한다. 상기 모니터링 정보는 모니터링 가능한 혹은 모니터링되고 있는 위치들(예를 들어 방/거실/주방 등) 및 설치된 각 카메라 모듈에 대한 카메라 정보를 포함할 수 있다. 상기 카메라 정보는 각 카메라 모듈이 설치된 위치와 종류(예를 들어 이동식/고정식 등) 및 상태(예를 들어 활성/비활성, 충전중, 이동가능, 홈 게이트웨이에 의해 측정되는 무선 신호 세기 등) 중 적어도 하나를 포함한다. 상기 모니터링 정보는 각 카메라 모듈에 의해 수집되는 영상 데이터의 썸네일 정지영상 혹은 썸네일 동영상을 더 포함할 수 있다.
과정 1110에서 이동 단말은 원격 제어 어플을 통해 상기 모니터링 정보를 식별하고, 영상을 확인하고자 하는 장소 혹은 카메라를 선택한다. 과정 1112에서 이동 단말은 선택된 장소 혹은 카메라를 지시하는 지시 정보를 포함하는 홈 모니터링 요청 메시지를 홈 게이트웨이에게 전송한다.
만일 상기 지시 정보에 의해 요청된 장소 혹은 카메라 모듈을 가지는 홈 디바이스로부터의 영상 데이터가 보고되고 있지 않을 경우, 과정 1114에서 홈 게이트웨이는 상기 홈 모니터링 요청 메시지에 응답하여 상기 지시 정보에 해당하는 홈 디바이스에게 영상 데이터를 전송할 것을 요청할 수 있다. 상기 지시 정보에 의해 요청된 장소에 카메라 모듈을 가지는 홈 디바이스가 존재하지 않는 것으로 확인된 경우, 홈 게이트웨이는 카메라 모듈을 가지며 이동 가능한 수단을 가지는 홈 디바이스, 일 예로서 로봇 청소기나 이동식 장난감에게, 상기 요청된 장소로 이동하여 영상을 수집할 것을 지시하는 명령을 포함하는 영상 요청을 전송할 수 있다. 과정 1116에서 홈 게이트웨이는 해당하는 홈 디바이스로부터 영상 데이터를 수신한다. 홈 게이트웨이가 홈 디바이스로부터 실시간으로 영상 데이터를 수집하고 있는 경우 과정 1114는 생략될 수 있다.
과정 1118에서 홈 게이트웨이는 이동 단말에 의해 요청된 장소 혹은 카메라의 영상 데이터를 이동 단말에게 전송하며, 이동 단말은 영상 데이터를 사용자가 확인할 수 있도록 디스플레이한다. 일 실시예로서 상기 영상 데이터는 해당하는 장소의 이름, 해당하는 카메라 모듈의 카메라 정보 혹은 카메라 모듈을 구비하는 홈 디바이스의 식별 정보와 함께 이동 단말로 전송될 수 있다. 이동 단말은 상기 장소의 이름, 카메라 정보 및/또는 식별 정보와 함께 상기 영상 데이터를 디스플레이할 수 있다.
선택 가능한 실시예로서 이동 단말에서 과정 1106의 홈 모니터링 요청 메시지를 통해 모니터링을 원하는 구역(방1/방2/주방/거실 등)에 대한 정보를 전송한 경우, 과정 1108 내지 1112는 생략될 수 있으며, 홈 게이트웨이는 바로 과정 1118로 진행하여 해당하는 구역에 설치된 카메라에 의해 촬영된 영상 데이터를 이동 단말에게 전송할 수 있다.
영상 데이터를 디스플레이하는 도중에, 이동 단말은 사용자로부터 특정 카메라의 제어를 위한 명령을 입력받을 수 있다. 상기 제어 명령은 카메라의 각도 조절, 줌 인/아웃, 카메라를 구비한 홈 디바이스의 이동 중 적어도 하나를 지시할 수 있으며, 제어하고자 하는 카메라를 지시하는 지시 정보를 더 포함할 수 있다. 선택 가능한 실시예로서 상기 제어 명령은 카메라를 구비하는 특정 홈 디바이스의 동작을 제어하기 위한 명령을 더 포함할 수 있다. 일 실시예로서 상기 홈 디바이스가 이동 가능한 로봇 청소기인 경우 이동 단말은 음성 혹은 화면 조작을 통해 청소의 실행을 위한 명령어를 사용자로부터 입력받고, 상기 입력된 명령어에 대응하는 제어 명령을 생성한다.
과정 1120에서 이동 단말은 사용자에 의해 입력된 특정 홈 디바이스에 대한 제어 명령을 홈 게이트웨이로 전송하며, 과정 1124에서 홈 게이트웨이는 상기 제어 명령을 해당하는 홈 디바이스에게 전송한다. 과정 1126에서 홈 디바이스는 상기 제어 명령에 응답하여 카메라의 각도를 상/하/좌/우로 조절하거나, 줌 인/아웃을 실행하거나, 좌/우측 회전을 실행하거나, 혹은 전진/후진을 실행한다. 일 실시예로서 홈 디바이스가 로봇 청소기이고 상기 제어 명령이 경보음의 발생을 지시하는 경우, 로봇 청소기는 홈 게이트웨이로부터의 상기 제어 명령에 응답하여 경보음을 출력할 수 있다. 도시하지 않을 것이나, 선택 가능한 실시예로서 홈 디바이스는 상기 제어 명령에 의한 실행 결과(수행 경과, 수행 완료 혹은 수행 불가능)를 홈 게이트웨이에게 보고하며, 홈 게이트웨이는 상기 실행 결과를 이동 단말에게 전달할 수 있다.
과정 1128에서 홈 디바이스는 상기 제어 명령에 따른 동작을 수행하면서 계속하여 영상 데이터를 홈 게이트웨이로 전송하며, 과정 1130에서 홈 게이트웨이는 상기 영상 데이터를 이동 단말로 전달하여, 이동 단말이 상기 영상 데이터를 디스플레이하도록 한다. 상기 영상 데이터는 해당 카메라 모듈의 카메라 정보 혹은 해당 홈 디바이스의 식별 정보와 함께 이동 단말로 전송될 수 있다.
도 12는 본 발명의 다른 실시예에 따른 홈 모니터링 절차를 나타낸 메시지 흐름도이다.
도 12를 참조하면, 과정 1202에서 홈 네트워크 시스템에 설치된 감지 모듈들 중의 적어도 하나는 해당 이상 상황을 감지하고, 자신의 식별자 정보를 포함하는 알람을 유선 혹은 무선 인터페이스를 통해 홈 게이트웨이에게 보고한다. 과정 1204에서 홈 게이트웨이는 상기 알람 보고에 응답하여 등록된 적어도 하나의 이동 단말에게 이상 상황을 통보할지 여부를 판단한다. 일 예로서 홈 게이트웨이는 상기 알람의 발생이 미리 등록된 정상 시나리오에 속하지 않는 경우, 이동 단말에게 이상을 통보할 것으로 결정할 수 있다. 상기 알람이 정상 시나리오에 속한다고 판단된 경우, 홈 게이트웨이는 이동 단말에게는 이상 상황을 통보하지 않고, 상기 알람에 따른 감지 상태(움직임, 열, 온도 등)와 감지 위치(창문, 방, 주방, 현관문 등)를 시간 정보와 함께 저장한다. 다른 예로서 홈 게이트웨이는 상기 알람의 발생이 미리 등록된 이상 시나리오에 속하는 경우, 이동 단말에게 이상을 통보할 것으로 결정할 수 있다.
과정 1206에서 홈 게이트웨이는 상기 알람에 따른 이상 상황을 나타내는 알람 메시지를, 등록된 적어도 하나의 이동 단말에게 통보할 수 있다. 일 실시예로서 홈 게이트웨이는 등록된 이동 단말들 중, 알람 수신을 허용할 것으로 설정된 접근 권한을 가지는 적어도 하나의 이동 단말에게만 상기 알람을 통보할 수 있다. 상기 이상 상황의 알람 메시지는 상기 알람에 따른 감지 상태(움직임, 열, 온도 등)와 감지 위치(창문, 방, 주방, 현관문 등)에 대한 정보를 포함할 수 있다.
한편, 홈 게이트웨이는 가정 내에 설치된 카메라 모듈을 가지는 적어도 하나의 홈 디바이스로부터 실시간으로 영상 데이터를 수집하여 저장하고 있지 않은 경우, 과정 1210에서 상기 알람 보고에 응답하여 홈 네트워크 시스템 내의 적어도 하나의 홈 디바이스에게 영상 데이터를 촬영하여 전송하기 시작할 것을 요청할 수 있다. 일 실시예로서 홈 게이트웨이는 미리 등록된 홈 디바이스의 위치 정보를 근거로 상기 알람이 발생된 곳과 동일한 공간 및/또는 인접한 장소에 위치하는 홈 디바이스에게 영상 데이터를 요청할 수 있다. 다른 실시예로서 홈 게이트웨이는 시스템 내의 카메라 모듈을 구비하는 모든 홈 디바이스들에게 영상 데이터를 수집하여 보고할 것을 요청할 수 있다.
만일 과정 1202에서 이상 상황을 감지한 감지 모듈이 카메라 모듈을 가지는 이동식 홈 디바이스에 설치된 경우, 홈 게이트웨이는 해당 이동식 홈 디바이스에게 패트롤을 중지하고 그 자리에서 영상 데이터를 계속하여 수집할 것을 지시할 수 있다. 만일 이상이 감지된 장소/공간에 카메라 모듈을 가지는 홈 디바이스가 존재하지 않는 경우, 홈 게이트웨이는 과정 1216에서 카메라 모듈을 가지는 이동식 홈 디바이스, 일 예로서 로봇 청소기나 이동식 장난감에게, 상기 이상이 감지된 장소로 이동하여 영상을 수집 및 보고할 것을 지시할 수 있다. 이를 위해 홈 게이트웨이는 이동식 홈 디바이스의 도킹 위치로부터, 특정한 위치들까지 이동하기 위한 이동 명령들을 미리 저장할 수 있다. 다른 실시예로서 상기 이동 명령들은 이동식 홈 디바이스에 저장될 수 있으며, 이동식 홈 디바이스는 보안 모드로 동작시 상기 이동 명령들을 미리 설정된 규칙에 따라 실행할 수 있다.
과정 1212에서 홈 게이트웨이는 해당 홈 디바이스로부터 영상 데이터를 수신하기 시작하며, 수신된 영상 데이터를 저장한다.
다른 실시예로서 홈 게이트웨이는 과정 1202의 알람 수신에 응답하여 카메라 모듈을 가지는 모든 홈 디바이스에게 영상 데이터를 촬영하여 보고할 것을 요청할 수 있다. 홈 게이트웨이는 보고된 영상 데이터를 분석하여, 상기 영상 데이터의 분석 결과와 감지 모듈들의 상태를 조합하여 이상 상황이 발생하였는지 여부를 판단한다. 일 예로서 홈 게이트웨이는 가정 내에 사람이 있는지 여부를 판단하며, 감지 모듈들의 상태에 따라 정상적인 경로로 사람이 들어왔는지 판단할 수 있다. 만일 이상 상황으로 판별되면 홈 게이트웨이는 정해진 절차에 따라 동작한다. 일 예로서, 홈 게이트웨이는 등록된 적어도 하나의 이동 단말에게 문자/영상을 전송하고, 및/또는 경찰서 혹은 보안 업체로 알람 메시지를 전송할 수 있다.
또 다른 실시예로서 홈 디바이스는 감지 모듈에 의해 이상 상황이 감지되었을 시, 즉시 영상 데이터를 촬영하여 홈 게이트웨이로 보고하기 시작할 수 있다. 이를 위해 홈 디바이스는 감지 모듈과 통신 가능하도록 구성되거나 혹은 감지 모듈을 내장할 수 있다.
과정 1208에서 이동 단말은 상기 알람 메시지의 수신에 응답하여 미리 정해지는 알람 동작을 수행한다. 일 실시예로서 이동 단말은 화면상에 텍스트 메시지, 일 에로 "현관문에서 움직임이 감지되었습니다."를 표시하고, LED의 점멸, 경고 사운드의 발생, 진동의 발생과 같은 추가적인 알람 동작을 수행할 수 있다. 다른 실시예로서 이동 단말은 상기 알람 메시지의 수신에 응답하여 홈 모니터링을 위한 원격 제어 어플을 자동으로 실행할 수 있다. 또 다른 실시예로서 이동 단말은 상기 알람 메시지의 수신에 응답하여 원격 제어 어플의 실행을 위한 단축키를 화면에 표시하며, 상기 단축키에 대한 사용자 입력에 응답하여 원격 제어 어플을 실행한다. 상기 원격 제어 어플은 실행되면서 홈 게이트웨이와 접속하여 로그인 절차를 수행하거나, 혹은 기 수행된 로그인 절차를 확인함으로써 홈 게이트웨이와의 접속을 승인할 수 있다.
과정 1214에서 이동 단말은 원격 제어 어플을 통해 홈 게이트웨이에게 홈 모니터링 요청 메시지를 전송한다. 상기 홈 모니터링 요청 메시지는 홈 게이트웨이에 대한 접속을 위한 로그인 아이디 및 비밀번호, 이동 단말의 식별자, 기 획득한 인증 정보 중 적어도 하나를 포함할 수 있다. 과정 1216에서 홈 게이트웨이는 상기 이동 단말의 접속을 인증한 후, 만일 이상이 감지된 장소에 위치하는 홈 디바이스로부터 영상 데이터를 수집하고 있지 않은 경우, 상기 홈 모니터링 요청 메시지에 응답하여 해당하는 홈 디바이스에게 영상 데이터를 전송할 것을 요청하며, 과정 1218에서 홈 디바이스로부터 영상 데이터를 수신한다. 홈 디바이스로부터 실시간으로 영상 데이터를 수집하고 있는 경우 과정 1216은 생략될 수 있다.
과정 1220에서 홈 게이트웨이는 해당 홈 디바이스에 의해 수집된 영상 데이터를 이동 단말에게 전송하며, 이동 단말은 영상 데이터를 사용자가 확인할 수 있도록 화면에 디스플레이한다. 일 실시예로서 상기 영상 데이터는 해당하는 카메라 모듈의 카메라 정보 혹은 카메라 모듈을 구비하는 홈 디바이스의 식별 정보와 함께 이동 단말로 전송될 수 있다. 이동 단말은 상기 카메라 정보 및/또는 식별 정보와 함께 상기 영상 데이터를 디스플레이할 수 있다. 다른 실시예로서 홈 게이트웨이는 상기 과정 1204에서 이상 상황을 감지한 경우, 즉시 과정 1220으로 진행하여 이동 단말에게 영상 데이터를 전송하기 시작할 수 있다.
영상 데이터를 디스플레이하는 도중에, 이동 단말은 사용자로부터 카메라의 제어를 위한 명령을 입력받을 수 있다. 상기 제어 명령은 카메라의 각도 조절, 줌 인/아웃, 카메라를 구비한 홈 디바이스의 이동 중 적어도 하나를 지시할 수 있으며, 제어하고자 하는 카메라를 지시하는 지시 정보를 더 포함할 수 있다.
과정 1222에서 이동 단말은 사용자에 의해 입력된 제어 명령을 홈 게이트웨이로 전송하며, 과정 1224에서 홈 게이트웨이는 상기 제어 명령을 홈 디바이스에게 전송한다. 과정 1226에서 홈 디바이스는 상기 제어 명령에 응답하여 카메라의 각도를 상/하/좌/우로 조절하거나, 줌 인/아웃을 실행하거나, 좌/우측 회전을 실행하거나, 혹은 전진/후진을 실행한다. 과정 1228에서 홈 디바이스는 상기 제어 명령에 따른 동작을 수행하면서 계속하여 영상 데이터를 홈 게이트웨이로 전송하며, 과정 1230에서 홈 게이트웨이는 상기 영상 데이터를 이동 단말로 전달하여, 이동 단말이 상기 영상 데이터를 디스플레이하도록 한다. 상기 영상 데이터는 해당 카메라 모듈의 카메라 정보 혹은 해당 홈 디바이스의 식별 정보와 함께 이동 단말로 전송될 수 있다.
도 13은 본 발명의 또 다른 실시예에 따른 홈 모니터링 절차를 나타낸 메시지 흐름도이다.
도 13을 참조하면, 과정 1306에서 이동 단말은 사용자의 요청에 응답하여 혹은 미리 설정되는 실행 조건에 따라 홈 모니터링 기능을 가지는 원격 제어 어플을 실행한다. 과정 1302 및 1304에서 홈 게이트웨이는 이동 단말에 의한 홈 모니터링의 요청과 관계없이 홈 네트워크 시스템에 설치된 카메라 모듈을 가지는 적어도 하나의 홈 디바이스로부터 실시간으로 혹은 주기적으로 영상 데이터를 수집하여 저장하고 있을 수 있다. 여기에서는 이동식 카메라를 구비한 홈 디바이스 #1과 고정식 카메라를 구비한 홈 디바이스 #2를 도시하였다.
과정 1308에서 이동 단말은 원격 제어 어플을 통해 홈 게이트웨이에게 홈 모니터링 요청 메시지를 전송한다. 과정 1310에서 홈 게이트웨이는 상기 홈 모니터링 요청 메시지에 응답하여 상기 이동 단말의 권한을 확인하고, 상기 이동 단말이 홈 모니터링을 위한 영상 데이터를 수신 가능한 권한 레벨을 가지는 경우, 이동 단말에게 가정 내에 위치하는 카메라 모듈을 가지는 적어도 하나의 홈 디바이스에 대한 카메라 정보를 전달한다.
과정 1312에서 이동 단말은 원격 제어 어플을 통해 상기 카메라 정보를 확인하고, 영상을 확인하고자 하는 카메라를 구비하는 홈 디바이스#2를 선택한다. 과정 1314에서 이동 단말은 선택된 카메라(혹은 홈 디바이스#2)를 지시하는 지시 정보를 포함하는 홈 모니터링 요청 메시지를 홈 게이트웨이에게 전송한다.
과정 1316에서 홈 게이트웨이는 만일 홈 디바이스#2로부터 영상 데이터를 수집하고 있지 않을 경우, 상기 홈 모니터링 요청 메시지에 응답하여 홈 디바이스#2에게 영상 데이터를 전송할 것을 요청하며, 과정 1318에서 홈 디바이스#2로부터 영상 데이터를 수신한다. 홈 디바이스#2로부터 실시간으로 영상 데이터를 수집하고 있는 경우 과정 1316는 생략될 수 있다.
과정 1320에서 홈 게이트웨이는 홈 디바이스#2에 의해 수집된 영상 데이터를 이동 단말에게 전송하며, 이동 단말은 영상 데이터를 사용자가 확인할 수 있도록 디스플레이한다. 일 실시예로서 상기 영상 데이터는 해당하는 카메라 모듈의 카메라 정보 혹은 홈 디바이스#2의 식별 정보와 함께 이동 단말로 전송될 수 있다. 이동 단말은 상기 카메라 정보 및/또는 식별 정보와 함께 상기 영상 데이터를 디스플레이할 수 있다.
영상 데이터를 디스플레이하는 도중에, 과정 1322에서 이동 단말은 사용자로부터 다른 카메라의 영상 데이터로 변경할 것을 요청받을 수 있다. 일 예로서 사용자는 고정식 카메라를 구비하는 홈 디바이스#2로부터, 이동식 카메라를 구비하는 홈 디바이스#1로 변경하기 위한 명령어를 이동 단말에 입력한다. 즉 사용자는 홈 디바이스 #2의 고정식 카메라로 촬영된 영상으로부터 원하는 부분을 충분히 확인할 수 없다고 판단한 경우, 홈 디바이스#1의 이동식 카메라로 원하는 부분을 촬영하기 위해 카메라의 변경을 결정한다. 과정 1324에서 이동 단말은 변경하고자 하는 다른 카메라(혹은 홈 디바이스#1)를 지시하는 지시 정보를 포함하는 홈 모니터링 요청 메시지를 홈 게이트웨이에게 전송한다.
과정 1326에서 홈 게이트웨이는 만일 홈 디바이스#1로부터 영상 데이터를 수집하고 있지 않을 경우, 상기 홈 모니터링 요청 메시지에 응답하여 홈 디바이스#1에게 영상 데이터를 전송할 것을 요청하며, 과정 328에서 홈 디바이스#1로부터 영상 데이터를 수신한다. 홈 디바이스#1로부터 실시간으로 영상 데이터를 수집하고 있는 경우 과정 1326는 생략될 수 있다.
과정 1330에서 홈 게이트웨이는 홈 디바이스#1에 의해 수집된 영상 데이터를 이동 단말에게 전송하며, 이동 단말은 영상 데이터를 사용자가 확인할 수 있도록 디스플레이한다. 일 실시예로서 상기 영상 데이터는 해당하는 카메라 모듈의 카메라 정보 혹은 홈 디바이스#1의 식별 정보와 함께 이동 단말로 전송될 수 있다. 이동 단말은 상기 카메라 정보 및/또는 식별 정보와 함께 상기 영상 데이터를 디스플레이할 수 있다.
과정 1332에서 이동 단말은 영상 데이터를 디스플레이하는 도중에, 사용자에 의해 입력된 카메라의 제어를 위한 제어 명령을 홈 게이트웨이로 전송하며, 과정 1334에서 홈 게이트웨이는 상기 제어 명령을 홈 디바이스#1에게 전송한다. 과정 1336에서 홈 디바이스#1은 상기 제어 명령에 응답하여 카메라의 각도를 상/하/좌/우로 조절하거나, 줌 인/아웃을 실행하거나, 좌/우측 회전을 실행하거나, 혹은 전진/후진을 실행한다. 과정 1338에서 홈 디바이스#1은 상기 제어 명령에 따른 동작을 수행하면서 계속하여 영상 데이터를 홈 게이트웨이로 전송하며, 과정 1340에서 홈 게이트웨이는 상기 영상 데이터를 이동 단말로 전달하여, 이동 단말이 상기 영상 데이터를 디스플레이하도록 한다. 상기 영상 데이터는 해당 카메라 모듈의 카메라 정보 혹은 홈 디바이스#1의 식별 정보와 함께 이동 단말로 전송될 수 있다.
도 14는 본 발명의 일 실시예에 따른 원격 제어 어플의 실행을 위한 이동 단말에서 사용자 인터페이스(UI)를 도시한 것이다. 도시한 바와 같이, 이동 단말은 설치된 원격 제어 어플의 실행을 위한 어플리케이션/위젯 아이콘(1402)을 제공하며, 아이콘(1402) 상에서 사용자 제스처(1404), 일 예로서 터치를 감지할 경우 원격 제어 어플을 실행한다.
다른 실시예로서 이동 단말은 음성 명령어의 입력을 위한 아이콘을 제공하며, 상기 아이콘 상에서 사용자 제스처가 감지되고, 음성 명령, 일 예로서 "거실을 보여줘" 혹은 "Let me see my living room" 등이 입력되면, 원격 제어 어플을 실행하여 해당하는 홈 모니터링 기능을 수행할 수 있다.
도 15는 본 발명의 일 실시예에 따른 원격 제어 어플의 홈 모니터링을 위한 화면 구성을 도시한 것이다.
도시한 바와 같이, 원격 제어 어플은 사용자에 의해 홈 모니터링 기능의 실행이 요청되고, 이동 단말이 카메라에 의해 촬영된 영상 데이터의 조회가 가능한 권한 레벨을 홈 게이트웨이로부터 승인받은 경우, 홈 네트워크 시스템 내에 설치된 카메라 모듈들에 의해 촬영되는 영상 데이터의 썸네일 이미지들(1502)을 격자 형태 혹은 리스트 형태로 표시한다. 각 썸네일 이미지(1502)은 해당하는 카메라 모듈에 의해 실시간으로 촬영되는 썸네일 동영상이거나, 상기 썸네일 동영상을 기반으로 추출된 썸네일 정지영상이거나, 혹은 카메라 모듈로부터 주기적으로 수집되는 썸네일 정지영상이 될 수 있다.
각 썸네일 이미지(1502)은 해당 카메라 모듈에 대응하는 카메라 정보를 포함하는 제목 영역과 함께 표시될 수 있다. 상기 카메라 정보는 해당 카메라 모듈이 설치된 위치(예를 들어 방/거실/주방 등)와 종류(예를 들어 이동식/고정식 등) 및 상태(예를 들어 활성/비활성/충전중/이동가능 등) 중 적어도 하나를 포함한다. 일 예로서 제1 썸네일 이미지는 "방1" 혹은 "방1, 고정식"이라는 제목과 함께 표시될 수 있으며, 제2 썸네일 이미지는 "IP 카메라 1(거실)" 혹은 "IP 카메라 1(거실), 이동식"이라는 제목과 함께 표시될 수 있다.
선택 가능한 실시예로서 각 썸네일 이미지(1502)은, 해당 카메라 모듈에 설치된 구역(방들, 주방, 거실, 현관 등)에서 이상 상황이 감지되었음을 나타내는 심볼과 함께 표시될 수 있다. 즉 홈 게이트웨이로부터 소정 위치에서 이상 상황이 감지되었음을 나타내는 알람 메시지가 수신된 경우, 이동 단말은 해당 구역에 대응하는 썸네일 이미지의 제목과 함께, 이상 상황(도어 오픈, 움직임, 열 감지 등)을 나타내는 심볼을 점멸하며 표시할 수 있다. 다른 실시예로서 이상 상황에 관련된 썸네일 이미지는 점멸하는 테두리 선과 함께 표시될 수 있다.
선택 가능한 실시예로서 홈 네트워크 시스템 내에 설치된 복수의 카메라 중 일부 카메라에 의한 영상 데이터 만이 홈 게이트웨이로부터 이동 단말로 제공될 수 있다. 그러면 이동 단말은 승인받지 못한 카메라의 썸네일 이미지를 비활성으로 처리(일 예로서 음영으로 표시)할 수 있다.
도 16은 본 발명의 다른 실시예에 따른 원격 제어 어플의 홈 모니터링을 위한 화면 구성을 도시한 것이다. 여기에서는 스마트 폰에서 실행되는 원격 제어 어플의 사용자 인터페이스를 도시하였으나, 본 발명의 실시예에 따른 홈 모니터링의 사용자 인터페이스는 전화, 태블릿 PC, 텔레비전 등과 같은 다양한 종류의 전자 기기를 통해서도 디스플레이될 수 있음은 물론이다.
도 16을 참조하면, 원격 제어 어플은 사용자에 의해 홈 모니터링 기능의 실행 요청시, 홈 네트워크 시스템이 설치된 가정의 배치도(1602)를 표시한다. 상기 배치도(1602)는 집안 전체의 구분된 구역들, 일 예로서 방들, 거실, 주방, 발코니, 현관 등을 구분하여 표시하며, 각 구분된 구역들 내의 카메라 모듈들이 설치된 위치들에 카메라 모듈 혹은 카메라 모듈이 구비된 홈 디바이스를 나타내는 심볼들(1604,1604a)을 포함한다.
각 심볼(1604,1604a)는 해당하는 카메라 모듈 혹은 홈 디바이스의 실제 형상과 유사한 작은 이미지이거나, 해당하는 카메라 모듈의 종류(고정식 혹은 이동식)를 나타내는 작은 이미지가 될 수 있다. 각 심볼(1604,1604a)는 해당하는 카메라 모듈의 활성화 여부(혹은 조회 가능 여부)를 나타내기 위해 컬러 이미지 혹은 흑백 이미지로 표현될 수 있다. 특정 구역 혹은 인근의 감지 모듈에서 이상 상황을 감지하고 상기 이상 상황에 대한 보고가 홈 게이트웨이로부터 이동 단말로 수신된 경우, 이동 단말은 해당하는 위치의 심볼(1604,1604a)을 점멸시키거나 밝게 표시하는 등 이상 상황을 표시할 수 있다.
원격 제어 어플은 상기 배치도(1602)와 함께, 홈 네트워크 시스템의 제어를 위한 추가적인 기능 키들(1608)을 표시할 수 있다. 상기 기능 키들(1608)은 일 예로서 조명 제어, 전기 소모의 모니터링, 영상 모니터링, 방범 제어 등의 기능들을 제공한다. 또한 원격 제어 어플은 추가적으로 상태/제어 영역(1606)을 더 표시할 수 있다. 상기 상태/제어 영역(1606)은 이동 단말의 권한 레벨에 따라 홈 네트워크 시스템의 제어/관리를 위한 상태 표시, 제어 키의 표시 등을 선택적으로 제공한다.
홈 모니터링을 위한 화면 구성 상에서, 사용자에 의해 원하는 카메라가 선택되면, 원격 제어 어플은 선택된 카메라에 의한 영상을 확대하여 표시한다. 일 예로서 도 15의 화면에서 썸네일 이미지들(1502) 중 하나에서 사용자 제스처가 감지되거나, 도 16의 화면에서 카메라 심볼들(1604,1604a) 중 하나에서 사용자 제스처가 감지되면, 원격 제어 어플은 해당 카메라의 영상을 확대하여 표시할 것으로 결정한다. 일 실시예로서 활성화되지 않은 카메라의 썸네일 이미지 상에서 사용자 제스처가 감지되면, 이동 단말은 어떠한 동작도 수행하지 않거나 혹은 영상 조회가 불가능하다는 메시지를 표시할 수 있다.
선택 가능한 실시예로서 카메라가 존재하지 않는 구역(일 예로 도 16의 1604b)에서 사용자 제스처가 감지되는 경우, 이동 단말은 홈 게이트웨이에게 해당하는 구역의 영상을 요청하는 메시지를 전송할 수 있다. 그러면 홈 게이트웨이는 이동식 카메라 모듈을 구비한 홈 디바이스에게 해당하는 구역으로 이동하여 영상을 기록할 것을 지시한다. 홈 게이트웨이는 상기 홈 디바이스의 위치를 추적하여 그 위치 정보를 이동 단말로 전송하며, 이동 단말은 상기 홈 디바이스의 이동에 따라 해당하는 심볼(1604)을 이동하여 표시한다.
선택 가능한 실시예로서 이동식 카메라 모듈을 구비한 홈 디바이스에 대응하는 심볼(1604) 상에서 터치 앤 드래그가 감지되는 경우, 이동 단말은 상기 터치 앤 드래그에 따른 이동 명령을 홈 게이트웨이로 전달한다. 홈 게이트웨이는 상기 이동 명령을 상기 홈 디바이스로 전달하여, 상기 터치 앤 드래그에 따라 상기 홈 디바이스가 이동하도록 한다.
선택 가능한 실시예로서 이동 단말은 음성 기능이 활성화된 상태에서 음성 명령, 일 예로서 "거실을 보여줘" 혹은 "Let me see my living room"이 입력되면, 원격 제어 어플을 실행하고, 입력된 음성 명령에 해당하는 구역의 영상을 확대된 크기로 화면 상에 표시할 수 있다.
도 17은 본 발명의 일 실시예에 따른 영상 데이터의 표시를 나타낸 것이다. 도시한 바와 같이, 원격 제어 어플 상에서 특정 영역에 대한 터치 혹은 음성 명령의 입력이 있을 시 선택된 카메라에 의해 촬영되고 있는 동영상(1702)이 이동 단말의 화면 상에 확대된 크기로 표시되며, 상기 동영상(1702)에 관련된 카메라 정보를 포함하는 제목 영역(1704)이 함께 표시된다. 상기 카메라 정보는 해당 카메라 모듈이 설치된 위치(예를 들어 방/거실/주방 등)와 종류(예를 들어 이동식/고정식 등) 및 상태(예를 들어 활성/비활성/충전중/이동가능 등) 중 적어도 하나를 포함한다.
상기 선택된 동영상(1702)과 함께, 다른 카메라 모듈들의 리스트를 나타내는 리스트 영역(1706)이 더 표시될 수 있다. 상기 리스트 영역(1706)은 각 카메라 모듈에 대응하는 카메라 정보를 포함하는 제목을 포함하며, 추가적으로 해당하는 영상 데이터의 썸네일 이미지를 포함할 수 있다.
도 18은 본 발명의 다른 실시예에 따른 영상 데이터의 표시를 나타낸 것이다. 도시한 바와 같이, 제어가 가능한 카메라에 의해 촬영된 동영상(1802)이 확대된 크기로 표시되며, 상기 동영상(1802)에 관련된 카메라 정보를 포함하는 제목 영역(1804)이 함께 표시된다. 상기 카메라 정보는 해당 카메라 모듈이 설치된 위치(예를 들어 방/거실/주방 등)와 종류(예를 들어 이동식/고정식 등) 및 상태(예를 들어 활성/비활성/충전중/이동가능 등) 중 적어도 하나를 포함한다.
상기 동영상(1802)에 해당하는 카메라 모듈이 이동식 카메라이고, 이동 단말이 이동식 카메라의 제어가 가능한 권한 레벨을 홈 게이트웨이로부터 승인받은 경우, 상기 동영상(1802)와 함께 카메라 모듈의 이동 명령을 입력받을 수 있는 이동 제어 영역(1806)이 표시된다. 상기 이동 제어 영역(1806)은 전진/후진 키 및 좌/우 회전 키들 중 적어도 하나를 포함한다. 추가적으로 상기 동영상(1802)와 함께, 해당하는 카메라 모듈을 위한 줌 제어 영역(1808)과 각도 제어 영역(1810) 중 적어도 하나가 더 표시될 수 있다. 줌 제어 영역(1808)은 카메라 모듈의 줌 인/아웃 키들을 포함하며, 각도 제어 영역(1810)은 카메라 모듈의 각도 조절을 위한 상/하/좌/우 키들을 포함한다.
이동 단말이 카메라의 제어가 가능한 권한 레벨을 홈 게이트웨이로부터 승인받지 못한 경우, 제어 영역들(1806,1808,1810) 중 적어도 하나는 비활성으로 처리(일 예로서 음영으로 표시)될 수 있다. 일 실시예로서 이동 단말이 이동식 카메라의 이동에 대한 권한을 가지지 못한 경우, 이동 제어 영역(1806)은 비활성으로 표시되며, 이동 단말은 이동 제어 영역(1806) 상의 입력에 대해 응답하지 않는다.
선택 가능한 실시예로서 이동 단말은 제어 영역들(1806,1808,1810) 중 적어도 하나 상에서 사용자 제스처를 감지하면 해당 제어 명령을 홈 게이트웨이에게 전송하고, 홈 게이트웨이로부터 상기 제어 명령에 의한 실행 결과(수행 완료 혹은 수행 불가능)를 대기한다. 이때 상기 제어 명령을 전송한 이후 지정된 대기 시간이 경과하기까지, 해당 제어 영역 혹은 모든 제어 영역들(1806,1808,1810)은 비활성화될 수 있다. 홈 게이트웨이는 상기 실행 결과가 수신되면, 이동 단말은 해당 제어 영역을 활성화시켜 사용자가 다음 제어 명령을 입력할 수 있도록 한다.
도 19a 및 도 19b는 본 발명의 일 실시예에 따른 이동식 카메라의 제어를 나타낸 화면이다. 도시한 바와 같이, 동영상 영역(1902)은 이동식 카메라에 의해 동영상을 표시하며, 제목 영역(1904)은 이동식 카메라에 대한 카메라 정보를 표시하며, 이동 제어 영역(1806)은 전진/후진 키 및 좌/우 회전 키들 중 적어도 하나를 포함한다.
도 19a에 도시한 바와 같이 이동 제어 영역(1806) 내의 키들 중 하나, 일 예로서 우측 회전 키 상에서 사용자 제스처(1912)가 감지되면, 상기 사용자 제스처(1912)에 대응하는 제어 명령이 이동 단말로부터 홈 게이트웨이를 거쳐 이동식 카메라(혹은 카메라 모듈이 구비된 이동식 홈 디바이스)로 전달된다.
도 19b를 참조하면, 이동식 카메라(혹은 카메라 모듈이 구비된 이동식 홈 디바이스)는 상기 사용자 제스처(1912)에 대응하는 제어 명령에 응답하여 우측으로 회전한 영상을 촬영하며, 상기 촬영된 영상에 대응하는 영상 데이터는 홈 게이트웨이를 거쳐 이동 단말의 동영상 영역(1902)에 표시된다.
이와 유사하게 줌 제어 영역(1908) 내의 키들 중 하나, 일 예로서 줌 인 키 상에서 사용자 제스처(1914)가 감지되면, 줌 인된 영상 데이터가 이동 단말의 동영상 영역(1902)에 표시된다.
도 20은 본 발명의 일 실시예에 따른 이동 단말에서 홈 네트워크 시스템에 대한 이상 상황의 알람을 나타낸 것이다.
도시한 바와 같이, 이동 단말은 홈 게이트웨이로부터 이상 상황에 대한 알람 메시지를 수신하면, 상기 알람 메시지에 따른 경고 메시지(2002)를 화면 상에 표시한다. 상기 경고 메시지(2002)는 이상 상황이 발생한 구역에 대한 위치 정보를 제공할 수 있으며, 일 예로서 "방 1에서 수상한 움직임이 감지되었습니다."가 될 수 있다. 더불어 상기 경고 메시지(2002)와 함께 원격 제어 어플의 실행을 위한 단축키(2004)가 표시될 수 있다.
단축키(2004) 상에서 사용자 제스처가 감지되면 이동 단말은 원격 제어 어플을 실행하며, 원격 제어 어플은 홈 모니터링을 위한 화면 구성, 일 예로서 도 15 혹은 도 16과 같은 화면을 제공한다. 홈 모니터링을 위한 화면 구성 상에서, 이상 상황에 관련된 썸네일 이미지 혹은 카메라 심볼은 이상 상황이 발생하였음을 나타내도록 점멸하거나 식별 가능한 색으로 표시될 수 있다. 단축키(2004)에 의해 실행되는 경우, 원격 제어 어플은 지정된 기능, 일 예로서 이상 상황이 발생한 구역에 대한 영상 데이터를 표시하는 기능 등을 자동으로 실행할 수 있다.
도 21은 본 발명의 다른 실시예에 따른 원격 제어 어플의 홈 모니터링을 위한 화면 구성을 도시한 것이다.
도시한 바와 같이, 원격 제어 어플은 홈 네트워크 시스템 내에 설치된 카메라 모듈들에 의해 촬영되는 영상 데이터의 모니터링 항목들(1502)을 격자 형태 혹은 리스트 형태로 표시한다. 각 모니터링 항목(1502)은 해당 카메라 모듈의 이름, 해당 카메라 모듈이 설치된 위치(예를 들어 방/거실/주방 등)와 종류(예를 들어 이동식/고정식 등) 및 상태(예를 들어 활성/비활성/충전중/이동가능 등) 중 적어도 하나를 텍스트 혹은 작은 이미지(2104) 형태로 포함한다.
선택 가능한 실시예로서, 모니터링 항목(2106)은, 해당 카메라 모듈에 설치된 구역(방, 주방, 거실 등)에서 이상 상황이 감지되었음을 나타내는 심볼(반짝임 등)(2106)과 함께 표시될 수 있다. 선택 가능한 다른 실시예로서, 조회를 승인받지 못하였거나 비정상 동작중인 카메라의 모니터링 항목(2108)은 비활성으로(일 예로서 음영으로) 표시될 수 있다.
도 22는 본 발명의 다른 실시예에 따른 이동 단말에서 홈 네트워크 시스템에 대한 이상 상황의 표시를 도시한 것이다.
도시한 바와 같이, 원격 제어 어플은 홈 네트워크 시스템이 설치된 가정의 배치도(2202) 상에, 집안 전체의 구분된 구역들, 방, 거실, 주방, 발코니 등을 구분하여 표시하며, 이상 상황이 발생된 구역(2204)을 사용자가 식별 가능하게 표시한다. 일 예로서 방1의 창문에 감지된 감지 센서가 창문에 대한 파손을 감지하고 이를 홈 게이트웨이에게 보고하면, 홈 게이트웨이는 방 1의 창문에 대한 알람 메시지를 이동 단말에게 전송한다. 이동 단말의 원격 제어 어플은 상기 알람 메시지에 응답하여, 배치도(2202) 상의 방 1에 해당하는 구역(2204)을 점멸하여 표시하거나 식별 가능한 다른 색으로 표시하면서, 추가적으로 "방 1에서 수상한 움직임이 감지되었습니다."와 같은 경고 메시지를 표시할 수 있다.
방 1에 해당하는 구역(2204) 상에서 사용자 제스처가 감지되면, 원격 제어 어플은 방 1 내에 설치된 카메라들 중 하나에 의한 영상 데이터를 홈 게이트웨이로부터 수신하여, 도 17 혹은 도 18과 같이 화면 상에 표시한다.
앞에서 설명한 바와 같이 구성되는 홈 네트워크 시스템에서 로봇 청소기 혹은 이동식 장난감과 같은 이동식 홈 디바이스를 이용하여 가정내 보안이 취약한 지역의 감시를 강화할 수 있다. 이동식 홈 디바이스는 카메라 모듈을 구비하며 움직임 감지 및/또는 소리 감지와 같은 감지 기능을 수행할 수 있도록 구성될 수 있다.
보안 모드에서 이동식 홈 디바이스와 가정 내의 고정식 감지 모듈들은 모니터링을 수행하기 시작한다. 이동식 홈 디바이스 혹은 고정식 감지 모듈을 통해 움직임 혹은 소리가 감지되면, 홈 게이트웨이는 가정 안의 카메라들(이동식 및 고정식)을 통해 영상 데이터를 수집하기 시작하고, 카메라들에 의해 수집된 영상 데이터 및 감지 모듈들에 의한 감지 데이터를 분석한다. 일 예로 홈 게이트웨이는 영상 데이터를 기반으로 가정 내에 사람이 존재하는지의 여부, 감지 모듈들 및 홈 디바이스들의 상태가 변화되었는지의 여부 등을 기반으로 이상 상황의 여부를 판단할 수 있다. 상기 분석 결과 이상 상황으로 판별되면, 홈 데이트웨이는 미리 정해진 절차에 따라 작동한다. 즉 홈 게이트웨이는 등록된 사용자의 이동 단말에게 문자/영상을 전송하고, 경찰 혹은 보안 업체에 신고할 수 있다.
보안 모드가 실행될 때, 홈 게이트웨이는 미리 설정되는 적어도 하나의 타겟 위치로 이동식 홈 디바이스를 보내어 영상 모니터링 및 감지를 수행하도록 할 수 있다. 이를 위해 홈 게이트웨이는 감지 모듈이 설치되지 않은 장소나 침입 가능성 높은 위치를 사용자로부터 미리 입력받으며, 보안 모드가 실행될 때 상기 사용자에 의해 설정된 위치들에 대한 패트롤 감시를 수행한다. 이동식 홈 디바이스는 이상 상황을 감지하면, 해당 위치에서 영상 데이터를 기록하기 시작한다. 혹은 다른 감지 모듈에 의해 이상 상황이 감지될 시, 이동식 홈 디바이스는 영상 데이터를 기록하기 시작하며 이상 상황이 발생한 위치로 이동한다.
이동식 홈 디바이스는 어린아이 혹은 애완 동물이 위치한 곳과 같은 타겟 위치들에 대한 정보를 홈 게이트웨이로부터 수신하고, 해당 타겟 위치로 이동하여 모니터링 후 영상 데이터(동영상 혹은 정지영상)를 홈 게이트웨이로 보고한다. 홈 게이트웨이는 상기 보고된 영상 데이터를 사용자의 등록된 이동 단말에게 전달할 수 있다.
홈 게이트웨이는 감시가 필요한 대상 객체들, 일 예로서 가전제품들의 위치 정보를 해당 구역의 입구 혹은 중심을 기준으로 하는 벡터 형태로 저장하고 있다. 이동식 홈 디바이스는 가정 내의 구역들에 대한 맵 데이터를 저장하고 있거나 혹은 홈 게이트웨이로부터 전달받으며, 상기 벡터를 기반으로 상기 대상 객체들에게로 이동할 수 있다.
홈 게이트웨이는 각 구역의 입구로부터 벽면까지의 거리 및 이동식 홈 디바이스의 영상을 이용하여 원하는 대상 객체로의 이동을 위한 이동 벡터를 추출할 수 있다. 다른 실시예로서 이동식 홈 디바이스가 이동 벡터를 직접 계산하고 홈 게이트웨이로 이동 벡터를 보고할 수 있다.
도 23은 본 발명의 일 실시예에 따른 이동식 홈 디바이스의 이동 벡터 계산을 예시한 것이다.
도 23을 참조하면, 참조번호 2310은 가정 내의 일 구역, 일 예로서 방의 평면도를 나타낸 것이며, 참조번호 2320은 구역(2310)의 입구(2302)에서 이동식 홈 디바이스의 카메라로 촬영된 영상을 나타낸 것이다. 감시하고자 하는 대상 객체(2304), 일 예로서 가스 밸브는 입구(2302)로부터 맞은편 벽면에 위치하며, 입구(2302)로부터 맞은편 벽면 까지의 실제 거리는 b이다.
참조번호 2320에 나타낸 바와 같이, 이동식 홈 디바이스의 촬영 영상 상에서 입구(2302)로부터 대상 객체(2304)까지의 가로 거리는 a'이며, 바닥으로부터 대상 객체(2304)까지의 높이는 c'로 측정된다. 상기 측정된 값들은 촬영 영상 내에서의 길이를 의미하므로, 단위 거리당 화면 배율 m을 이용하여 실제 거리로 환산될 수 있다. 상기 단위 거리당 화면 배율 m은 이동식 홈 디바이스의 카메라 배율에 따라 정해지는 값이다.
이동식 홈 디바이스 혹은 홈 게이트웨이는 b, a' 및 c'를 기반으로, 입구(2302)로부터 대상 객체(2304)까지의 이동 벡터를 하기의 <수학식 1>과 같이 계산한다.
Figure 112020094815328-pat00001
다른 실시예로서 이동 벡터는 하기의 <수학식 2>와 같이 계산될 수 있다.
Figure 112020094815328-pat00002
여기서 f()는 실제 거리에 대한 화면상에서의 거리의 비율을 구하는 함수로서, 카메라 종류에 따라 정해질 수 있다.
상기와 같이 계산된 이동 벡터는 구역(2310) 내에서 대상 객체(2304)의 3차원 위치 정보를 나타낸다.
보안 모드로 동작시 혹은 사용자나 홈 게이트웨이로부터 지시가 있을 시, 이동식 홈 디바이스는 상기 이동 벡터를 기반으로 대상 객체(2304)로 이동하며 카메라 모듈의 각도와 줌 배율을 조절하여 대상 객체(2304)를 촬영한다. 상기 촬영된 영상은 홈 게이트웨이 및/또는 이동 단말로 전송되어, 사용자가 대상 객체(2304)를 자세히 관찰할 수 있도록 한다.
이상과 같이 동작하는 본 발명은 사용자가 집안의 상황을 확인하고자 하는 경우 집안 내의 영상 데이터를 이동 단말을 통해 제공함으로써 사용자의 편의를 도모하며, 고정식 카메라에 의해 보이지 않는 장소에 대해서도 이동식 카메라를 제어하여 원하는 장소의 영상을 손쉽게 볼 수 있도록 한다. 또한 집안 내에서 이상 움직임이 발생시, 외부에 있는 사용자가 이동 단말을 통해 이를 쉽게 인식하고, 필요에 따라 집안 내의 상황을 영상 데이터로 확인할 수 있도록 함으로써, 가정 내에서 일어날 수 있는 위험한 상황을 예방할 수 있다는 효과를 가진다.
한편 본 발명의 상세한 설명에서는 구체적인 실시 예에 관해 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능하다. 그러므로 본 발명의 범위는 설명된 실시 예에 국한되어 정해져서는 아니되며 후술하는 특허청구의 범위뿐만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.

Claims (16)

  1. 보안 모드에서 로봇 청소기를 동작시키기 위한 방법으로,
    모바일 단말로부터, 상기 로봇 청소기의 도킹 위치 및 타겟 위치를 포함하는 이동 경로에 대한 타겟 위치의 제1 정보를 획득하는 단계;
    상기 모바일 단말로부터, 상기 제1 정보에 기초하여 획득되는 상기 타겟 위치에서 상기 로봇 청소기의 적어도 하나의 카메라의 방향을 조정하기 위한 제2 정보를 획득하는 단계;
    상기 제1 정보 및 상기 제2 정보 모두에 기초한 상기 로봇 청소기의 상기 보안 모드에 대한 설정을 저장하는 단계;
    상기 모바일 단말로부터, 상기 로봇 청소기가 가전(appliance) 모드일 때, 상기 보안 모드에서 상기 로봇 청소기를 동작시키기 위한 요청을 획득하는 단계;
    상기 보안 모드에서 상기 로봇 청소기를 동작시키기 위한 요청을 획득하는 것에 응답하여:
    상기 타겟 위치와 상기 로봇 청소기의 도킹 위치를 포함하는 상기 이동 경로를 따라 이동하고, 그리고
    상기 적어도 하나의 카메라의 방향이 제1 방향으로부터 제2 방향으로 변경되도록 상기 설정에 따라 상기 타겟 위치에서 상기 로봇 청소기의 상기 적어도 하나의 카메라의 방향을 조정하는 단계;
    상기 로봇 청소기가 상기 타겟 위치에 있을 때 상기 조정된 방향으로 상기 로봇 청소기의 상기 적어도 하나의 카메라를 이용하여 적어도 하나의 이미지를 획득하는 동안, 상기 로봇 청소기에 의해 상기 로봇 청소기의 상기 적어도 하나의 카메라를 이용하여 객체(object)의 움직임을 검출하는 단계;
    상기 로봇 청소기에 의해 상기 객체의 움직임을 검출하는 것에 기초하여:
    상기 로봇 청소기에 의해 상기 모바일 단말로 전송될 둘 이상의 이미지들을 획득하는 단계; 및
    상기 모바일 단말로 상기 획득된 둘 이상의 이미지들을 전송하는 단계를 포함하는,
    보안 모드에서 로봇 청소기를 동작시키기 위한 방법.
  2. 제1 항에 있어서,
    상기 둘 이상의 이미지들을 획득하는 단계는 상기 둘 이상의 이미지들을 획득하기 위해 상기 로봇 청소기의 조명을 밝히는 단계를 포함하는,
    보안 모드에서 로봇 청소기를 동작시키기 위한 방법.
  3. 제1 항에 있어서,
    상기 적어도 하나의 이미지는 비디오 또는 정적인 이미지들의 시퀀스인,
    보안 모드에서 로봇 청소기를 동작시키기 위한 방법.
  4. 제1 항에 있어서,
    상기 타겟 위치에 대한 상기 획득된 제1 정보는 상기 모바일 단말로부터 수신되는,
    보안 모드에서 로봇 청소기를 동작시키기 위한 방법.
  5. 제1 항에 있어서,
    상기 로봇 청소기의 상기 적어도 하나의 카메라의 방향을 조정하기 위한 상기 제2 정보는 상기 모바일 단말로부터 수신되는,
    보안 모드에서 로봇 청소기를 동작시키기 위한 방법.
  6. 제1 항에 있어서,
    상기 로봇 청소기는, 상기 로봇 청소기가 게이트웨이에 등록되는 것에 기초하여, 다른 보안 기기들과 연결되는,
    보안 모드에서 로봇 청소기를 동작시키기 위한 방법.
  7. 제1 항에 있어서,
    상기 로봇 청소기는, 상기 로봇 청소기가 게이트웨이에 등록되는 것에 기초하여, 상기 게이트웨이를 통해 상기 모바일 단말과 통신하는,
    보안 모드에서 로봇 청소기를 동작시키기 위한 방법.
  8. 제1 항에 있어서,
    상기 로봇 청소기의 상기 적어도 하나의 카메라를 이용하여 상기 객체의 움직임을 검출하는 단계는 상기 로봇 청소기의 상기 적어도 하나의 카메라를 이용하여 촬영된 적어도 하나의 이미지를 이용하여 상기 객체의 움직임을 검출하는 단계를 더 포함하는,
    보안 모드에서 로봇 청소기를 동작시키기 위한 방법.
  9. 보안 모드에서 동작하기 위한 로봇 청소기로서,
    적어도 하나의 카메라를 포함하는 적어도 하나의 센서;
    정보를 송신 또는 수신하기 위한 통신 인터페이스;
    명령들을 저장하기 위한 메모리; 및
    상기 저장된 명령들을 실행하도록 구성되는 적어도 하나의 프로세서를 포함하고,
    상기 적어도 하나의 프로세서는:
    모바일 단말로부터 상기 통신 인터페이스를 통해, 상기 로봇 청소기의 도킹 위치 및 타겟 위치를 포함하는 이동 경로에 대한 타겟 위치의 제1 정보를 획득하고,
    상기 모바일 단말로부터 상기 통신 인터페이스를 통해, 상기 제1 정보에 기초하여 획득되는 상기 타겟 위치에서 상기 로봇 청소기의 적어도 하나의 카메라의 방향을 조정하기 위한 제2 정보를 획득하고,
    상기 제1 정보 및 상기 제2 정보 모두에 기초한 상기 로봇 청소기의 상기 보안 모드에 대한 설정을 상기 메모리에 저장하고,
    상기 모바일 단말로부터 상기 통신 인터페이스를 통해, 상기 로봇 청소기가 가전(appliance) 모드일 때, 상기 보안 모드에서 상기 로봇 청소기를 동작시키기 위한 요청을 획득하고,
    상기 보안 모드에서 상기 로봇 청소기를 동작시키기 위한 요청을 획득하는 것에 응답하여:
    상기 타겟 위치와 상기 로봇 청소기의 도킹 위치를 포함하는 상기 이동 경로를 따라 이동하도록 상기 로봇 청소기를 제어하고, 그리고
    상기 적어도 하나의 카메라의 방향이 제1 방향으로부터 제2 방향으로 변경되도록 상기 설정에 따라 상기 타겟 위치에서 상기 로봇 청소기의 상기 적어도 하나의 카메라의 방향을 조정하고,
    상기 로봇 청소기가 상기 타겟 위치에 있을 때 상기 조정된 방향으로 상기 로봇 청소기의 상기 적어도 하나의 카메라를 이용하여 적어도 하나의 이미지를 획득하는 동안, 상기 로봇 청소기에 의해 상기 로봇 청소기의 상기 적어도 하나의 카메라를 이용하여 객체(object)의 움직임을 검출하고,
    상기 로봇 청소기에 의해 상기 객체의 움직임을 검출하는 것에 기초하여:
    상기 로봇 청소기에 의해 상기 모바일 단말로 전송될 둘 이상의 이미지들을 획득하고, 그리고
    상기 통신 인터페이스를 통해 상기 모바일 단말로 상기 획득된 둘 이상의 이미지들을 전송하도록 구성되는,
    로봇 청소기.
  10. 제9 항에 있어서,
    조명을 더 포함하고,
    상기 적어도 하나의 프로세서는 상기 둘 이상의 이미지들을 획득하기 위해 상기 조명을 밝히도록 하는,
    로봇 청소기.
  11. 제9 항에 있어서,
    상기 적어도 하나의 이미지는 비디오 또는 정적인 이미지들의 시퀀스인,
    로봇 청소기.
  12. 제9 항에 있어서,
    상기 타겟 위치에 대한 상기 획득된 제1 정보는 상기 모바일 단말로부터 수신되는,
    로봇 청소기.
  13. 제9 항에 있어서,
    상기 로봇 청소기의 상기 적어도 하나의 카메라의 방향을 조정하기 위한 상기 제2 정보는 상기 모바일 단말로부터 수신되는
    로봇 청소기.
  14. 제9 항에 있어서,
    상기 로봇 청소기는, 상기 로봇 청소기가 게이트웨이에 등록되는 것에 기초하여, 다른 보안 기기들과 연결되는,
    로봇 청소기.
  15. 제9 항에 있어서,
    상기 로봇 청소기는, 상기 로봇 청소기가 게이트웨이에 등록되는 것에 기초하여, 상기 게이트웨이를 통해 상기 모바일 단말과 통신하는,
    로봇 청소기.
  16. 제9 항에 있어서,
    상기 로봇 청소기의 상기 적어도 하나의 카메라를 이용하여 상기 객체의 움직임을 검출하기 위해, 상기 적어도 하나의 프로세서는 상기 로봇 청소기의 상기 적어도 하나의 카메라를 이용하여 촬영된 적어도 하나의 이미지를 이용하여 상기 객체의 움직임을 검출하도록 하는,
    로봇 청소기.
KR1020200114284A 2012-12-14 2020-09-08 홈 모니터링 방법 및 장치 KR102215569B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020120146251 2012-12-14
KR20120146251 2012-12-14

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020190169461A Division KR102155535B1 (ko) 2012-12-14 2019-12-18 홈 모니터링 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20200107906A KR20200107906A (ko) 2020-09-16
KR102215569B1 true KR102215569B1 (ko) 2021-02-15

Family

ID=51129659

Family Applications (3)

Application Number Title Priority Date Filing Date
KR1020130106518A KR102058918B1 (ko) 2012-12-14 2013-09-05 홈 모니터링 방법 및 장치
KR1020190169461A KR102155535B1 (ko) 2012-12-14 2019-12-18 홈 모니터링 방법 및 장치
KR1020200114284A KR102215569B1 (ko) 2012-12-14 2020-09-08 홈 모니터링 방법 및 장치

Family Applications Before (2)

Application Number Title Priority Date Filing Date
KR1020130106518A KR102058918B1 (ko) 2012-12-14 2013-09-05 홈 모니터링 방법 및 장치
KR1020190169461A KR102155535B1 (ko) 2012-12-14 2019-12-18 홈 모니터링 방법 및 장치

Country Status (5)

Country Link
US (3) US20140218517A1 (ko)
EP (1) EP2933953B1 (ko)
KR (3) KR102058918B1 (ko)
CN (3) CN104838621A (ko)
WO (1) WO2014092464A1 (ko)

Families Citing this family (262)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6658091B1 (en) 2002-02-01 2003-12-02 @Security Broadband Corp. LIfestyle multimedia security system
US10200504B2 (en) 2007-06-12 2019-02-05 Icontrol Networks, Inc. Communication protocols over internet protocol (IP) networks
US10382452B1 (en) 2007-06-12 2019-08-13 Icontrol Networks, Inc. Communication protocols in integrated systems
US11368327B2 (en) 2008-08-11 2022-06-21 Icontrol Networks, Inc. Integrated cloud system for premises automation
US11343380B2 (en) 2004-03-16 2022-05-24 Icontrol Networks, Inc. Premises system automation
US11201755B2 (en) 2004-03-16 2021-12-14 Icontrol Networks, Inc. Premises system management using status signal
US10721087B2 (en) 2005-03-16 2020-07-21 Icontrol Networks, Inc. Method for networked touchscreen with integrated interfaces
US11159484B2 (en) 2004-03-16 2021-10-26 Icontrol Networks, Inc. Forming a security network including integrated security system components and network devices
US10142392B2 (en) 2007-01-24 2018-11-27 Icontrol Networks, Inc. Methods and systems for improved system performance
US10313303B2 (en) 2007-06-12 2019-06-04 Icontrol Networks, Inc. Forming a security network including integrated security system components and network devices
AU2005223267B2 (en) 2004-03-16 2010-12-09 Icontrol Networks, Inc. Premises management system
US10522026B2 (en) 2008-08-11 2019-12-31 Icontrol Networks, Inc. Automation system user interface with three-dimensional display
US9531593B2 (en) 2007-06-12 2016-12-27 Icontrol Networks, Inc. Takeover processes in security network integrated with premise security system
US8963713B2 (en) 2005-03-16 2015-02-24 Icontrol Networks, Inc. Integrated security network with security alarm signaling system
US10237237B2 (en) 2007-06-12 2019-03-19 Icontrol Networks, Inc. Communication protocols in integrated systems
US10444964B2 (en) 2007-06-12 2019-10-15 Icontrol Networks, Inc. Control system user interface
US11582065B2 (en) 2007-06-12 2023-02-14 Icontrol Networks, Inc. Systems and methods for device communication
US11677577B2 (en) 2004-03-16 2023-06-13 Icontrol Networks, Inc. Premises system management using status signal
US10375253B2 (en) 2008-08-25 2019-08-06 Icontrol Networks, Inc. Security system with networked touchscreen and gateway
US11811845B2 (en) 2004-03-16 2023-11-07 Icontrol Networks, Inc. Communication protocols over internet protocol (IP) networks
US9141276B2 (en) 2005-03-16 2015-09-22 Icontrol Networks, Inc. Integrated interface for mobile device
US11368429B2 (en) 2004-03-16 2022-06-21 Icontrol Networks, Inc. Premises management configuration and control
US11316958B2 (en) 2008-08-11 2022-04-26 Icontrol Networks, Inc. Virtual device systems and methods
US11244545B2 (en) 2004-03-16 2022-02-08 Icontrol Networks, Inc. Cross-client sensor user interface in an integrated security network
US10339791B2 (en) 2007-06-12 2019-07-02 Icontrol Networks, Inc. Security network integrated with premise security system
US8988221B2 (en) 2005-03-16 2015-03-24 Icontrol Networks, Inc. Integrated security system with parallel processing architecture
US11489812B2 (en) 2004-03-16 2022-11-01 Icontrol Networks, Inc. Forming a security network including integrated security system components and network devices
US20090077623A1 (en) 2005-03-16 2009-03-19 Marc Baum Security Network Integrating Security System and Network Devices
US10127802B2 (en) 2010-09-28 2018-11-13 Icontrol Networks, Inc. Integrated security system with parallel processing architecture
US9729342B2 (en) 2010-12-20 2017-08-08 Icontrol Networks, Inc. Defining and implementing sensor triggered response rules
US11277465B2 (en) 2004-03-16 2022-03-15 Icontrol Networks, Inc. Generating risk profile using data of home monitoring and security system
US7711796B2 (en) 2006-06-12 2010-05-04 Icontrol Networks, Inc. Gateway registry methods and systems
US11113950B2 (en) 2005-03-16 2021-09-07 Icontrol Networks, Inc. Gateway integrated with premises security system
US11916870B2 (en) 2004-03-16 2024-02-27 Icontrol Networks, Inc. Gateway registry methods and systems
US20160065414A1 (en) 2013-06-27 2016-03-03 Ken Sundermeyer Control system user interface
US10156959B2 (en) 2005-03-16 2018-12-18 Icontrol Networks, Inc. Cross-client sensor user interface in an integrated security network
US8635350B2 (en) 2006-06-12 2014-01-21 Icontrol Networks, Inc. IP device discovery systems and methods
US9191228B2 (en) 2005-03-16 2015-11-17 Icontrol Networks, Inc. Cross-client sensor user interface in an integrated security network
US9609003B1 (en) 2007-06-12 2017-03-28 Icontrol Networks, Inc. Generating risk profile using data of home monitoring and security system
US11615697B2 (en) 2005-03-16 2023-03-28 Icontrol Networks, Inc. Premise management systems and methods
US10999254B2 (en) 2005-03-16 2021-05-04 Icontrol Networks, Inc. System for data routing in networks
US20170180198A1 (en) 2008-08-11 2017-06-22 Marc Baum Forming a security network including integrated security system components
US9306809B2 (en) 2007-06-12 2016-04-05 Icontrol Networks, Inc. Security system with networked touchscreen
US11700142B2 (en) 2005-03-16 2023-07-11 Icontrol Networks, Inc. Security network integrating security system and network devices
US20110128378A1 (en) 2005-03-16 2011-06-02 Reza Raji Modular Electronic Display Platform
US20120324566A1 (en) 2005-03-16 2012-12-20 Marc Baum Takeover Processes In Security Network Integrated With Premise Security System
US11496568B2 (en) 2005-03-16 2022-11-08 Icontrol Networks, Inc. Security system with networked touchscreen
US10079839B1 (en) 2007-06-12 2018-09-18 Icontrol Networks, Inc. Activation of gateway device
US11706279B2 (en) 2007-01-24 2023-07-18 Icontrol Networks, Inc. Methods and systems for data communication
US7633385B2 (en) 2007-02-28 2009-12-15 Ucontrol, Inc. Method and system for communicating with and controlling an alarm system from a remote server
US8451986B2 (en) 2007-04-23 2013-05-28 Icontrol Networks, Inc. Method and system for automatically providing alternate network access for telecommunications
US11218878B2 (en) 2007-06-12 2022-01-04 Icontrol Networks, Inc. Communication protocols in integrated systems
US10616075B2 (en) 2007-06-12 2020-04-07 Icontrol Networks, Inc. Communication protocols in integrated systems
US10389736B2 (en) 2007-06-12 2019-08-20 Icontrol Networks, Inc. Communication protocols in integrated systems
US11316753B2 (en) 2007-06-12 2022-04-26 Icontrol Networks, Inc. Communication protocols in integrated systems
US11212192B2 (en) 2007-06-12 2021-12-28 Icontrol Networks, Inc. Communication protocols in integrated systems
US11601810B2 (en) 2007-06-12 2023-03-07 Icontrol Networks, Inc. Communication protocols in integrated systems
US11237714B2 (en) 2007-06-12 2022-02-01 Control Networks, Inc. Control system user interface
US10051078B2 (en) 2007-06-12 2018-08-14 Icontrol Networks, Inc. WiFi-to-serial encapsulation in systems
US11423756B2 (en) 2007-06-12 2022-08-23 Icontrol Networks, Inc. Communication protocols in integrated systems
US10423309B2 (en) 2007-06-12 2019-09-24 Icontrol Networks, Inc. Device integration framework
US10523689B2 (en) 2007-06-12 2019-12-31 Icontrol Networks, Inc. Communication protocols over internet protocol (IP) networks
US11089122B2 (en) 2007-06-12 2021-08-10 Icontrol Networks, Inc. Controlling data routing among networks
US11646907B2 (en) 2007-06-12 2023-05-09 Icontrol Networks, Inc. Communication protocols in integrated systems
US10666523B2 (en) 2007-06-12 2020-05-26 Icontrol Networks, Inc. Communication protocols in integrated systems
US10498830B2 (en) 2007-06-12 2019-12-03 Icontrol Networks, Inc. Wi-Fi-to-serial encapsulation in systems
US11831462B2 (en) 2007-08-24 2023-11-28 Icontrol Networks, Inc. Controlling data routing in premises management systems
US11916928B2 (en) 2008-01-24 2024-02-27 Icontrol Networks, Inc. Communication protocols over internet protocol (IP) networks
US20170185278A1 (en) 2008-08-11 2017-06-29 Icontrol Networks, Inc. Automation system user interface
US11792036B2 (en) 2008-08-11 2023-10-17 Icontrol Networks, Inc. Mobile premises automation platform
US11758026B2 (en) 2008-08-11 2023-09-12 Icontrol Networks, Inc. Virtual device systems and methods
US10530839B2 (en) 2008-08-11 2020-01-07 Icontrol Networks, Inc. Integrated cloud system with lightweight gateway for premises automation
US11729255B2 (en) 2008-08-11 2023-08-15 Icontrol Networks, Inc. Integrated cloud system with lightweight gateway for premises automation
US11258625B2 (en) 2008-08-11 2022-02-22 Icontrol Networks, Inc. Mobile premises automation platform
US8638211B2 (en) 2009-04-30 2014-01-28 Icontrol Networks, Inc. Configurable controller and interface for home SMA, phone and multimedia
US9599981B2 (en) 2010-02-04 2017-03-21 Echostar Uk Holdings Limited Electronic appliance status notification via a home entertainment system
AU2011250886A1 (en) 2010-05-10 2013-01-10 Icontrol Networks, Inc Control system user interface
US8836467B1 (en) 2010-09-28 2014-09-16 Icontrol Networks, Inc. Method, system and apparatus for automated reporting of account and sensor zone information to a central station
US11750414B2 (en) 2010-12-16 2023-09-05 Icontrol Networks, Inc. Bidirectional security sensor communication for a premises security system
US9147337B2 (en) 2010-12-17 2015-09-29 Icontrol Networks, Inc. Method and system for logging security event data
KR20140021095A (ko) * 2012-08-07 2014-02-20 삼성전자주식회사 모바일 기기의 사용에 대한 사용자의 편의성을 증대시키는 무선전력전송 장치
US10319145B2 (en) * 2013-03-14 2019-06-11 Intel Corporation Asynchronous representation of alternate reality characters
KR102229356B1 (ko) 2013-09-05 2021-03-19 삼성전자주식회사 제어 장치
US9772612B2 (en) 2013-12-11 2017-09-26 Echostar Technologies International Corporation Home monitoring and control
US9495860B2 (en) 2013-12-11 2016-11-15 Echostar Technologies L.L.C. False alarm identification
US9900177B2 (en) 2013-12-11 2018-02-20 Echostar Technologies International Corporation Maintaining up-to-date home automation models
US9769522B2 (en) 2013-12-16 2017-09-19 Echostar Technologies L.L.C. Methods and systems for location specific operations
JP2015126474A (ja) * 2013-12-27 2015-07-06 ソニー株式会社 情報処理装置、撮像装置、情報処理方法、情報処理プログラムおよび撮像システム
CN111240548A (zh) * 2014-01-06 2020-06-05 三星电子株式会社 控制设备
US10068077B2 (en) * 2014-02-11 2018-09-04 Tyco Fire & Security Gmbh False alarm avoidance
US11146637B2 (en) * 2014-03-03 2021-10-12 Icontrol Networks, Inc. Media content management
US11405463B2 (en) 2014-03-03 2022-08-02 Icontrol Networks, Inc. Media content management
US9723393B2 (en) 2014-03-28 2017-08-01 Echostar Technologies L.L.C. Methods to conserve remote batteries
US20150365480A1 (en) * 2014-06-16 2015-12-17 Spidermonkey, LLC Methods and systems for communicating with electronic devices
US9779613B2 (en) * 2014-07-01 2017-10-03 Sonos, Inc. Display and control of pre-determined audio content playback
JP2016015009A (ja) * 2014-07-02 2016-01-28 ソニー株式会社 情報処理システム、情報処理端末、および情報処理方法
US20160014108A1 (en) * 2014-07-14 2016-01-14 Shuttle Inc. Portable home device managing systems and devices thereof
US9898175B2 (en) * 2014-08-05 2018-02-20 Fibar Group S.A. Home network manager for home automation
US20160043896A1 (en) * 2014-08-05 2016-02-11 Fibar Group sp. z o.o. Home network manager for home automation
US20160050242A1 (en) * 2014-08-13 2016-02-18 Xiaomi, Inc. Methods and devices for playing streaming media data
US9621959B2 (en) * 2014-08-27 2017-04-11 Echostar Uk Holdings Limited In-residence track and alert
US9936248B2 (en) 2014-08-27 2018-04-03 Echostar Technologies L.L.C. Media content output control
US9824578B2 (en) 2014-09-03 2017-11-21 Echostar Technologies International Corporation Home automation control using context sensitive menus
US10204622B2 (en) 2015-09-10 2019-02-12 Crestron Electronics, Inc. Acoustic sensory network
US20170097621A1 (en) * 2014-09-10 2017-04-06 Crestron Electronics, Inc. Configuring a control sysem
US10748539B2 (en) 2014-09-10 2020-08-18 Crestron Electronics, Inc. Acoustic sensory network
JP6418863B2 (ja) * 2014-09-18 2018-11-07 シャープ株式会社 ネットワークシステム、音声出力方法、サーバ、機器、および音声出力プログラム
US10114939B1 (en) * 2014-09-22 2018-10-30 Symantec Corporation Systems and methods for secure communications between devices
US9989507B2 (en) 2014-09-25 2018-06-05 Echostar Technologies International Corporation Detection and prevention of toxic gas
CN104244045B (zh) * 2014-09-28 2016-02-24 小米科技有限责任公司 控制视频画面呈现的方法及装置
KR101520016B1 (ko) * 2014-10-07 2015-05-14 (주)크로닉디앤씨 자기식 엔코더를 이용한 회전장치 및 회전장치의 제어방법
KR102335925B1 (ko) 2014-10-13 2021-12-06 삼성전자주식회사 네트워크 서비스를 위한 전자장치와 게이트웨이, 및 이를 위한 동작 방법
US10055094B2 (en) 2014-10-29 2018-08-21 Xiaomi Inc. Method and apparatus for dynamically displaying device list
US9983011B2 (en) 2014-10-30 2018-05-29 Echostar Technologies International Corporation Mapping and facilitating evacuation routes in emergency situations
US9511259B2 (en) 2014-10-30 2016-12-06 Echostar Uk Holdings Limited Fitness overlay and incorporation for home automation system
JP6711276B2 (ja) 2014-10-31 2020-06-17 ソニー株式会社 電子機器およびフィードバック提供方法
KR101638879B1 (ko) * 2014-11-06 2016-07-12 주식회사 아이디스 위젯을 통해 보안 매체와 연동 가능한 모바일 장치
WO2016076641A1 (en) 2014-11-14 2016-05-19 Samsung Electronics Co., Ltd. Method and apparatus for registering a device for use
JP5866538B1 (ja) 2014-11-20 2016-02-17 パナソニックＩｐマネジメント株式会社 監視システム及び監視システムにおける監視方法
JP5866557B1 (ja) * 2014-11-20 2016-02-17 パナソニックＩｐマネジメント株式会社 監視システム及び監視システムにおける監視方法
JP5866549B1 (ja) * 2014-11-20 2016-02-17 パナソニックＩｐマネジメント株式会社 監視システム及び監視システムにおける監視方法
JP5866541B1 (ja) * 2014-11-21 2016-02-17 パナソニックＩｐマネジメント株式会社 監視システム及び監視システムにおける監視方法
JP5866540B1 (ja) 2014-11-21 2016-02-17 パナソニックＩｐマネジメント株式会社 監視システム及び監視システムにおける監視方法
CN104410828B (zh) * 2014-11-26 2019-04-12 北京视博数字电视科技有限公司 家庭监控方法和设备
CN104407592B (zh) * 2014-11-27 2018-11-23 小米科技有限责任公司 一种调整智能家居设备运行状态的方法及装置
US9967614B2 (en) 2014-12-29 2018-05-08 Echostar Technologies International Corporation Alert suspension for home automation system
US9800938B2 (en) 2015-01-07 2017-10-24 Echostar Technologies L.L.C. Distraction bookmarks for live and recorded video
KR102237114B1 (ko) * 2015-02-02 2021-04-08 한화테크윈 주식회사 홈 카메라 장치
US10127797B2 (en) * 2015-02-17 2018-11-13 Honeywell International Inc. Alternative inexpensive cloud-based mass market alarm system with alarm monitoring and reporting
US9729989B2 (en) 2015-03-27 2017-08-08 Echostar Technologies L.L.C. Home automation sound detection and positioning
US20160335886A1 (en) * 2015-05-11 2016-11-17 Electronics Tomorrow Limited Wireless Alarm System
US9946857B2 (en) * 2015-05-12 2018-04-17 Echostar Technologies International Corporation Restricted access for home automation system
KR20160133328A (ko) * 2015-05-12 2016-11-22 삼성전자주식회사 웨어러블 디바이스를 이용한 원격 제어 방법 및 장치
US9948477B2 (en) 2015-05-12 2018-04-17 Echostar Technologies International Corporation Home automation weather detection
US9632746B2 (en) 2015-05-18 2017-04-25 Echostar Technologies L.L.C. Automatic muting
US10788800B2 (en) * 2015-06-05 2020-09-29 Apple Inc. Data-driven context determination
USD803241S1 (en) 2015-06-14 2017-11-21 Google Inc. Display screen with animated graphical user interface for an alert screen
USD812076S1 (en) 2015-06-14 2018-03-06 Google Llc Display screen with graphical user interface for monitoring remote video camera
US10133443B2 (en) 2015-06-14 2018-11-20 Google Llc Systems and methods for smart home automation using a multifunction status and entry point icon
US9361011B1 (en) 2015-06-14 2016-06-07 Google Inc. Methods and systems for presenting multiple live video feeds in a user interface
JP6602067B2 (ja) * 2015-06-18 2019-11-06 キヤノン株式会社 表示制御装置、表示制御方法、プログラム
DE102015109775B3 (de) 2015-06-18 2016-09-22 RobArt GmbH Optischer Triangulationssensor zur Entfernungsmessung
US10361878B1 (en) 2015-06-26 2019-07-23 Amdocs Development Limited System, method, and computer program for initiating actions automatically on smart devices that are in a home
CN105100711A (zh) * 2015-07-08 2015-11-25 小米科技有限责任公司 信息发送方法及装置
CN105873006A (zh) * 2015-07-13 2016-08-17 乐视致新电子科技（天津）有限公司 一种设备识别方法及装置
KR20170015622A (ko) * 2015-07-29 2017-02-09 삼성전자주식회사 사용자 단말 장치 및 그 제어 방법
US9960980B2 (en) 2015-08-21 2018-05-01 Echostar Technologies International Corporation Location monitor and device cloning
KR102377182B1 (ko) * 2015-09-01 2022-03-22 엘지전자 주식회사 이동 단말기 및 그 제어방법
DE102015114883A1 (de) 2015-09-04 2017-03-09 RobArt GmbH Identifizierung und Lokalisierung einer Basisstation eines autonomen mobilen Roboters
CN105185085B (zh) * 2015-09-22 2018-12-18 小米科技有限责任公司 数据通信系统、方法及装置
US10419877B2 (en) * 2015-10-07 2019-09-17 Samsung Electronics Co., Ltd. Electronic apparatus and IoT device controlling method thereof
DE102015119501A1 (de) 2015-11-11 2017-05-11 RobArt GmbH Unterteilung von Karten für die Roboternavigation
CN105301978B (zh) * 2015-11-11 2018-07-20 四川长虹电器股份有限公司 一种连接方法及移动终端
FR3043828A1 (fr) * 2015-11-12 2017-05-19 Orange Procede de gestion d'acces a des equipements domotiques par un terminal de controle distant
DE102015119865B4 (de) 2015-11-17 2023-12-21 RobArt GmbH Robotergestützte Bearbeitung einer Oberfläche mittels eines Roboters
US9996066B2 (en) 2015-11-25 2018-06-12 Echostar Technologies International Corporation System and method for HVAC health monitoring using a television receiver
US11018888B2 (en) 2015-12-03 2021-05-25 Whirlpool Corporation Methods of remote control of appliances
DE102015121666B3 (de) * 2015-12-11 2017-05-24 RobArt GmbH Fernsteuerung eines mobilen, autonomen Roboters
US10101717B2 (en) 2015-12-15 2018-10-16 Echostar Technologies International Corporation Home automation data storage system and methods
US9798309B2 (en) 2015-12-18 2017-10-24 Echostar Technologies International Corporation Home automation control based on individual profiling using audio sensor data
US10929642B2 (en) * 2015-12-26 2021-02-23 Intel Corporation Identification of objects for three-dimensional depth imaging
US10091017B2 (en) 2015-12-30 2018-10-02 Echostar Technologies International Corporation Personalized home automation control based on individualized profiling
US10073428B2 (en) 2015-12-31 2018-09-11 Echostar Technologies International Corporation Methods and systems for control of home automation activity based on user characteristics
US10060644B2 (en) 2015-12-31 2018-08-28 Echostar Technologies International Corporation Methods and systems for control of home automation activity based on user preferences
US10109179B2 (en) * 2016-01-15 2018-10-23 Collateral Opportunities, Llc Location aware alerting and notification escalation system and method
KR20170086339A (ko) 2016-01-18 2017-07-26 삼성전자주식회사 전자장치 및 그 제어방법
DE102016101552A1 (de) 2016-01-28 2017-08-03 Vorwerk & Co. Interholding Gmbh Verfahren zum Erstellen einer Umgebungskarte für ein selbsttätig verfahrbares Bearbeitungsgerät
DE102016102644A1 (de) 2016-02-15 2017-08-17 RobArt GmbH Verfahren zur Steuerung eines autonomen mobilen Roboters
US9628286B1 (en) 2016-02-23 2017-04-18 Echostar Technologies L.L.C. Television receiver and home automation system and methods to associate data with nearby people
CN105824242B (zh) * 2016-03-14 2018-07-13 美的集团股份有限公司 智能家居安全防护系统和方法
CN105629760B (zh) * 2016-03-21 2019-02-19 美的集团股份有限公司 智能家居系统、智能家居的安全控制装置及其安全控制方法
CN105681144B (zh) * 2016-03-21 2019-02-01 美的集团股份有限公司 智能家居系统、智能家居的安全控制装置及方法
CN105743714A (zh) * 2016-04-18 2016-07-06 上海斐讯数据通信技术有限公司 一种无线配置系统及方法
CN105809881A (zh) * 2016-05-10 2016-07-27 北京小米移动软件有限公司 报警方法及装置、控制设备及传感设备
US9882736B2 (en) 2016-06-09 2018-01-30 Echostar Technologies International Corporation Remote sound generation for a home automation system
DK179494B1 (en) 2016-06-12 2019-01-11 Apple Inc. USER INTERFACE FOR MANAGING CONTROLLABLE EXTERNAL DEVICES
CN105959643A (zh) * 2016-06-17 2016-09-21 乐视控股（北京）有限公司 监控方法、装置与系统
CN105955051A (zh) * 2016-06-20 2016-09-21 北京小米移动软件有限公司 智能家居设备控制方法及装置
US10263802B2 (en) * 2016-07-12 2019-04-16 Google Llc Methods and devices for establishing connections with remote cameras
US20180018081A1 (en) * 2016-07-12 2018-01-18 Google Inc. Methods and Systems for Presenting Smart Home Information in a User Interface
USD882583S1 (en) 2016-07-12 2020-04-28 Google Llc Display screen with graphical user interface
US10294600B2 (en) 2016-08-05 2019-05-21 Echostar Technologies International Corporation Remote detection of washer/dryer operation/fault condition
CN107770226B (zh) * 2016-08-22 2021-07-02 中兴通讯股份有限公司 一种智能家居的控制方法、装置、家庭网关及移动终端
BE1023878B1 (fr) * 2016-08-23 2017-09-04 Brainbox Scrl Installation électrique domestique
US10049515B2 (en) 2016-08-24 2018-08-14 Echostar Technologies International Corporation Trusted user identification and management for home automation systems
DE102016216291A1 (de) * 2016-08-30 2018-03-01 BSH Hausgeräte GmbH Überwachung von Raumbereichen mittels Reinigungsroboter
US9693181B1 (en) * 2016-09-21 2017-06-27 International Business Machines Corporation Surveillance detection based on an identification of a carried mobile device
KR20180039821A (ko) 2016-10-11 2018-04-19 삼성전자주식회사 모니터링 시스템 제어 방법 및 이를 지원하는 전자 장치
CN107979741B (zh) * 2016-10-25 2021-03-23 杭州萤石网络有限公司 一种安防监控方法、自主行动装置及安防监控系统
US10386999B2 (en) 2016-10-26 2019-08-20 Google Llc Timeline-video relationship presentation for alert events
USD843398S1 (en) 2016-10-26 2019-03-19 Google Llc Display screen with graphical user interface for a timeline-video relationship presentation for alert events
US11238290B2 (en) 2016-10-26 2022-02-01 Google Llc Timeline-video relationship processing for alert events
US10944836B2 (en) * 2016-10-31 2021-03-09 Vivint, Inc. Dynamically addressable network services
US11406235B2 (en) 2016-12-21 2022-08-09 Service-Konzepte MM AG Autonomous domestic appliance and seating or reclining furniture as well as domestic appliance
US11089100B2 (en) 2017-01-12 2021-08-10 Vivint, Inc. Link-server caching
KR101976424B1 (ko) * 2017-01-25 2019-05-09 엘지전자 주식회사 이동 로봇
US10586433B2 (en) * 2017-02-13 2020-03-10 Google Llc Automatic detection of zones of interest in a video
US20180247504A1 (en) * 2017-02-27 2018-08-30 Ring Inc. Identification of suspicious persons using audio/video recording and communication devices
WO2018158248A2 (de) 2017-03-02 2018-09-07 RobArt GmbH Verfahren zur steuerung eines autonomen,mobilen roboters
TW201904265A (zh) * 2017-03-31 2019-01-16 加拿大商艾維吉隆股份有限公司 異常運動偵測方法及系統
CN107105199B (zh) * 2017-04-20 2019-07-16 山东欧普科贸有限公司 基于物联网技术的智能家居看护方法及系统
KR101790269B1 (ko) 2017-04-24 2017-10-26 (주)파슨텍 이동통신 가입자 단말을 이용한 통합 관제 시스템 및 방법
BE1024798B1 (nl) * 2017-04-27 2018-07-02 Televic Healthcare Nv Een waarschuwingssysteem en werkwijze voor berichtgeving met betrekking tot een alarm
CN106963288A (zh) * 2017-04-29 2017-07-21 杭州扮家网络科技有限公司 一种基于物联网控制的智能吸尘器及其远程控制方法
CN107105188A (zh) * 2017-05-23 2017-08-29 北京小米移动软件有限公司 通信处理方法及装置
US10819921B2 (en) 2017-05-25 2020-10-27 Google Llc Camera assembly having a single-piece cover element
US10972685B2 (en) 2017-05-25 2021-04-06 Google Llc Video camera assembly having an IR reflector
US10352496B2 (en) 2017-05-25 2019-07-16 Google Llc Stand assembly for an electronic device providing multiple degrees of freedom and built-in cables
TWI626857B (zh) 2017-06-06 2018-06-11 立創智能股份有限公司 無線定位系統
DE102017113280A1 (de) * 2017-06-16 2018-12-20 Vorwerk & Co. Interholding Gmbh Haushaltsgerät
KR102048992B1 (ko) * 2017-07-21 2019-11-27 엘지전자 주식회사 인공지능 청소기 및 그 제어방법
KR102495028B1 (ko) * 2017-11-15 2023-02-07 주식회사 아이앤나 휘파람소리 인식 기능이 구비된 사운드장치
KR102573242B1 (ko) * 2017-11-15 2023-09-04 주식회사 아이앤나 비명소리 인식을 위한 사운드장치
KR102495019B1 (ko) * 2017-11-15 2023-02-07 주식회사 아이앤나 동물소리 인식 사운드장치
EP3519936B1 (en) * 2017-12-08 2020-04-08 Google LLC Isolating a device, from multiple devices in an environment, for being responsive to spoken assistant invocation(s)
FI127510B (en) * 2017-12-22 2018-08-15 Raisioagro Oy Systems comprising alarm devices
KR102385263B1 (ko) * 2018-01-04 2022-04-12 삼성전자주식회사 이동형 홈 로봇 및 이동형 홈 로봇의 제어 방법
WO2019156265A1 (ko) * 2018-02-09 2019-08-15 유성희 Iot 스마트 센서 모듈
US10787151B2 (en) * 2018-03-20 2020-09-29 The Boeing Company Local access indication system
WO2019198187A1 (ja) * 2018-04-11 2019-10-17 東芝映像ソリューション株式会社 ホームネットワーク、電子機器、処理装置および表示方法
JP2019191959A (ja) * 2018-04-25 2019-10-31 ホーチキ株式会社 管理システム
JP7098752B2 (ja) 2018-05-07 2022-07-11 アップル インコーポレイテッド ライブビデオフィード及び録画ビデオを閲覧するためのユーザインタフェース
US11256390B2 (en) 2018-05-07 2022-02-22 Google Llc Providing composite graphical assistant interfaces for controlling various connected devices
KR20230037704A (ko) * 2018-05-07 2023-03-16 구글 엘엘씨 연결 디바이스를 제어하기 위한 복합 그래픽 어시스턴트 인터페이스를 제공하는 방법, 시스템, 및 장치
US11457788B2 (en) * 2018-05-11 2022-10-04 Samsung Electronics Co., Ltd. Method and apparatus for executing cleaning operation
US11029761B2 (en) * 2018-08-02 2021-06-08 International Business Machines Corporation Context based gesture control
USD886127S1 (en) * 2018-10-05 2020-06-02 Google Llc Display screen with animated graphical user interface
IT201800009656A1 (it) * 2018-10-22 2020-04-22 Francesca Grassi Un sistema di controllo a distanza per comandare l'apertura e la chiusura di una attività commerciale
EP3667630A1 (en) * 2018-12-14 2020-06-17 Carrier Corporation Video monitoring system
CN109698720A (zh) * 2018-12-25 2019-04-30 努比亚技术有限公司 与监控设备通信的方法、装置、移动终端及可读存储介质
TW202027462A (zh) * 2019-01-11 2020-07-16 普易科技股份有限公司 居家設備控制系統及其方法
CN109889787B (zh) * 2019-02-27 2021-02-02 浙江大华技术股份有限公司 一种视频传输方法、装置及系统
JP7277210B2 (ja) * 2019-03-28 2023-05-18 シャープ株式会社 ネットワークシステム、通信端末、およびプログラム
EP3970335A1 (en) 2019-05-14 2022-03-23 Vilmos, András Method for implementing client side credential control to authorize access to a protected device
US11363071B2 (en) 2019-05-31 2022-06-14 Apple Inc. User interfaces for managing a local network
US10904029B2 (en) 2019-05-31 2021-01-26 Apple Inc. User interfaces for managing controllable external devices
KR102294182B1 (ko) * 2019-06-12 2021-08-31 함윤희 홈 네트워크 기반의 양방향 모니터링 시스템의 동작방법
KR102242015B1 (ko) * 2019-06-12 2021-04-19 함윤희 홈 네트워크 기반의 모니터링 시스템 및 이의 동작방법
KR20190086631A (ko) * 2019-07-02 2019-07-23 엘지전자 주식회사 사용자의 동작을 고려하여 청소하는 인공 지능 장치 및 그 방법
CN112217694A (zh) * 2019-07-11 2021-01-12 宁波中科极动信息科技有限公司 一种基于物联网平台的智慧厨房解决方案
WO2021079013A1 (es) * 2019-10-23 2021-04-29 Cortinas Y Automatismos Europe, S.L.U. Módulo de comunicación remota multiplataforma
KR102111162B1 (ko) 2019-10-28 2020-05-14 주식회사 경림이앤지 블랙 박스와 연동된 다채널 카메라 홈 모니터링 시스템 및 방법
WO2021110263A1 (en) * 2019-12-04 2021-06-10 Electrolux Appliances Aktiebolag Method of controlling a home appliance and control system
WO2021112283A1 (ko) * 2019-12-04 2021-06-10 (주)바램시스템 홈 로봇 및 홈 디바이스 연동을 통한 스마트 홈 안전 모니터링 시스템
US10644786B1 (en) 2019-12-12 2020-05-05 Cabin Management Solutions, Llc. Plug-and-play vehicle communication system and method
US10644789B1 (en) * 2019-12-12 2020-05-05 Cabin Management Solutions, Llc. Vehicle communication system and method
WO2021151086A1 (en) * 2020-01-24 2021-07-29 Patrick Joseph Nystrom Indicator network for managing ventilation, heating and air conditioning components of buildings
KR20210099787A (ko) * 2020-02-05 2021-08-13 삼성전자주식회사 안전 서비스를 제공하는 전자 장치 및 그 방법
WO2021215547A1 (ko) * 2020-04-21 2021-10-28 엘지전자 주식회사 스마트 홈 장치 및 방법
US11513667B2 (en) 2020-05-11 2022-11-29 Apple Inc. User interface for audio message
CN111669494B (zh) * 2020-05-25 2021-11-09 杭州涂鸦信息技术有限公司 一种网络摄像机控制方法和网络摄像机
CN112004055A (zh) * 2020-07-31 2020-11-27 西安万像电子科技有限公司 图像管理方法、系统及计算机可读存储介质
US11374792B2 (en) 2020-08-14 2022-06-28 Oracle International Corporation Techniques for utilizing multiple network interfaces for a cloud shell
US11368306B2 (en) 2020-08-14 2022-06-21 Oracle International Corporation Techniques for using signed nonces to secure cloud shells
US11327673B1 (en) 2020-10-23 2022-05-10 Oracle International Corporation Techniques for persisting data across instances of a cloud shell
US11755503B2 (en) 2020-10-29 2023-09-12 Storj Labs International Sezc Persisting directory onto remote storage nodes and smart downloader/uploader based on speed of peers
KR102339182B1 (ko) * 2020-11-29 2021-12-14 주식회사 지노시스 화재감지기와 연동한 로봇청소기를 이용한 화재감지 자동알림 및 확인 시스템과 그 방법
US11889028B2 (en) 2021-04-26 2024-01-30 Zoom Video Communications, Inc. System and method for one-touch split-mode conference access
CN113158990A (zh) * 2021-05-19 2021-07-23 云米互联科技(广东)有限公司 一种基于HomeMap的儿童看护方法及装置
KR20220158535A (ko) * 2021-05-24 2022-12-01 삼성전자주식회사 원격 모니터링을 위한 전자 장치 및 이의 동작 방법
US11916979B2 (en) * 2021-10-25 2024-02-27 Zoom Video Communications, Inc. Shared control of a remote client
CN114283557A (zh) * 2021-12-27 2022-04-05 深圳市雷鸟网络传媒有限公司 一种智能电视呼救方法、装置、智能电视及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030229474A1 (en) * 2002-03-29 2003-12-11 Kaoru Suzuki Monitoring apparatus
US20060069463A1 (en) * 2004-09-24 2006-03-30 Lg Electronics Inc. Trespass detecting system and method
US20060140481A1 (en) * 2004-12-08 2006-06-29 Kye-Kyung Kim Target detecting system and method
US20120185095A1 (en) * 2010-05-20 2012-07-19 Irobot Corporation Mobile Human Interface Robot

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100406636B1 (ko) 2001-04-18 2003-11-21 삼성광주전자 주식회사 로봇 청소기와 그 시스템 및 제어방법
US6925357B2 (en) * 2002-07-25 2005-08-02 Intouch Health, Inc. Medical tele-robotic system
EP1553536A1 (en) * 2002-10-04 2005-07-13 Fujitsu Limited Robot system and autonomously traveling robot
KR20040065605A (ko) 2003-01-15 2004-07-23 엘지전자 주식회사 휴대기기 연동형 홈네트워크 시스템
JP2005103679A (ja) * 2003-09-29 2005-04-21 Toshiba Corp ロボット装置
US20060155851A1 (en) * 2003-11-25 2006-07-13 Matsushita Electric Industrial Co., Ltd. Networked home surveillance architecture for a portable or remote monitoring device
KR20050086180A (ko) 2004-02-25 2005-08-30 엘지전자 주식회사 무선 단말기 연동형 홈 네트워크 시스템 및 그 제어 방법
KR100637559B1 (ko) * 2004-09-08 2006-10-20 에스케이 텔레콤주식회사 홈 모니터링 알림 서비스방법
KR100677252B1 (ko) 2004-09-23 2007-02-02 엘지전자 주식회사 로봇 청소기를 이용한 원격 감시시스템 및 방법
KR100636270B1 (ko) * 2005-02-04 2006-10-19 삼성전자주식회사 홈 네트워크 시스템 및 그 제어방법
JP2007316966A (ja) * 2006-05-26 2007-12-06 Fujitsu Ltd 移動ロボット、その制御方法及びプログラム
KR100855469B1 (ko) * 2006-09-13 2008-09-01 삼성전자주식회사 이동 로봇의 자세 추정 장치 및 방법
KR100942581B1 (ko) * 2007-11-20 2010-02-16 주식회사 인포마인드 청각 장애인을 위한 홈네트워크 시스템 및 방법
CN201123784Y (zh) * 2007-11-27 2008-10-01 北京晋科光技术有限公司 监控保洁机器人
CN101571715A (zh) * 2008-04-30 2009-11-04 悠进机器人股份公司 机器人远程控制系统
CN201327585Y (zh) * 2008-10-27 2009-10-14 北京晋科光技术有限公司 3g机器人
CN101452079B (zh) * 2008-12-26 2012-01-04 东南大学 基于混杂式传感器网络的核监测系统及方法
US20120210205A1 (en) * 2011-02-11 2012-08-16 Greg Sherwood System and method for using an application on a mobile device to transfer internet media content
US8520072B1 (en) * 2009-10-02 2013-08-27 Alarm.Com Incorporated Video monitoring and alarm verification technology
KR20110047764A (ko) * 2009-10-30 2011-05-09 삼성전자주식회사 이동 단말을 이용하여 홈 네트워크 시스템을 제어하기 위한 방법 및 장치
DE102009052629A1 (de) * 2009-11-10 2011-05-12 Vorwerk & Co. Interholding Gmbh Verfahren zur Steuerung eines Roboters
US8918209B2 (en) * 2010-05-20 2014-12-23 Irobot Corporation Mobile human interface robot
US8744523B2 (en) 2010-08-02 2014-06-03 At&T Intellectual Property I, L.P. Method and system for interactive home monitoring
US8375118B2 (en) * 2010-11-18 2013-02-12 Verizon Patent And Licensing Inc. Smart home device management
KR20120064916A (ko) * 2010-12-10 2012-06-20 주식회사 케이티 전화번호를 이용한 홈 네트워크 접근 제어 장치 및 그 방법과 그 시스템
JP5905031B2 (ja) * 2011-01-28 2016-04-20 インタッチ テクノロジーズ インコーポレイテッド モバイルテレプレゼンスロボットとのインタフェーシング
KR101252688B1 (ko) * 2011-04-08 2013-04-09 (주)서원인텍 용이하게 홈 네트워크를 구축할 수 있는 인터폰과 이를 컨트롤 할 수 있는 스마트폰을 포함하여 이루어진 인터폰시스템.
CN102253673B (zh) * 2011-07-08 2012-09-12 上海合时智能科技有限公司 基于目标识别技术的家用移动安保机器人
CN102355052A (zh) * 2011-07-30 2012-02-15 山东电力研究院 基于变电站智能机器人巡检系统及其变电站操作监护方法
US8692665B2 (en) * 2011-11-10 2014-04-08 At&T Intellectual Property I, L.P. Methods, systems, and products for security services
CN102722166B (zh) * 2012-06-29 2015-03-04 山东电力集团公司电力科学研究院 变电站设备智能视觉检测系统及状态检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030229474A1 (en) * 2002-03-29 2003-12-11 Kaoru Suzuki Monitoring apparatus
US20060069463A1 (en) * 2004-09-24 2006-03-30 Lg Electronics Inc. Trespass detecting system and method
US20060140481A1 (en) * 2004-12-08 2006-06-29 Kye-Kyung Kim Target detecting system and method
US20120185095A1 (en) * 2010-05-20 2012-07-19 Irobot Corporation Mobile Human Interface Robot

Also Published As

Publication number Publication date
US10819958B2 (en) 2020-10-27
KR102058918B1 (ko) 2019-12-26
EP2933953B1 (en) 2018-05-09
CN109996045A (zh) 2019-07-09
KR102155535B1 (ko) 2020-09-14
KR20140077817A (ko) 2014-06-24
EP2933953A1 (en) 2015-10-21
KR20200107906A (ko) 2020-09-16
WO2014092464A1 (ko) 2014-06-19
US11064158B2 (en) 2021-07-13
CN104838621A (zh) 2015-08-12
US20140218517A1 (en) 2014-08-07
KR20200002727A (ko) 2020-01-08
EP2933953A4 (en) 2016-08-10
US20190166333A1 (en) 2019-05-30
US20200162700A1 (en) 2020-05-21
CN111405240A (zh) 2020-07-10

Similar Documents

Publication Publication Date Title
KR102215569B1 (ko) 홈 모니터링 방법 및 장치
US10943470B2 (en) Method and apparatus for controlling a home device remotely in a home network system
US20200336325A1 (en) Display apparatus, terminal apparatus, and controlling methods thereof
KR102062580B1 (ko) 홈 네트워크 시스템에서 디바이스 제어 방법 및 장치
KR102252258B1 (ko) 홈 네트워크 시스템에서 홈 디바이스들의 그룹 제어 방법 및 장치
US20150140990A1 (en) Method and apparatus for controlling home devices on group basis in a home network system
US10419656B2 (en) Home monitoring and control systems
JP5866551B1 (ja) 監視システム及び監視システムにおける監視方法
KR20090012542A (ko) 로봇을 이용한 홈 모니터링 시스템
KR20060096910A (ko) 통신 중계 장치, 통신 시스템, 통신 제어 방법 및 컴퓨터판독 가능 매체
KR101272653B1 (ko) 댁내 기기 원격 제어 및 감시 시스템
JP2006245829A (ja) 電気機器制御装置、電気機器制御システム、電気機器制御方法、電気機器制御プログラム、および記録媒体
US11259076B2 (en) Tactile launching of an asymmetric visual communication session
KR101942798B1 (ko) 유휴 단말기를 이용한 보안 서비스 제공 방법, 장치 및 서버
KR20190129785A (ko) 디스플레이 장치, 단말 장치 및 그 제어 방법

Legal Events

Date Code Title Description
A107 Divisional application of patent
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant