KR102507254B1 - 실시간 실내 영상을 이용한 홈 오토메이션 시스템 - Google Patents

실시간 실내 영상을 이용한 홈 오토메이션 시스템 Download PDF

Info

Publication number
KR102507254B1
KR102507254B1 KR1020220068071A KR20220068071A KR102507254B1 KR 102507254 B1 KR102507254 B1 KR 102507254B1 KR 1020220068071 A KR1020220068071 A KR 1020220068071A KR 20220068071 A KR20220068071 A KR 20220068071A KR 102507254 B1 KR102507254 B1 KR 102507254B1
Authority
KR
South Korea
Prior art keywords
setting area
touch screen
indoor
controlling
image
Prior art date
Application number
KR1020220068071A
Other languages
English (en)
Other versions
KR20220079807A (ko
Inventor
김연우
이호정
조미란
Original Assignee
한화테크윈 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한화테크윈 주식회사 filed Critical 한화테크윈 주식회사
Priority to KR1020220068071A priority Critical patent/KR102507254B1/ko
Publication of KR20220079807A publication Critical patent/KR20220079807A/ko
Application granted granted Critical
Publication of KR102507254B1 publication Critical patent/KR102507254B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L12/2816—Controlling appliance services of a home automation network by calling their functionalities
    • H04L12/282—Controlling appliance services of a home automation network by calling their functionalities based on user interaction within the home
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/40—Software arrangements specially adapted for pattern recognition, e.g. user interfaces or toolboxes therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412—Digitisers structurally integrated in a display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L12/2816—Controlling appliance services of a home automation network by calling their functionalities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/75—Indicating network or usage conditions on the user display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M11/00—Telephonic communication systems specially adapted for combination with other electrical systems
    • H04M11/007—Telephonic communication systems specially adapted for combination with other electrical systems with remote control systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L2012/284—Home automation networks characterised by the type of medium used
    • H04L2012/2841—Wireless
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/131—Protocols for games, networked simulations or virtual reality

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Medical Informatics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Biology (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Selective Calling Equipment (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 실시간 실내 영상을 이용하여 실내에 비치된 기기를 제어하는 홈 오토메이션 시스템에 관한 발명이다. 본 발명에서는 실시간 실내 영상을 디스플레이 하는 터치스크린에 사용자로부터 터치 입력을 받아 실내에 비치된 기기들을 제어한다. 본 발명에 따르면 사용자는 제어된 기기들을 시각적으로 즉각 확인하는 것이 가능하다. 또한 본 발명에 따르면 사용자는 기기마다 서로 다른 상세화면에 진입할 필요 없이 실시간 실내 영상이 디스플레이 되는 화면 상에서 기기를 제어하는 것이 가능하다.

Description

실시간 실내 영상을 이용한 홈 오토메이션 시스템{Home automation system using real-time indoor image}
본 발명은 홈 오토메이션 시스템에 관한 것으로서, 보다 상세하게는 실시간 실내 영상을 디스플레이 하는 터치스크린을 이용하여 실내 기기를 제어하는 홈 오토메이션 시스템에 관한 것이다.
홈 오토메이션이란 사물인터넷(Internet of Things)이 접목된 실내 기기들과 컴퓨터 시스템을 활용하여 가정의 각종 설비들과 전자제품들을 제어하고 관리하는 가정의 자동화를 의미한다. 홈 오토메이션의 도입으로 실내에서 하나의 리모컨을 통해 다수의 실내 기기들을 제어하는 것이 가능하며, 나아가 원격지에서 무선 네트워크로 통신하여 실내 기기들을 제어하는 것이 가능하다.
도 1은 종래의 홈 오토메이션 시스템을 나타낸다. 도 1에서 터치스크린에 실내 기기들을 제어하기 위한 아이콘들이 디스플레이 되어 있다. 종래의 방식에서는 기기를 제어하기 위하여 아이콘을 클릭하고, 해당 기기를 제어할 수 있는 상세화면에 진입하여 해당 기기를 제어하는 방식을 사용하였다. 이러한 방식은 실내 기기들을 제어하기 위하여 기기별로 서로 다른 상세화면에 진입하여야 하는 번거로움이 있고, 제어된 실내 기기들의 상태를 시각적으로 즉각 확인할 수 없는 불편함이 존재한다.
한국 등록특허 제10-0575447호(이하, 선행발명)에서는 주택 평면도 또는 실물의 사진을 터치스크린에 표시하고, 해당 가전기기의 아이콘을 생성하여 터치 스크린에 표시하고, 사용자의 의도에 따라 터치스크린에 표시된 아이콘이 주택 평면도 상에 안착되도록 하고, 해당 아이콘을 터치 스크린을 통해 선택할 때 터치한 아이콘이 지시하는 가전기기를 식별하고 제어할 수 있도록 하였다.
그런데 선행발명에서는 주택 평면도를 이용하기 때문에 가전기기를 제어한 결과를 시각적으로 즉각 확인할 수 없다. 또한 선행발명의 도 7에 따르면 주택 평면도 상에 가려진 벽면이 존재하여 사용자가 가려진 벽면에 설치되어 있는 가전기기를 인식하기 어렵다. 또한 도 7에서 가구 및 가전제품들이 비치된 주택 평면도를 도시하고 있는데, 가구 및 가전제품들을 이동시키면 주택 평면도를 다시 업데이트해야 하는 번거로움이 존재한다.
이에 실내 기기들의 상태를 시각적으로 즉각 확인이 가능하며 개별 기기마다 상세화면에 진입하여 제어하지 않아도 되는 홈 오토메이션 시스템이 요구된다.
한국특허등록 제10-0575447호
본 발명이 해결하고자 하는 과제는, 기기마다 서로 다른 상세화면에 각각 진입하여 제어해야 하는 불편함이 없는 홈 오토메이션 시스템을 제공하는 것이다.
본 발명이 해결하고자 하는 다른 과제는, 기기를 제어한 결과를 시각적으로 즉각 확인이 가능한 홈 오토메이션 시스템을 제공하는 것이다.
본 발명의 과제들은 이상에서 언급한 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기 과제를 해결하기 위한 본 발명의 실시예에 따른 실내에 비치된 기기를 제어하는 홈 오토메이션 시스템은, 실내를 촬영하는 카메라로부터 실시간 실내 영상을 수신하는 영상수신부; 상기 영상수신부에 수신된 실시간 실내 영상을 디스플레이 하고 사용자로부터 터치 입력을 받는 터치스크린; 및 상기 터치 입력이 상기 영상 내에서 상기 기기의 위치에 대응하는 설정 영역에 속하는 경우에 상기 기기를 제어하는 제어 신호를 생성하는 제어부를 포함할 수 있다.
본 발명의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
본 발명의 실시예들에 의하면 적어도 다음과 같은 효과가 있다.
본 발명에 따르면 사용자는 기기의 상태를 시각적으로 즉각 확인하며 기기를 제어하는 것이 가능하다. 즉, 사용자에게 보다 직관적인 홈 오토메이션 시스템을 제공할 수 있다.
또한 본 발명에 따르면 사용자는 실내 기기마다 서로 다른 상세화면에 진입해야 하는 번거로움 없이 실내 영상이 디스플레이 되는 터치스크린 상에서 기기를 제어하는 것이 가능하다.
본 발명에 따른 효과는 이상에서 예시된 내용에 의해 제한되지 않으며, 더욱 다양한 효과들이 본 명세서 내에 포함되어 있다.
도 1은 종래의 홈 오토메이션 시스템을 나타낸다.
도 2는 본 발명의 일 실시예에 따른 홈 오토메이션 시스템을 나타낸다.
도 3은 스마트 전구를 제어하기 위한 설정 영역을 등록하는 방법을 나타낸다.
도 4는 보일러를 제어하기 위한 설정 영역을 등록하는 방법을 나타낸다.
도 5는 측정정보가 표시된 터치스크린을 나타낸다.
도 6 및 도 7은 사용자의 터치 입력이 클릭인 경우 스마트 전구를 제어하는 방법을 나타낸다.
도 8은 스마트 전구를 상세하게 제어하는 방법을 나타낸다.
도 9는 카메라의 움직임에 따라 설정 영역의 좌표를 조정하는 방법을 나타낸다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명하기로 한다.
도 2는 본 발명의 일 실시예에 따른 홈 오토메이션 시스템(1)을 나타낸다. 일 실시예에서 홈 오토메이션 시스템(1)은 영상수신부(11), 터치스크린(12), 제어부(13), 맵핑부(14), 매칭부(15), 네트워크부(16), 정보표시부(17), 및 카메라 조작부(18)를 포함한다.
본 발명에 따른 홈 오토메이션 시스템(1)은 실내를 촬영하는 카메라로부터 획득한 실시간 실내 영상을 이용하여 실내에 비치된 기기들을 제어한다. 이때, 영상수신부(11)는 실내를 촬영하는 카메라로부터 실시간 실내 영상을 수신하는 기능을 수행한다.
영상수신부(11)는 실시간 실내 영상을 유선 통신 또는 무선 통신을 통해 수신할 수 있다. 또한 영상수신부(11)는 카메라로부터 직접 실시간 실내 영상을 수신하거나 또는 카메라에서 서버로 전송된 영상을 서버로부터 수신할 수 있다.
부가적으로 영상수신부(11)는, 카메라에 온도, 습도 등 실내 환경을 측정할 수 있는 기능이 있는 경우, 측정된 정보를 실시간 실내 영상과 함께 수신할 수 있다.
터치스크린(12)은 영상수신부(11)를 통해 수신한 실시간 실내 영상을 디스플레이 하고 사용자로부터 입력을 받는 장치이다. 터치스크린(12)은 스크린을 가득 채우도록 실시간 실내 영상을 디스플레이 할 수 있고 또는 스크린의 일정 영역에 실시간 실내 영상을 디스플레이 하고 나머지 영역에 실내 기기의 제어에 사용되는 아이콘 등을 디스플레이 할 수 있다.
터치스크린(12)은 사용자가 화면에 손가락을 접촉하는 방식으로 입력을 받는데 이를 터치 입력이라 칭한다. 터치 입력은 사용자가 화면에 하나의 손가락을 짧은 시간동안 접촉하는 클릭, 사용자가 화면에 하나의 손가락을 긴 시간동안 접촉하는 롱 프레스, 및 사용자가 화면에 두개 이상의 손가락을 접촉하는 멀티 프레스를 포함할 수 있다.
제어부(13)는 터치스크린(12)에 입력된 사용자의 터치 입력이 터치스크린(12)에 디스플레이 되는 영상 내에서 실내 기기의 위치에 대응하는 설정 영역에 속하는 경우에 해당 기기를 제어하는 제어 신호를 생성하는 기능을 수행한다. 이때, 설정 영역은 사용자에 의해 지정되는 터치스크린(12) 내의 임의의 영역이다. 설정 영역은 제어하고자 하는 실내 기기와 화면 상의 위치가 동일하도록 지정되거나 또는 제어하고자 하는 실내 기기와 화면 상의 위치가 전혀 다르도록 지정될 수 있다.
제어부(13)는 터치스크린(12)에 입력되는 사용자의 터치 입력에 따라 실내 기기를 제어하는 제어 신호를 생성할 수 있다. 예를 들어, 터치스크린(12)에 클릭이 입력된 경우 제어부(13)는 하나의 실내 기기를 켜짐 상태에서 꺼짐 상태로 또는 꺼짐 상태에서 켜짐 상태로 전환하는 제어 신호를 생성할 수 있다. 또는 터치스크린(12)에 멀티 프레스가 입력된 경우 제어부(13)는 복수의 기기를 켜짐 상태에서 꺼짐 상태로 또는 꺼짐 상태에서 켜짐 상태로 전환하는 제어 신호를 생성할 수 있다.
제어부(13)가 설정 영역에 가해지는 터치 입력에 따라 설정 영역에 대응되는 기기를 제어하는 제어 신호를 생성하기 위해서는 설정 영역과 기기가 매칭되어야 한다. 이를 위해 맵핑부(14)와 매칭부(15)가 사용된다.
맵핑부(14)는 사용자가 지정한 설정 영역의 화면 상의 좌표를 맵핑하는 기능을 수행한다. 그리고 매칭부(15)는 설정 영역의 맵핑된 좌표와 제어하고자 하는 실내 기기를 매칭하는 기능을 수행한다.
제어부(13)가 맵핑부(14)에서 맵핑된 좌표에 가해지는 터치 입력에 따라 매칭부(15)에서 매칭된 기기를 제어하는 제어 신호를 생성하면, 네트워크부(16)는 생성된 제어 신호를 실내 기기에 송신하는 기능을 수행한다. 또한 네트워크부(16)는 실내 기기로부터 실내 기기의 정보를 수신하는 기능을 수행한다.
네트워크부(16)는 실내 기기와 데이터 전송을 위해 무선 통신을 사용할 수 있으며 무선 통신은 Wi-Fi, 블루투스, ZigBee, Infrared Data Association(IrDA), 및 Radio-Frequency Identification(RFID)를 포함할 수 있다.
네트워크부(16)에 수신되는 실내 기기의 정보는 기기의 작동 상태를 나타내는 상태정보, 기기에 의해 측정된 수치를 나타내는 측정정보를 포함할 수 있다. 예를 들어, 실내 기기가 스마트 전구인 경우 상태정보는 불켜짐 상태, 불꺼짐 상태, 조명의 색상 등을 포함할 수 있다. 또는 실내 기기가 에어컨인 경우 측정정보는 에어컨에서 측정한 실내 온도, 습도 등을 포함할 수 있다.
정보표시부(17)는 네트워크부(16)에서 수신한 실내 기기의 상태정보, 측정정보 및 홈 오토메이션 시스템(1)의 동작을 위한 안내정보를 터치스크린(12)에 표시하는 기능을 수행할 수 있다. 또한 정보표시부(17)는 영상수신부(11)에서 카메라에서 측정한 온도, 습도 등 실내 환경 정보를 터치스크린(12)에 표시하는 기능을 수행할 수 있다.
정보표시부(17)는 수신한 실내 기기의 측정정보를 종합하여 터치스크린(12)에 표시할 수 있다. 예를 들어, 네트워크부(16)에서 에어컨으로부터 실내 온도, 습도를 공기청정기로부터 공기의 질(quality)을 측정정보로 수신한 경우, 정보표시부(17)는 수신한 측정정보를 종합하여 실내 온도, 습도, 및 공기의 질을 터치스크린(12)에 표시할 수 있다.
또한 정보표시부(17)는 수신한 실내 기기의 상태정보를 해당 기기와 매칭된 설정 영역의 맵핑된 좌표 근처에 오버레이하여 표시할 수 있다. 예를 들어, 실내 기기가 에어컨인 경우 에어컨의 풍속 및 풍향 정보를 에어컨과 매칭된 설정 영역의 맵핑된 좌표 근처에 오버레이하여 표시할 수 있다.
또한 정보표시부(17)는 홈 오토메이션 시스템(1)의 동작을 위해 요구되는 안내정보로 시스템의 사용 방법을 안내하는 정보, 실내 기기의 제어 메뉴를 안내하는 정보 등을 표시할 수 있다.
카메라 조작부(18)는 카메라의 동작을 제어하는 기능을 수행한다. 실시간 실내 영상을 촬영하는 카메라가 PTZ 카메라인 경우 카메라 조작부(18)는 PTZ 카메라의 팬, 틸트, 줌의 동작을 제어할 수 있다. 카메라 조작부(18)는 PTZ 카메라의 팬, 틸트, 줌을 개별적으로 제어하는 기능, PTZ 카메라를 미리 설정된 팬, 틸트, 줌의 값을 갖도록 제어하는 기능, 및 PTZ 카메라를 초기 상태로 복원하도록 제어하는 기능을 포함할 수 있다.
카메라 조작부(18)의 제어에 따라 카메라에서 촬영하는 실내 모습이 변하면, 맵핑된 좌표는 변하지 않고 매칭된 기기의 영상 상의 위치는 변하게 되어, 사용자가 의도한 바와 다르게 화면 상에 설정 영역이 위치할 수 있다. 맵핑부(14)는 카메라 조작부(18)에 의해 카메라에서 촬영하는 실내 모습이 변하더라도 사용자의 의도와 일치하게 설정 영역이 화면 상에 위치할 수 있도록 설정 영역의 맵핑된 좌표를 카메라의 움직임에 따라 조정하는 기능을 수행할 수 있다.
이상 도 2에서 본 발명의 일 실시예에 따른 홈 오토메이션 시스템(1)의 구성을 살펴보았다. 이상의 설명을 바탕으로 이하에서는 홈 오토메이션 시스템(1)의 작동 방법을 살펴본다. 홈 오토메이션 시스템(1)의 작동 방법을 보다 자세히 살펴보기 위해 실내 기기를 스마트 전구로 특정하여 설명한다. 이러한 특정은 설명의 편의를 위해서일 뿐 홈 오토메이션 시스템(1)이 제어하는 실내 기기를 스마트 전구로 한정하는 것은 아니다.
도 3은 스마트 전구를 제어하기 위한 설정 영역을 등록하는 방법을 나타낸다. 도 3에서 스마트 전구는 터치스크린에 디스플레이 되는 실시간 실내 영상 상에 존재하는 실내 기기이다.
도 3을 통해 스마트 전구를 제어하기 위한 설정 영역을 등록하는 방법을 살펴보면, 먼저 정보표시부에 의해 스마트 전구를 제어할 설정 영역을 지정하도록 안내하는 안내정보(21)가 표시된다. 이때, 안내정보(21)는 터치스크린의 상단에 위치할 수 있다. 안내정보(21)에 따라 사용자가 스마트 전구를 제어할 설정 영역을 지정하는 터치 입력(22)을 수행하면 터치스크린은 터치 입력을 수신하여 맵핑부로 전달한다. 이때, 설정 영역은 화면 상에서 스마트 전구가 위치하는 지점일 수 있다. 맵핑부는 사용자에 의해 지정된 설정 영역(23)의 화면 상의 좌표를 맵핑하고, 매칭부는 맵핑부로부터 맵핑된 설정 영역(23)의 좌표를 수신하여 수신된 좌표와 스마트 전구를 매칭시킨다.
본 발명에 따른 홈 오토메이션 시스템은 실시간 실내 영상 상에 존재하는 실내 기기 외에도 실시간 실내 영상 밖에 존재하는 실내 기기도 제어하는 것이 가능하다. 실시간 실내 영상 밖에 존재하는 실내 기기를 제어하기 위해 설정 영역을 등록하는 방법을 도 4를 통해 살펴본다.
도 4는 보일러를 제어하기 위한 설정 영역을 등록하는 방법을 나타낸다.
도 4를 통해 실내 영상 밖에 존재하는 보일러를 제어하기 위한 설정 영역을 등록하는 방법을 살펴보면, 먼저 정보표시부는 보일러를 제어할 설정 영역의 등록을 안내하는 안내정보(31)를 표시한다. 사용자는 터치스크린에 디스플레이 되는 실시간 실내 영상 상의 임의의 영역을 터치(32)하여 설정 영역을 지정할 수 있다. 도 4에서는 터치스크린에 디스플레이 되는 실시간 실내 영상에서 실내의 좌측 벽면이 위치한 지점이 사용자에 의해 설정 영역(33)으로 지정되었다. 터치스크린은 맵핑부에 사용자에 의해 입력된 임의의 설정 영역(33)에 대한 터치 입력을 전달하고, 맵핑부는 설정 영역(33)의 좌표를 터치스크린상에 맵핑한다. 매칭부는 맵핑부로부터 맵핑된 설정 영역(33)의 좌표를 수신하여 수신한 좌표와 보일러를 매칭시킨다.
다음으로 도 5를 통해 정보표시부가 터치스크린에 실내 기기의 측정정보를 표시하는 방법을 살펴본다. 도 5는 측정정보가 표시된 터치스크린을 나타낸다.
네트워크부는 에어컨, 공기청정기, 가습기, 온도계 등의 실내 기기에서 측정된 실내의 온도, 습도, 공기 상태 등에 관한 측정정보를 수신하여 정보표시부로 전달할 수 있다.
정보표시부는 전달된 측정정보를 종합하여 터치스크린에 표시할 수 있다. 이때, 정보표시부는 측정정보가 표시되는 영역이 설정 영역과 겹치지 않도록 측정정보(41)를 터치스크린에 표시할 수 있다. 도 5에서는 측정정보(41)가 화면의 좌측 상단에 위치하여 설정 영역과 겹치지 않도록 하였다.
도 5에서는 정보표시부에서 표시하는 측정정보로 실내 기기에서 측정된 정보를 사용하였으나, 실내 영상을 촬영하는 카메라에 온도, 습도, 공기 상태 등을 측정하는 기능이 있는 경우, 카메라로부터 측정된 측정정보를 영상수신부를 통해 수신하여 표시하는 것도 가능하다.
다음으로 도 6 및 도 7을 통해 사용자의 터치 입력에 따라 실내 기기를 제어하는 방법을 살펴본다.
도 6 및 도 7은 사용자의 터치 입력이 클릭인 경우 스마트 전구를 제어하는 방법을 나타낸다.
도 6을 참고하면, 터치스크린은 사용자로부터 스마트 전구의 설정 영역(51)을 클릭하는 터치 입력(52)을 수신한다. 제어부는 터치스크린으로부터 터치 입력을 전달 받고 네트워크부로부터 스마트 전구의 상태정보로 불꺼짐 상태를 수신한다. 제어부는 터치 입력이 클릭이고 스마트 전구가 불꺼짐 상태이므로 스마트 전구를 불켜짐 상태로 전환하는 제어 신호를 생성할 수 있다. 제어부는 생성된 제어신호를 네트워크부를 통해 해당 기기로 전송하고, 이에 따라 스마트 전구는 불켜짐 상태로 전환되게 된다. 이때, 사용자가 스마트 전구의 설정 영역을 클릭할 때 스마트 전구의 상태가 불켜짐 상태로 전환된다는 표시로 정보표시부에 의해 'ON'(53)이 터치스크린의 하단에 짧은 시간동안 디스플레이 될 수 있다.
도 7을 참고하면, 터치스크린은 사용자로부터 스마트 전구의 설정 영역을 클릭하는 터치 입력(61)을 수신한다. 제어부는 터치스크린으로부터 터치 입력을 전달 받고 네트워크부로부터 스마트 전구의 상태정보로 불켜짐 상태를 수신한다. 제어부는 터치 입력이 클릭이고 스마트 전구가 불켜짐 상태이므로 스마트 전구를 불꺼짐 상태로 전환하는 제어 신호를 생성한다. 제어부는 생성된 제어신호를 네트워크부를 통해 해당 기기로 전송하고, 이에 따라 스마트 전구는 불꺼짐 상태로 전환되게 된다. 이때에도 정보표시부는 터치스크린에 스마트 전구의 설정 영역을 클릭하는 입력에 대해 스마트 전구의 상태가 불꺼짐 상태로 전환된다는 표시로 'OFF'(62)를 터치스크린의 하단에 짧은 시간동안 표시할 수 있다.
스마트 전구가 불꺼짐 상태로 전환됨에 따라 터치스크린에 디스플레이 되는 실시간 실내 영상이 어두워져 실내 기기의 위치를 영상 상에서 분간하기 어려울 수 있다. 이때, 정보표시부는 맵핑된 좌표에 매칭된 기기의 정보(63)를 표시하여 어두운 영상에서도 사용자가 기기를 분간하게끔 할 수 있다. 이때 정보표시부에 의해 표시되는 실내 기기의 정보는 기기의 명칭, 기기의 이미지, 아이콘 등을 포함한다.
다음으로 도 8을 통해 스마트 전구를 상세하게 제어하는 방법에 대해 살펴본다.
도 8은 스마트 전구를 상세하게 제어하는 방법을 나타낸다.
도 8을 참고하면, 상세 제어 전, 스마트 전구는 불켜짐 상태로 터치스크린에 디스플레이 되고 있다. 터치스크린은 사용자로부터 스마트 전구의 설정 영역에 터치 입력(71)으로 롱 프레스를 수신한다. 터치스크린은 롱 프레스 입력을 정보표시부로 전달하고 정보표시부는 이에 따라 스마트 전구의 세부 제어 항목(72)을 터치스크린에 표시한다. 이때, 정보표시부는 스마트 전구의 설정 영역이 맵핑된 좌표의 근처에 오버레이하여 세부 제어 항목(72)을 표시할 수 있다. 세부 제어 항목(72)은 실내 기기의 종류에 따라 다를 수 있으며, 도 8에는 스마트 전구의 세부 제어 항목(72)으로 색상, 꺼짐예약, 및 조도가 표시되어 있다. 사용자가 세부 제어 항목(72) 중 색상을 클릭하면 정보표시부는 스마트 전구의 색상을 조절 할 수 있는 색상제어판(73)을 터치스크린에 표시할 수 있다. 사용자가 색상제어판(73)에서 원하는 색상을 클릭하면 제어부는 클릭된 터치 입력(74)을 터치스크린으로부터 수신하여 스마트 전구의 색상을 선택된 색상으로 변경하는 제어 신호를 생성한다. 네트워크부는 생성된 제어 신호를 스마트 전구에 전달하고 이에 따라 스마트 전구의 색상이 변경되게 된다. 사용자는 터치스크린에 디스플레이 되는 실시간 실내 영상을 통해 스마트 전구의 색상이 바뀐 것을 시각적으로 즉각 확인할 수 있다.
이상에서 살펴본 클릭 및 롱 프레스 터치 입력에 따른 실내 기기 제어 이외에도 멀티 프레스 터치 입력을 통해 복수의 실내 기기들을 동시에 제어할 수 있다.
터치스크린에 멀티 프레스로 화면을 위에서 아래로 밀어 내리는 터치 입력이 입력된 경우, 제어부는 터치 입력을 수신하여 복수의 실내 기기들을 꺼짐 상태로 전환하는 제어 신호를 생성할 수 있다. 또는 터치스크린에 멀티 프레스로 화면을 아래에서 위로 밀어 올리는 터치 입력이 입력된 경우, 제어부는 터치 입력을 수신하여 복수의 실내 기기들을 켜짐 상태로 전환하는 제어 신호를 생성할 수 있다.
이때, 복수의 실내 기기들은 터치스크린에 디스플레이 되는 실시간 실내 영상에 맵핑된 좌표에 대응하여 매칭된 모든 기기들을 포함할 수 있다. 또는 복수의 실내 기기들은 사용자가 미리 지정한 기기들일 수 있다. 또한 복수의 실내 기기들을 제어하기위한 멀티 프레스는 손가락 세 개를 화면에 접촉하는 터치 입력일 수 있다.
도 9는 카메라의 움직임에 따라 설정 영역의 좌표를 조정하는 방법을 나타낸다.
도 9를 참조하면, 카메라 조작부에 의해 카메라가 좌측으로 팬 동작하면 카메라의 동작에 따라 터치스크린에 디스플레이 되는 실내 화면이 변하게 된다. 이에 반해 설정 영역의 맵핑된 좌표(81)는 화면 상의 좌표이므로 카메라의 움직임에 따라 변하지 않는다. 따라서 설정 영역의 맵핑된 좌표(81)와 매칭된 기기가 디스플레이 되는 위치가 일치하지 않는 상황이 발생할 수 있다.
이러한 상황을 방지하기 위해 맵핑부는 카메라의 움직임에 따라 설정 영역의 맵핑된 좌표(81)가 화면에서 매칭된 기기 상에 위치하도록 맵핑된 좌표(81)를 변환하여 새로운 좌표(82)를 생성할 수 있다. 설정 영역은 새로운 좌표(82) 상에 위치하게 되고, 사용자는 새로운 좌표(82) 상의 설정 영역을 터치하여 매칭된 기기를 제어할 수 있다.
맵핑부는 설정 영역의 새로운 좌표(82)를 생성하기 위해, 영상처리를 통해 카메라의 움직임 전과 후의 영상 상 매칭된 기기의 위치 변화를 분석하고, 변화된 위치에 따라 맵핑된 좌표(81)를 이동하여 새로운 좌표(82)를 생성할 수 있다. 또는 맵핑부는 카메라의 움직인 각도와 카메라와 매칭된 기기 사이의 거리를 이용하여, 카메라의 움직임에 따라 매칭된 기기가 이동한 거리를 계산하고, 이에 따라 맵핑된 좌표(81)를 이동하여 새로운 좌표(82)를 생성할 수 있다.
본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
1: 홈 오토메이션 시스템 11: 영상수신부
12: 터치스크린 13: 제어부
14: 맵핑부 15: 매칭부
16: 네트워크부 17: 정보표시부
18: 카메라 조작부 21, 31: 안내정보
22, 32, 52, 61, 71, 74: 터치 입력
23, 33, 51: 설정 영역 41: 측정정보
63: 기기의 정보 72: 세부 제어 항목
73: 색상제어판 81: 맵핑된 좌표
82: 새로운 좌표

Claims (6)

  1. 홈 오토메이션 시스템 내에 비치된 기기를 제어하는 방법으로서,
    카메라에 의해 영상을 캡쳐하는 단계;
    상기 캡쳐된 영상을 터치 스크린 상에 표시하는 단계;
    네트워크를 통해 연결되고 제어 가능한 제1 기기 및 제2 기기를 검색하는 단계로서, 상기 제1 기기는 상기 영상 내에 위치한 기기이고 상기 제2 기기는 상기 영상 밖에 위치한 기기인 상기 단계;
    상기 터치 스크린을 통해 제1 사용자 입력을 수신하고, 상기 제1 사용자 입력에 따라 상기 제1 기기의 위치에 제1 설정 영역을 설정하는 단계;
    사용자가 상기 제2 기기에 대응되는 제2 설정 영역을 지정하도록 안내하는 안내정보를 상기 영상 내에 표시하는 단계;
    상기 터치 스크린을 통해 제2 사용자 입력을 수신하고, 상기 제2 사용자 입력에 따라 상기 제1 설정 영역과 중첩되지 않는 위치에 상기 제2 설정 영역을 설정하는 단계; 및
    상기 제1 및 제2 설정 영역에 대한 제어 신호에 따라 상기 제1 및 제2 기기를 제어하는 단계를 포함하는, 기기를 제어하는 방법.
  2. 제1항에 있어서,
    상기 제어 신호를 상기 제1 및 제2 기기에 송신하고 상기 제1 및 제2 기기로부터 기기 정보를 수신하는 단계를 더 포함하는, 기기를 제어하는 방법.
  3. 제2항에 있어서,
    상기 제1 및 제2 사용자 입력에 따라 상기 설정 영역의 좌표를 맵핑하는 단계;
    상기 설정 영역의 좌표와 상기 기기를 매칭하는 단계; 및
    상기 맵핑된 좌표에 가해지는 터치 입력에 따라 상기 매칭된 기기를 제어하는 제어 신호를 생성하는 단계를 더 포함하는, 기기를 제어하는 방법.
  4. 제3항에 있어서,
    상기 네트워크를 통해 수신된 상기 기기 정보를 상기 터치 스크린에 표시하는 단계를 더 포함하는, 기기를 제어하는 방법.
  5. 제4항에 있어서, 상기 기기 정보를 상기 터치 스크린에 표시하는 단계는,
    상기 매칭된 기기의 정보를 상기 맵핑된 좌표의 근처에 오버레이하여 표시하는 단계를 포함하는, 기기를 제어하는 방법.
  6. 제3항에 있어서,
    상기 카메라의 움직임을 제어하는 단계; 및
    상기 카메라의 움직임에 따라 상기 설정 영역이 상기 매칭된 기기 상에 위치하도록 상기 설정 영역의 좌표를 조정하는 단계를 더 포함하는, 기기를 제어하는 방법.
KR1020220068071A 2017-08-31 2022-06-03 실시간 실내 영상을 이용한 홈 오토메이션 시스템 KR102507254B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220068071A KR102507254B1 (ko) 2017-08-31 2022-06-03 실시간 실내 영상을 이용한 홈 오토메이션 시스템

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020170111008A KR102407026B1 (ko) 2017-08-31 2017-08-31 실시간 실내 영상을 이용한 홈 오토메이션 시스템
KR1020220068071A KR102507254B1 (ko) 2017-08-31 2022-06-03 실시간 실내 영상을 이용한 홈 오토메이션 시스템

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020170111008A Division KR102407026B1 (ko) 2017-08-31 2017-08-31 실시간 실내 영상을 이용한 홈 오토메이션 시스템

Publications (2)

Publication Number Publication Date
KR20220079807A KR20220079807A (ko) 2022-06-14
KR102507254B1 true KR102507254B1 (ko) 2023-03-06

Family

ID=65435826

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020170111008A KR102407026B1 (ko) 2017-08-31 2017-08-31 실시간 실내 영상을 이용한 홈 오토메이션 시스템
KR1020220068071A KR102507254B1 (ko) 2017-08-31 2022-06-03 실시간 실내 영상을 이용한 홈 오토메이션 시스템

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020170111008A KR102407026B1 (ko) 2017-08-31 2017-08-31 실시간 실내 영상을 이용한 홈 오토메이션 시스템

Country Status (2)

Country Link
US (3) US10742440B2 (ko)
KR (2) KR102407026B1 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10043172B2 (en) * 2013-05-29 2018-08-07 Ebay Inc. Tap and hold
KR102407026B1 (ko) * 2017-08-31 2022-06-08 한화테크윈 주식회사 실시간 실내 영상을 이용한 홈 오토메이션 시스템
WO2019245303A1 (en) * 2018-06-22 2019-12-26 Lg Electronics Inc. Method for transmitting 360-degree video, method for receiving 360-degree video, apparatus for transmitting 360-degree video, and apparatus for receiving 360-degree video
US11163434B2 (en) * 2019-01-24 2021-11-02 Ademco Inc. Systems and methods for using augmenting reality to control a connected home system
US10911911B1 (en) * 2019-10-03 2021-02-02 Honda Motor Co., Ltd. Device control based on timing information
US12014031B1 (en) * 2023-01-05 2024-06-18 Haier Us Appliance Solutions, Inc. Laundry appliance identification systems and methods

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102407026B1 (ko) * 2017-08-31 2022-06-08 한화테크윈 주식회사 실시간 실내 영상을 이용한 홈 오토메이션 시스템

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100575447B1 (ko) 2003-02-11 2006-05-03 주식회사 플레넷 홈 오토메이션을 위한 가전기기 제어방법
KR100800998B1 (ko) 2005-12-24 2008-02-11 삼성전자주식회사 홈 네트워크 기기 제어 장치 및 방법
KR101752417B1 (ko) * 2010-12-17 2017-06-29 엘지전자 주식회사 이동 단말기 및 디바이스 제어방법
KR102044493B1 (ko) * 2013-07-30 2019-11-13 삼성전자주식회사 타겟 장치의 위치를 결정하기 위한 방법 및 그 전자 장치
KR20170015622A (ko) * 2015-07-29 2017-02-09 삼성전자주식회사 사용자 단말 장치 및 그 제어 방법
EP3345379B1 (en) * 2015-12-23 2022-01-26 Samsung Electronics Co., Ltd. Method for electronic device to control object and electronic device
KR102529120B1 (ko) * 2016-07-15 2023-05-08 삼성전자주식회사 영상을 획득하는 방법, 디바이스 및 기록매체

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102407026B1 (ko) * 2017-08-31 2022-06-08 한화테크윈 주식회사 실시간 실내 영상을 이용한 홈 오토메이션 시스템

Also Published As

Publication number Publication date
US10742440B2 (en) 2020-08-11
US20200351113A1 (en) 2020-11-05
US20230006856A1 (en) 2023-01-05
US11444799B2 (en) 2022-09-13
US20190068393A1 (en) 2019-02-28
US11671275B2 (en) 2023-06-06
KR20220079807A (ko) 2022-06-14
KR102407026B1 (ko) 2022-06-08
KR20190024228A (ko) 2019-03-08

Similar Documents

Publication Publication Date Title
KR102507254B1 (ko) 실시간 실내 영상을 이용한 홈 오토메이션 시스템
JP3811025B2 (ja) ネットワーク・システム
US11593999B2 (en) Smart-home device placement and installation using augmented-reality visualizations
KR102231105B1 (ko) 제어 장치 및 그 제어 방법
US7978178B2 (en) Remote control
EP1744290B1 (en) Integrated remote controller and method of selecting device controlled thereby
EP2093650B1 (en) User interface system based on pointing device
US9363855B2 (en) Control system for controlling one or more controllable devices sources and method for enabling such control
CA3013523C (en) Home automation system
KR20140137080A (ko) 무선 리모컨 기능을 갖는 ip 카메라를 이용한 전자기기의 제어 방법
KR20170091426A (ko) 디스플레이장치 및 그 제어방법
US20150241976A1 (en) Wearable finger ring input device and controller
CN106569409A (zh) 一种基于图形捕获的家居设备控制系统、家居控制设备及控制方法
KR20100003414A (ko) 실시간 원격 영상 전송 시스템
EP3104239A1 (en) Method for mobile on-site building engineering using in commodity devices
JP2003283865A (ja) 機器制御装置
TWI639111B (zh) Method of simulating a remote controller
CN218846401U (zh) 空调器
KR101206349B1 (ko) 홈 네트워크 제어 서버 및 방법
US12033288B2 (en) Smart-home device placement and installation using augmented-reality visualizations
JPH0654220A (ja) 映像を利用した操作装置
CN115899970A (zh) 空调器
KR100494175B1 (ko) 네트웍 티브이를 이용한 온도표시 제어장치 및 방법
KR19990001922A (ko) 정보 단말 장치 및 그 동작 방법

Legal Events

Date Code Title Description
A107 Divisional application of patent
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant