KR20200042178A - Multi-modal interface system and visualization device for IoT-based smart home control - Google Patents

Multi-modal interface system and visualization device for IoT-based smart home control Download PDF

Info

Publication number
KR20200042178A
KR20200042178A KR1020180122422A KR20180122422A KR20200042178A KR 20200042178 A KR20200042178 A KR 20200042178A KR 1020180122422 A KR1020180122422 A KR 1020180122422A KR 20180122422 A KR20180122422 A KR 20180122422A KR 20200042178 A KR20200042178 A KR 20200042178A
Authority
KR
South Korea
Prior art keywords
smart home
smart
modal interface
interface system
control
Prior art date
Application number
KR1020180122422A
Other languages
Korean (ko)
Inventor
김경수
이정옥
Original Assignee
주식회사 아이엠알
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 아이엠알 filed Critical 주식회사 아이엠알
Priority to KR1020180122422A priority Critical patent/KR20200042178A/en
Publication of KR20200042178A publication Critical patent/KR20200042178A/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L12/2823—Reporting information sensed by appliance or service execution status of appliance services in a home automation network
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L12/2816—Controlling appliance services of a home automation network by calling their functionalities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L12/283—Processing of data at an internetworking point of a home automation network
    • H04L12/2834—Switching of information between an external network and a home network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L2012/2847—Home automation networks characterised by the type of home appliance used
    • H04L2012/285—Generic home appliances, e.g. refrigerators

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

The present invention relates to a method of controlling a device using a multimodal interface in a smart home environment and visualizing information such as a device list, an operation status, and a history through a smart display. According to an embodiment of the present invention, a multimodal interface system and a visualization device for smart home control based on an Internet of things (IoT) comprise the steps of: obtaining data from a sensor node and a smart home device; gathering the data at a gateway; transmitting the gathered data from the gateway to a smart home platform; analyzing the data in the smart home platform; controlling the smart home device by a multimodal interface; and displaying information through a smart display. Accordingly, it is possible to increase the convenience of users related to a living space by combining IoT-based device connectivity and various interfaces.

Description

IoT 기반 스마트 홈 제어를 위한 멀티모달 인터페이스 시스템 및 시각화 장치 {Multi-modal interface system and visualization device for IoT-based smart home control}  Multi-modal interface system and visualization device for IoT-based smart home control}

본 발명은 IoT를 기반으로 한 스마트 홈 제어 방법에 관한 것으로, 더욱 상세하게는 스마트 홈 환경에서 멀티모달 인터페이스를 이용하여 디바이스를 제어하고 디바이스 목록, 작동 상황, 이력 등의 정보를 스마트 디스플레이를 통해 시각화하는 방법에 관한 것이다. The present invention relates to a smart home control method based on IoT, and more specifically, to control a device using a multi-modal interface in a smart home environment and visualizes information such as a device list, operation status, and history through a smart display. How to do.

스마트 홈 기술은 주거환경에 네트워크와 정보 처리 등 다양한 IT 기술들이 접목 되어 사람과 자연스러운 상호작용으로 인간 중심의 서비스 환경에서 유익한 생활 서비스를 제공하는 기술이다. 스마트 홈 환경에서 사용자들은 효율적 에너지 관리, 외부에서의 원격 제어, 개인화 서비스 등 다양한 사용 가치를 얻을 수 있다. 집은 사무공간이나 공공장소와는 달리 사적인 공간이며 휴식의 장소이기 때문에 친숙함이나 안정감과 같은 심리적, 정서적인 요소가 중요하다. 따라서 스마트 홈 시스템 기획과 인터페이스 디자인에서 감성적 영역의 사용자 경험을 향상할 수 있는 상호작용 요인들에 대한 연구 필요성이 높아지고 있다.Smart home technology is a technology that provides beneficial life services in a human-centered service environment through natural interaction with people by integrating various IT technologies such as network and information processing into the residential environment. In a smart home environment, users can obtain various usage values such as efficient energy management, remote control from outside, and personalization service. Unlike office spaces and public spaces, the house is a private space and a place for relaxation, so psychological and emotional factors such as familiarity and stability are important. Therefore, there is a growing need for research on interaction factors that can enhance the user experience in the emotional domain in smart home system planning and interface design.

멀티모달 인터페이스란 인간의 행동들에 대한 정보를 해석하고 부호화하는 인지기반 기술로, 인간과 컴퓨터 또는 단말기기 사이의 인터페이스를 키보드, 펜, 그래픽 등 다양한 수단을 활용하는 방법을 말한다.The multi-modal interface is a cognitive-based technology that interprets and encodes information about human behaviors, and refers to a method that utilizes various means such as a keyboard, pen, and graphics to interface between a human and a computer or terminal device.

본 발명은 IoT 플랫폼 기반 스마트 홈 환경을 사용함에 사용자와 상호작용을 하는 방식을 통해 스마트 홈의 다양한 디바이스를 제어하고, 스마트 홈 환경에 다양한 정보를 효율적으로 분석하며 이를 응용하여 사용자에게 쾌적한 환경을 제공하는 것을 그 목적으로 하는 것이다.The present invention controls a variety of devices in a smart home through a method of interacting with the user by using the IoT platform-based smart home environment, efficiently analyzes various information in the smart home environment, and applies it to provide a comfortable environment for the user That's what it does.

상술한 목적을 달성하기 위한 본 발명의 실시예에 따르면, IoT 기반 스마트 홈 제어를 위한 멀티모달 인터페이스 시스템 및 시각화 장치를 제공하는 방법에 있어서 센서노드 및 스마트 디바이스에서 데이터를 취득하는 단계; 및 게이트웨이에서 데이터를 취합하는 단계; 및 게이트웨이에서 스마트 홈 플랫폼으로 전송하는 단계; 및 스마트 홈 플랫폼에서 데이터를 분석하는 단계; 및 멀티모달 인터페이스에 의해 제어하는 단계; 스마트 디스플레이를 통해 정보를 표시하는 단계를 포함하는 스마트 홈 제어를 위한 멀티모달 인터페이스 시스템 및 시각화 장치가 제공될 수 있다. 또한, IoT 기반 스마트 홈 제어를 위한 멀티모달 인터페이스 시스템은, 상기 센서 노드에서 온도, 습도, 가스, 조도에 대한 데이터와 스마트 디바이스(조명, 냉난방기, 냉장고, TV, 플러그, 도어락, 가스차단기 등)의 동작 상태를 측정하는 측정부; 및 상기 센서 노드와 스마트 디바이스의 데이터를 게이트웨이가 취합하는 통신부; 및 상기 게이트웨이로부터 전달받은 데이터를 스마트 홈 플랫폼에서 분석, 처리하는 판독부; 및 토글 스위치, 조그 다이얼 등 물리적 버튼에 의한 제어, 휴대용 스마트 단말기, 터치 스크린에 의한 제어, 음성인식에 의한 제어, 손동작, 몸짓에 의한 제어 기능을 제공하는 제어부; 및 분석된 정보를 스마트 디스플레이에 표시하는 표시부를 포함할 수 있다. According to an embodiment of the present invention for achieving the above object, In a method for providing a multi-modal interface system and visualization apparatus for IoT-based smart home control, obtaining data from the sensor node and the smart device; And collecting data at the gateway; And transmitting from the gateway to the smart home platform. And analyzing data in a smart home platform; And controlling by a multimodal interface; A multi-modal interface system and a visualization device for smart home control including displaying information through a smart display may be provided. In addition, the multi-modal interface system for IoT-based smart home control includes data on temperature, humidity, gas, and illuminance and smart devices (lighting, air conditioning, refrigerator, TV, plug, door lock, gas blocker, etc.) at the sensor node. Measurement unit for measuring the operating state; And a communication unit configured to collect data of the sensor node and the smart device through a gateway. And a reading unit analyzing and processing data received from the gateway in a smart home platform. And a control unit for controlling by physical buttons such as a toggle switch and a jog dial, a portable smart terminal, a control by a touch screen, control by voice recognition, control by hand gestures and gestures; And a display unit that displays the analyzed information on the smart display.

본 발명의 실시예들에 따르면, 사물인터넷 기반의 디바이스 연결성과 다양한 인터페이스가 접목되어 생활공간과 관련된 사용자의 편리성을 향상시킬 수 있다.According to embodiments of the present invention, IoT-based device connectivity and various interfaces are combined to improve user convenience associated with a living space.

본 발명의 실시예들에 따르면, 스마트 홈 환경을 멀티모달 인터페이스를 이용해 제어하고 스마트 디스플레이를 통해 제어 정보를 시각적으로 전달 할 수 있다.According to embodiments of the present invention, a smart home environment may be controlled using a multi-modal interface, and control information may be visually transmitted through a smart display.

도 1은 본 발명의 일 실시예에 있어서, IoT 기반 스마트 홈 제어를 위한 멀티모달 인터페이스 시스템 및 시각화 장치를 개략적으로 도시한 흐름도이다.
도 2는 본 발명의 일 실시예에 있어서, 스마트 홈 플랫폼에서 정보를 수집하기까지의 센서노드, 스마트 홈 디바이스, 게이트웨이의 구성도이다.
도 3은 본 발명의 일 실시예에 있어서, 멀티모달 인터페이스와 상호 연동하는 사물인터넷 플랫폼, 스마트 디스플레이의 구성도이다.
도 4는 본 발명의 일 실시예에 있어서, IoT 기반 스마트 홈 제어를 위한 멀티모달 인터페이스 시스템 및 시각화 장치의 활용을 설명하기 위한 도면이다.1 is a flowchart schematically illustrating a multi-modal interface system and a visualization device for IoT-based smart home control in an embodiment of the present invention.
2 is a diagram illustrating the configuration of a sensor node, a smart home device, and a gateway from the smart home platform to collecting information in one embodiment of the present invention.
3 is a block diagram of an IoT platform and a smart display interworking with a multi-modal interface in one embodiment of the present invention.
4 is a view for explaining the use of a multi-modal interface system and a visualization device for IoT-based smart home control in an embodiment of the present invention.

아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art to which the present invention pertains can easily practice. However, the present invention can be implemented in many different forms and is not limited to the embodiments described herein. In addition, in order to clearly describe the present invention in the drawings, parts irrelevant to the description are omitted, and like reference numerals are assigned to similar parts throughout the specification.

명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.Throughout the specification, when a part is "connected" to another part, this includes not only "directly connected" but also "electrically connected" with another element in between. . In addition, when a part is said to "include" a certain component, this means that other components may be further included instead of excluding other components, unless specifically stated otherwise. In addition, terms such as “... unit” and “module” described in the specification mean a unit that processes at least one function or operation, which may be implemented in hardware or software, or a combination of hardware and software. .

이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.

본 발명에 따른 IoT 기반 스마트 홈 제어를 위한 멀티모달 인터페이스 시스템 및 시각화 장치는 도 1의 센서 노드(100), 스마트 홈 디바이스(200), 게이트웨이(300), 스마트 홈 플랫폼(400), 스마트 디스플레이(500), 멀티모달 인터페이스(600)를 포함하는 구성으로 이루어진다.The multi-modal interface system and visualization device for IoT-based smart home control according to the present invention includes the sensor node 100 of FIG. 1, the smart home device 200, the gateway 300, the smart home platform 400, and the smart display ( 500), a multi-modal interface 600.

본 발명의 실시예에 따르면, 사물인터넷 국제표준 규격인 Light Weight Machine to Machine(LWM2M) 장치 관리 표준에 의해 동작될 수 있다.According to an embodiment of the present invention, it can be operated by the Light Weight Machine to Machine (LWM2M) device management standard, which is an international standard for IoT.

본 발명의 실시예에 따르면, IoT 기반 스마트 홈 제어를 위한 멀티모달 인터페이스 시스템은, 상기 센서 노드(100)에서 온도, 습도, 가스, 조도에 대한 데이터와 스마트 홈 디바이스(200)(조명, 냉난방기, 냉장고, TV, 플러그, 도어락, 가스차단기 등)의 동작 상태를 측정하는 측정부; 및 상기 센서 노드(100)와 스마트 홈 디바이스(200)의 데이터를 게이트웨이(300)가 취합하는 통신부; 및 상기 게이트웨이(300)로부터 전달받은 데이터를 스마트 홈 플랫폼(400)에서 분석, 처리하는 판독부; 및 멀티모달 인터페이스(600)로 토글 스위치, 조그 다이얼 등 물리적 버튼에 의한 제어, 휴대용 스마트 단말기, 터치 스크린에 의한 제어, 음성인식에 의한 제어, 손동작, 몸짓에 의한 제어 기능을 제공하는 제어부; 및 분석된 정보를 스마트 디스플레이(500)에 표시하는 표시부를 포함할 수 있다. According to an embodiment of the present invention, a multi-modal interface system for IoT-based smart home control includes data on temperature, humidity, gas, and illumination at the sensor node 100 and a smart home device 200 (lighting, air conditioning, A measuring unit measuring an operating state of a refrigerator, TV, plug, door lock, gas blocker, etc.); And a communication unit configured by the gateway 300 to collect data from the sensor node 100 and the smart home device 200. And a reading unit analyzing and processing data received from the gateway 300 in the smart home platform 400. And a control unit that provides a control function by a physical button such as a toggle switch or a jog dial, a control by a portable smart terminal, a touch screen, control by voice recognition, control by hand gesture, and gesture through the multi-modal interface 600; And a display unit displaying the analyzed information on the smart display 500.

또한, 센서 노드 및 스마트 홈 디바이스의 아날로그 및 디지털 데이터를 입력 받아 표준화된 데이터 프레임으로 프로세싱 할 수 있다.In addition, analog and digital data from sensor nodes and smart home devices can be input and processed into standardized data frames.

도 2를 참고하면 본 발명의 실시예에 따른 IoT 기반 스마트 홈 제어를 위한 멀티모달 인터페이스 시스템 및 시각화 장치에서 센서 노드(100)는 온도(110), 습도(120), 가스(130), 조도(140) 센서를 포함할 수 있고, 스마트 홈 디바이스(200)는 주거공간 내에 구비된 조명, 냉난방기, 냉장고, TV, 플러그, 도어락, 가스차단기 등의 스마트 홈을 구성하는 각종 기기를 포함할 수 있다. 센서 노드(100)와 스마트 홈 디바이스(200)는 게이트웨이(300)로 무선통신(와이파이, LTE 등)을 이용하여 주기적으로 정보를 전송한다. 스마트홈 플랫폼(400)은 센서 노드(100), 스마트 홈 디바이스(200) 정보를 수집하여 주거공간의 환경, 각종 기기의 상태를 분석하고 제어할 수 있다.Referring to FIG. 2, in the multi-modal interface system and visualization device for IoT-based smart home control according to an embodiment of the present invention, the sensor node 100 includes temperature 110, humidity 120, gas 130, and illuminance ( 140) A sensor may be included, and the smart home device 200 may include various devices constituting a smart home such as lighting, air conditioners, refrigerators, TVs, plugs, door locks, and gas breakers provided in a residential space. The sensor node 100 and the smart home device 200 periodically transmit information to the gateway 300 using wireless communication (Wi-Fi, LTE, etc.). The smart home platform 400 may collect sensor node 100 and smart home device 200 information to analyze and control the environment of a residential space and the state of various devices.

또한, 상기 스마트 홈 플랫폼(400)은 센서노드(100), 스마트 홈 디바이스(200), 게이트웨이(300)의 제어가 가능하고 수집한 데이터를 분석하여 스마트 디스플레이(500)의 화면을 통해 표시할 수 있다.In addition, the smart home platform 400 can control the sensor node 100, the smart home device 200, and the gateway 300 and analyze the collected data and display it through the screen of the smart display 500. have.

본 발명의 실시예에 따르면, 스마트 디스플레이(500)는 일반적인 모니터 패널에 비전도성 PET 적층방식 하프미러 필름을 부착하여 구성할 수 있다. 비전도성 PET 적층방식 하프미러 필름은 초박막의 투명 PET 원단을 여러층으로 적층?합지하여 은색 거울의 반사와 색감을 띄게 되고 전기가 통하지 않고 빛이 투과되는 기능을 제공한다. TV나 모니터 등과 함께 사용하면 화면이 꺼져 있을 때는 은색거울, 화면이 켜지면 그대로 투과되어 패널에 출력 되는 내용의 시청이 가능하다. 전기가 통하지 않아 정전용량방식의 터치스크린에도 적용할 수 있다.According to an embodiment of the present invention, the smart display 500 may be configured by attaching a non-conductive PET lamination type half mirror film to a general monitor panel. The non-conductive PET-laminated half-mirror film laminates and laminates ultra-thin transparent PET fabric into multiple layers to provide the reflection and color of silver mirrors and provides the function of transmitting light without electricity. When used in conjunction with a TV or monitor, it is possible to watch the silver mirror when the screen is off and the contents that are transmitted through the panel when the screen is turned on. It is also applicable to capacitive touch screens because it does not conduct electricity.

본 발명의 실시예에 따르면, 도 3의 멀티모달 인터페이스(600)는 PUI(610), GUI(620), VUI(630), Gesture(640)에 의해 구성된다. PUI(610)는 토글 스위치, 조그 다이얼 등 물리적 버튼에 의한 제어 기능을 제공하고 GUI(620)는 휴대용 스마트 단말기, 터치스크린에 의한 제어 기능을 제공하고 VUI(630)는 음성인식에 의한 제어 기능을 제공하고 Gesture(640)는 손동작, 몸짓에 의한 제어 기능을 제공한다.According to an embodiment of the present invention, the multi-modal interface 600 of FIG. 3 is configured by a PUI 610, a GUI 620, a VUI 630, and a Gesture 640. The PUI 610 provides a control function by a physical button such as a toggle switch or a jog dial, the GUI 620 provides a control function by a portable smart terminal, a touch screen, and the VUI 630 provides a control function by voice recognition. And Gesture 640 provides control by hand gestures and gestures.

이와 같이, 본 발명의 실시예들에 따르면, IoT 기반 스마트 홈 제어를 위한 멀티모달 인터페이스 시스템 및 시각화 장치는 스마트 홈 환경 내에서 멀티모달 인터페이스로 물리적 버튼에 의한 제어(PUI), 휴대용 스마트 단말기, 터치스크린에 의한 제어(GUI), 음성인식에 의한 제어(VUI), 손동작 몸짓에 의한 제어(Gesture)가 가능하며 스마트 디스플레이를 통해 뉴스, 달력, TV, 공지사항 알림 등의 다양한 편의기능과 스마트 홈 디바이스 목록, 작동 상황, 이력 등의 정보를 제공할 수 있다는 장점이 있다.As described above, according to embodiments of the present invention, the multi-modal interface system and visualization device for IoT-based smart home control are controlled by physical buttons (PUI), portable smart terminals, and touches as multi-modal interfaces within the smart home environment. It is possible to control by screen (GUI), control by voice recognition (VUI), and gesture by gestures (Gesture), and through smart display, various convenience functions such as news, calendar, TV, notice notification, and smart home device It has the advantage of being able to provide information such as lists, operating conditions, and history.

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.As described above, although the embodiments have been described by a limited embodiment and drawings, those skilled in the art can make various modifications and variations from the above description. For example, the described techniques are performed in a different order than the described method, and / or the components of the described system, structure, device, circuit, etc. are combined or combined in a different form from the described method, or other components Alternatively, even if replaced or substituted by equivalents, appropriate results can be achieved.

100: 센서 노드 110: 온도 120: 습도
130: 가스 140: 조도
200: 스마트 홈 디바이스 300: 게이트웨이 400: 스마트 홈 플랫폼
500: 스마트 디스플레이
600: 멀티모달 인터페이스 610: PUI 620: GUI
630: VUI 640: Gesture100: sensor node 110: temperature 120: humidity
130: gas 140: illuminance
200: smart home device 300: gateway 400: smart home platform
500: smart display
600: multi-modal interface 610: PUI 620: GUI
630: VUI 640: Gesture

Claims (4)

센서 노드 및 스마트 홈 디바이스에서 데이터를 취득하는 단계; 및 게이트웨이에서 데이터를 취합하는 단계; 및 게이트웨이에서 스마트 홈 플랫폼으로 전송하는 단계; 및 스마트 홈 플랫폼에서 데이터를 분석하는 단계; 및 멀티모달 인터페이스에 의해 스마트 홈 디바이스를 제어하는 단계; 스마트 디스플레이 통해 정보를 표시하는 단계를 포함하는 스마트 홈 제어를 위한 멀티모달 인터페이스 시스템 및 시각화 장치.Obtaining data from the sensor node and the smart home device; And collecting data at the gateway; And transmitting from the gateway to the smart home platform. And analyzing data in a smart home platform; And controlling the smart home device by a multi-modal interface. A multi-modal interface system and visualization device for smart home control including displaying information through a smart display. 제 1 항에 있어서,
상기 멀티모달 인터페이스는 토글 스위치, 조그 다이얼로 물리적 버튼에 의한 제어 기능과 휴대용 스마트 단말기, 터치 스크린에 의한 제어 기능과 음성인식에 의한 제어 기능과 손동작, 몸짓에 의한 제어 기능을 제공하는 것을 특징으로 하는 스마트 홈 제어를 위한 멀티모달 인터페이스 시스템 및 시각화 장치.According to claim 1,
The multi-modal interface is a toggle switch, a jog dial control function by a physical button, a portable smart terminal, a control function by a touch screen, a control function by voice recognition, and a gesture by hand gestures. Multi-modal interface system and visualization device for smart home control. 제 2 항에 있어서,
상기 멀티모달 인터페이스는 제스처 인식을 위해 동작 인식 입력장치와 손동작 인식 3D 모션 센싱 디바이스를 이용하는 것을 특징으로 하는 스마트 홈 제어를 위한 멀티모달 인터페이스 시스템 및 시각화 장치.According to claim 2,
The multi-modal interface is a multi-modal interface system and visualization device for smart home control, characterized by using a gesture recognition input device and a hand gesture recognition 3D motion sensing device for gesture recognition. 제 1항에 있어서,
상기 스마트 디스플레이는 일반적인 모니터 패널에 빛의 일부는 반사하고 일부는 투과하도록 만들어진 비전도성 PET 적층방식 하프미러 필름을 부착한 것을 특징으로 하는 스마트 홈 제어를 위한 멀티모달 인터페이스 시스템 및 시각화 장치.
According to claim 1,
The smart display is a multi-modal interface system and visualization device for smart home control, characterized in that a non-conductive PET lamination type half mirror film is made to reflect a part of light and transmit a part of light to a general monitor panel.
KR1020180122422A 2018-10-15 2018-10-15 Multi-modal interface system and visualization device for IoT-based smart home control KR20200042178A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180122422A KR20200042178A (en) 2018-10-15 2018-10-15 Multi-modal interface system and visualization device for IoT-based smart home control

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180122422A KR20200042178A (en) 2018-10-15 2018-10-15 Multi-modal interface system and visualization device for IoT-based smart home control

Publications (1)

Publication Number Publication Date
KR20200042178A true KR20200042178A (en) 2020-04-23

Family

ID=70472585

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180122422A KR20200042178A (en) 2018-10-15 2018-10-15 Multi-modal interface system and visualization device for IoT-based smart home control

Country Status (1)

Country Link
KR (1) KR20200042178A (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111722770A (en) * 2020-07-20 2020-09-29 中国人民武装警察部队工程大学 Intelligent human-computer interaction non-grid control module
KR20200140595A (en) * 2019-06-07 2020-12-16 부산대학교 산학협력단 System and Method for Supporting Intelligent Voice Service for Lightweight IoT devices

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200140595A (en) * 2019-06-07 2020-12-16 부산대학교 산학협력단 System and Method for Supporting Intelligent Voice Service for Lightweight IoT devices
CN111722770A (en) * 2020-07-20 2020-09-29 中国人民武装警察部队工程大学 Intelligent human-computer interaction non-grid control module

Similar Documents

Publication Publication Date Title
US10586433B2 (en) Automatic detection of zones of interest in a video
CN108205282A (en) Intelligent control panel and its control method and control device
CN105706395B (en) Control apparatus and control method thereof
CN105765514B (en) Control apparatus and control method thereof
US20150066158A1 (en) Method and apparatus for configuring and recommending device action using user context
KR20150028191A (en) Method and device for setting and recommending device action using user context
CN103125096A (en) Method and apparatus for controlling device and computer readable medium storing the method
US20120023215A1 (en) Digital space management system
WO2023134722A1 (en) Device control method, apparatus and system, and electronic device and storage medium
KR101964268B1 (en) Security and maintenance and management system of facility based on network
KR20200042178A (en) Multi-modal interface system and visualization device for IoT-based smart home control
KR20170126698A (en) Electronic device and method for providing content
Bhat et al. Implementation of IoT in smart homes
US9082292B2 (en) Display apparatus, hardware remote controller, and remote control system
Islam et al. Implementation and analysis of an IoT-based home automation framework
CN110537158A (en) Display methods, program and display system
Gomes Sakamoto et al. Home control via mobile devices: State of the art and hci challenges under the perspective of diversity
Bolaji et al. A Digitalized Smart Mobile Home Automation and Security System via Bluetooth/Wi-Fi Using Android Platform
Schwartze et al. Facilitating inter-domain synergies in ambient assisted living environments
US11782523B2 (en) Method for controlling Internet of Things device, and terminal device
US20220103889A1 (en) Thermostat with interactive features and system and method for use of same
US20220103888A1 (en) Thermostat with interactive features and system and method for use of same
CN110546962B (en) Display method, program, and display system
WO2021125507A1 (en) Electronic device and method for controlling same
Ni et al. Integration of wired and wireless lighting control systems for green energy managment

Legal Events

Date Code Title Description
E601 Decision to refuse application