KR102213333B1 - Home Automation System using Chatbot - Google Patents

Home Automation System using Chatbot Download PDF

Info

Publication number
KR102213333B1
KR102213333B1 KR1020190011026A KR20190011026A KR102213333B1 KR 102213333 B1 KR102213333 B1 KR 102213333B1 KR 1020190011026 A KR1020190011026 A KR 1020190011026A KR 20190011026 A KR20190011026 A KR 20190011026A KR 102213333 B1 KR102213333 B1 KR 102213333B1
Authority
KR
South Korea
Prior art keywords
command
user
server
automation system
user terminal
Prior art date
Application number
KR1020190011026A
Other languages
Korean (ko)
Other versions
KR20200093827A (en
Inventor
김은경
현은지
이우원
강호민
Original Assignee
한국기술교육대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국기술교육대학교 산학협력단 filed Critical 한국기술교육대학교 산학협력단
Priority to KR1020190011026A priority Critical patent/KR102213333B1/en
Publication of KR20200093827A publication Critical patent/KR20200093827A/en
Application granted granted Critical
Publication of KR102213333B1 publication Critical patent/KR102213333B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L12/2823—Reporting information sensed by appliance or service execution status of appliance services in a home automation network
    • H04L12/2827—Reporting to a device within the home network; wherein the reception of the information reported automatically triggers the execution of a home appliance functionality
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/02—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail using automatic reactions or user delegation, e.g. automatic replies or chatbot-generated messages

Abstract

본 발명은 챗봇을 이용한 홈 오토메이션 시스템에 관한 것으로, 더욱 상세하게는 사용자가 챗봇에 명령을 하면, 챗봇은 사용자의 명령을 인식하여 홈 기기를 작동시키는 홈 오토메이션 시스템에 관한 것이다.The present invention relates to a home automation system using a chatbot, and more particularly, to a home automation system in which, when a user commands a chatbot, the chatbot recognizes the user's command and operates a home device.

Figure R1020190011026
Figure R1020190011026

Description

챗봇을 이용한 홈 오토메이션 시스템{Home Automation System using Chatbot}Home Automation System using Chatbot}

본 발명은 챗봇을 이용한 홈 오토메이션 시스템에 관한 것으로, 더욱 상세하게는 사용자가 챗봇에 명령을 하면, 챗봇은 사용자의 명령을 인식하여 사용자의 터치 없이 홈 기기를 작동시키는 홈 오토메이션 시스템에 관한 것이다.The present invention relates to a home automation system using a chatbot, and more particularly, to a home automation system in which when a user commands a chatbot, the chatbot recognizes the user's command and operates a home device without a user's touch.

IoT(Internet of Things)는 통신 가능한 모든 사물들을 네트워크에 연결하여 상호 통신 수행이 가능한 개념을 의미한다. 시스템적으로 인지할 수 있는 모든 객체는 근거리 및 원거리 통신 기능을 탑재하고, 센서 등 데이터 생산 및 이용이 가능한 사물 또는 사람이 이에 포함될 수 있다.Internet of Things (IoT) refers to a concept in which communication can be performed by connecting all communication objects to a network. All objects that can be systematically recognized are equipped with short-range and long-distance communication functions, and objects or people capable of producing and using data such as sensors may be included therein.

IoT의 시대가 도래하면서 IoT 서비스, 특히 스마트 홈에 대한 사람들의 관심은 해가 갈수록 높아지고 있고, 이와 관련된 주제의 연구가 활발히 진행되고 있다. 그리고 그에 따른 시장 규모 역시 2020년에는 600억 달러가 될 것이라 예상되고 있다.With the advent of the IoT era, people's interest in IoT services, especially smart homes, is increasing year by year, and research on related topics is being actively conducted. And the resulting market size is also expected to reach 60 billion dollars in 2020.

홈 오토메이션에 관한 기술은 가정 곳곳에 적용될 수 있다. 온도센서, 가스 누설 센서, 침입 검지기 등을 사용하여 주택의 안전을 확보하는 방재ㆍ방범 시스템, 외출처에서 가정에 있는 에어컨 혹은 전기밥솥의 ON/OFF 조작과 시정(施錠) 확인을 하는 텔레컨트롤 시스템 등이 실용화되어 서서히 가정에 보급되고 있다.Home automation technology can be applied throughout the home. Disaster prevention/security system that secures the safety of the house using temperature sensor, gas leak sensor, intrusion detector, etc., and telecontrol system that checks the ON/OFF operation and visibility of air conditioners or rice cookers in the home from outside. The lamps have been put into practical use and are gradually spreading to homes.

홈 오토메이션 서비스에 관한 기술이 한국등록특허 제10-0466857호(인터넷 기반 홈 오토메이션 서버 및 제어 방법, 이하 종래기술) 에 개시된 바 있다. 상기 종래기술은, 인터넷을 지원하는 컴퓨터와 휴대폰 및 무선 통신 단말기 등을 사용하여 가정 내의 각종 전자 기기나 설비들을 제어하고, 가정 내 보안이 요구되는 장소에 설치된 가스, 화재, 방범 센서들을 통해 이상시 자동으로 경보를 발생시키는 편리함을 제공하였다. 하지만, 종래기술은, 사용자가 직접 조작판 등을 이용하여 제어가 필요하여, 단말기 내 앱 등의 제어수단이 필요하였다.A technology related to a home automation service has been disclosed in Korean Patent No. 10-0466857 (Internet-based home automation server and control method, hereinafter conventional technology). The prior art controls various electronic devices or facilities in the home using a computer supporting the Internet, a mobile phone, a wireless communication terminal, etc., and abnormalities are detected through gas, fire, and security sensors installed in places where security is required in the home. It provided the convenience of automatically generating an alarm. However, in the prior art, the user needs to control directly using an operation panel or the like, and thus a control means such as an app in the terminal is required.

한국등록특허 제10-0466857호(인터넷 기반 홈 오토메이션 서버 및 제어 방법, 2005.01.08. 공고)Korean Patent Registration No. 10-0466857 (Internet-based home automation server and control method, 2005.01.08. Announcement)

본 발명은 상기와 같은 종래의 문제점을 해결하기 위하여 안출된 것으로, 어플리케이션 등과 같은 조작수단이 없이도 홈 기기를 제어하고자 하는 목적이 있다.The present invention has been devised to solve the conventional problems as described above, and has an object to control a home device without an operation means such as an application.

또한, 사용자의 음성을 인식하여, 상기 사용자의 음성을 통해 사용자의 의도를 파악하고, 홈 기기를 제어하고자 한다.In addition, it is intended to recognize the user's voice, to grasp the user's intention through the user's voice, and to control the home device.

사용자 단말기와 신호를 주고 받으며, 사용자 단말기의 신호에 의해 기기가 제어되는 홈 오토메이션 시스템에 있어서, 사용자의 명령을 전달받는 사용자 단말기(100), 상기 사용자 단말기(100)의 명령을 처리하는 제1서버(200), 상기 제1서버(200)로부터 받은 정보를 업데이트하여 데이터베이스(400)에 저장하고, 홈 기기(500)를 제어하는 제2서버(300)를 포함하는 것을 특징으로 한다.In a home automation system that exchanges signals with a user terminal and controls a device by a signal from a user terminal, a user terminal 100 receiving a command from a user, and a first server processing commands of the user terminal 100 (200), the information received from the first server 200 is updated and stored in the database 400, and a second server 300 for controlling the home device 500 is included.

상기 사용자 단말기(100)는 설치된 어플리케이션을 통해 사용자의 명령을 인식하고, 인식된 명령의 의도를 분석하여 분류하는 것을 특징으로 한다.The user terminal 100 is characterized in that the user's command is recognized through an installed application, and the intention of the recognized command is analyzed and classified.

상기 사용자 단말기(100)는 설치된 어플리케이션을 통해 인식된 명령에 추가 명령이 필요할 경우, 사용자에게 질문을 통해 추가 명령을 유도하는 것을 특징으로 한다.When an additional command is required for a command recognized through an installed application, the user terminal 100 induces an additional command through a question to the user.

상기 홈 기기(500)는 센서를 포함하며, 이벤트가 발생할 경우, 상기 사용자 단말기에 해당 이벤트 상황에 매칭되는 알림을 제공하고, 해당 이벤트 상황에 따라 홈 기기의 작동을 추천하는 것을 특징으로 한다.The home device 500 includes a sensor and, when an event occurs, provides a notification matching the event situation to the user terminal, and recommends operation of the home device according to the event situation.

상기 사용자 단말기(100)는 사용자의 명령에 의한 예약이 가능하며, 예약 시, 해당 명령을 입력받아 데이터베이스(400)에 저장하고, 상기 제2서버(300)는 매분마다 상기 데이터베이스(400) 내의 명령을 확인하는 것을 특징으로 한다.The user terminal 100 can make a reservation according to a user's command, and when making a reservation, the command is received and stored in the database 400, and the second server 300 receives a command in the database 400 every minute. It characterized in that to check.

본 발명에 따른 효과는, 홈 기기를 제어함에 있어, 홈 기기의 제작 업체에서 판매하는 기기로 제어하지 않아도 제어가 가능한 효과가 있다. 또한, 버튼이 아닌 음성을 통해 제어를 함으로써, 사용자가 좀 더 편리하게 이용가능한 효과가 있다. According to the present invention, in controlling the home device, it is possible to control the home device without controlling it with a device sold by a manufacturer of the home device. In addition, by controlling through a voice rather than a button, there is an effect that a user can use it more conveniently.

도 1은 본 발명의 일 실시예에 따른 전체 시스템의 구성을 나타낸 도면.
도 2는 본 발명의 일 실시예에 따른 챗봇의 동작 흐름도를 나타낸 도면.
도 3은 본 발명의 일 실시예에 따른 예약 시간 설정을 나타낸 도면.
도 4는 본 발명의 일 실시예에 따른 특정 이벤트 발생 시를 나타낸 도면.1 is a diagram showing the configuration of an entire system according to an embodiment of the present invention.
2 is a diagram showing an operation flowchart of a chatbot according to an embodiment of the present invention.
3 is a view showing a reservation time setting according to an embodiment of the present invention.
4 is a diagram showing when a specific event occurs according to an embodiment of the present invention.

본 발명의 실시예들에 대한 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.Advantages and features of the embodiments of the present invention, and a method of achieving them will become apparent with reference to the embodiments described later in detail together with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below, but may be implemented in a variety of different forms, and only these embodiments make the disclosure of the present invention complete, and are common knowledge in the technical field to which the present invention pertains. It is provided to completely inform the scope of the invention to those who have, and the invention is only defined by the scope of the claims. The same reference numerals refer to the same components throughout the specification.

본 발명의 실시예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명의 실시예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.In describing the embodiments of the present invention, if it is determined that a detailed description of a known function or configuration may unnecessarily obscure the subject matter of the present invention, a detailed description thereof will be omitted. In addition, terms to be described later are terms defined in consideration of functions in an embodiment of the present invention, which may vary according to the intention or custom of users or operators. Therefore, the definition should be made based on the contents throughout this specification.

이하 도 1 내지 도 4의 도면을 참조하여, 본 발명의 일 실시예에 따른 챗봇을 이용한 홈 오토메이션 시스템에 대해 더욱 상세히 설명한다.Hereinafter, a home automation system using a chatbot according to an embodiment of the present invention will be described in more detail with reference to the drawings of FIGS. 1 to 4.

도 1은 본 발명의 일 실시예에 따른 전체 시스템의 구성을 나타낸 도면이다. 도 1에 도시된 바와 같이, 상기 챗봇을 이용한 홈 오토메이션 시스템은, 사용자 단말기(100)가 홈 기기(500)에 신호를 전달함으로써, 홈 기기(500)를 작동시키게 된다.1 is a diagram showing the configuration of an entire system according to an embodiment of the present invention. As shown in FIG. 1, in the home automation system using the chatbot, the user terminal 100 operates the home device 500 by transmitting a signal to the home device 500.

이때, 상기 사용자 단말기(100)는, 사용자의 명령을 전달받는다. 상기 사용자 단말기(100) 내에는 챗봇이 설치되어 있다. 상기 챗봇은 단말기 내 설치되는 어플리케이션 등의 형태로 구성된다. 본 발명의 일 실시예에 따른 홈 오토메이션 시스템은 스마트폰 챗봇을 통해서 사용자가 제어를 시도한다. 사용자의 제어 신호를 인지한 챗봇은, 상기 사용자의 음성 등을 통해 인지된 사용자의 의도를 파악한 후, 앱에 전달하고, 상기 앱은 제1서버(200)에 전송하게된다. At this time, the user terminal 100 receives a user's command. A chatbot is installed in the user terminal 100. The chatbot is configured in the form of an application installed in a terminal. In the home automation system according to an embodiment of the present invention, a user attempts control through a smartphone chatbot. After recognizing the user's control signal, the chatbot recognizes the user's intention recognized through the user's voice, etc., and then transmits it to the app, and the app is transmitted to the first server 200.

상기 제1서버(200)는 상기 사용자 단말기(100)의 명령을 처리하기 위해 구비된 것으로, 본 발명의 일 실시예에 따른 제1서버(200)는 MOSQUITTO를 이용한다. 이는 일 실시예에 따른 서버의 종류이며, 다른 실시예에 따라 다양한 서버를 이용 가능하다. 또한, 상기 제1서버(200)를 제어할 시, 일 실시예에 따라 Python언어를 이용하게 된다.The first server 200 is provided to process commands of the user terminal 100, and the first server 200 according to an embodiment of the present invention uses MOSQUITTO. This is a type of server according to an embodiment, and various servers may be used according to another embodiment. In addition, when controlling the first server 200, the Python language is used according to an embodiment.

이때, 상기 제1서버(200)로 구독하는 제2서버(300)가 상기 명령을 전송받아, 이에 따른 처리를 블루투스를 이용하고, 아두이노를 제어하게 된다. 즉, 상기 제2서버(300)는 상기 제1서버(200)로부터 받은 정보를 업데이트하여 데이터베이스(400)에 저장하고, 홈 기기(500)를 제어하게 된다.At this time, the second server 300 subscribing to the first server 200 receives the command, uses Bluetooth to process accordingly, and controls the Arduino. That is, the second server 300 updates information received from the first server 200 and stores it in the database 400 and controls the home device 500.

또한, 상기 정보를 상기 데이터베이스(400)에 저장할 시, 일 실시예에 따라 SQLite를 이용하여 저장하게 되고, 상기 제2서버(300)는 일 실시예에 따라 라즈베리파이의 서버를 사용한다. 이는 일 실시예에 따른 데이터베이스(400)의 저장수단 및 서버의 종류이며, 다른 실시예에 따라 다양한 저장수단 및 다양한 서버를 이용 가능하다.In addition, when the information is stored in the database 400, it is stored using SQLite according to an embodiment, and the second server 300 uses a server of a Raspberry Pi according to an embodiment. This is a type of storage means and server of the database 400 according to an embodiment, and various storage means and various servers can be used according to other embodiments.

도 2는 본 발명의 일 실시예에 따른 챗봇의 동작 흐름도를 나타낸 도면이다. 도 2에 도시된 바와 같이, 상기 사용자 단말기(100)는 설치된 어플리케이션을 통해 사용자의 명령을 인식하고, 인식된 명령의 의도를 분석하여 분류하는 것을 특징으로 한다.2 is a diagram illustrating an operation flowchart of a chatbot according to an embodiment of the present invention. As shown in FIG. 2, the user terminal 100 recognizes a user's command through an installed application, and analyzes and classifies an intention of the recognized command.

상기 사용자가 챗봇에게 명령을 전달한다. 이때 명령은 음성명령 또는 직접 입력을 통한 명령 등 다양한 명령이 가능하다. 상기 음성을 통해 명령이 전달 될 경우, 상기 챗봇은 앱에 음성을 전달하고, 상기 앱은 음성을 분석하여 그에 대한 의도를 파악할 수 있다. 이때, 상기 앱은 실시예에 따라 IBM WATSON을 이용하여 만든 모델이며, 이는 실시예에 따라 다른 앱제작 도구이며, 다른 실시예에 따라 다른 앱 제작 도구를 이용할 수 있다.The user sends a command to the chatbot. At this time, various commands such as voice commands or commands through direct input are possible. When a command is transmitted through the voice, the chatbot transmits the voice to the app, and the app analyzes the voice to determine its intention. In this case, the app is a model made using IBM WATSON according to an embodiment, which is a different app creation tool according to the embodiment, and another app creation tool may be used according to another embodiment.

상기 사용자의 의도를 분석한 앱은 상기 음성의 내용을 분류하게 된다. 이때, 분류는 제어, 예약, 현재 상태, 안내 등의 분류가 이루어 질 수 있다. 예를 들어, 사용자가 챗봇에 "아침 8시 예약 해줘"라는 명령을 할 경우, 앱은 상기 챗봇을 통해 그 내용을 전달받고, 앱은 아침, 8시, 예약이라는 핵심 단어를 인지하고, '예약' 으로 분류하게 된다.The app that analyzed the user's intention classifies the contents of the voice. In this case, the classification may include control, reservation, current status, and guidance. For example, when a user commands a chatbot to "book at 8 am", the app receives the content through the chatbot, and the app recognizes the key words of morning, 8:00, reservation, and It is classified as'.

도 3은 본 발명의 일 실시예에 따른 예약 시간 설정을 나타낸 도면이다. 도 3에 도시된 바와 같이, 본 발명의 일 실시예에 따른 홈 오토메이션 시스템은, 전술한 바와 같이, 챗봇을 통해 전달된 명령은 앱에서 분류가 되게 되고, 이때, 제어, 예약, 현재 상태, 안내 등과 같은 분류로 이루어 지게 된다. 3 is a diagram illustrating a reservation time setting according to an embodiment of the present invention. As shown in FIG. 3, in the home automation system according to an embodiment of the present invention, as described above, commands transmitted through the chatbot are classified in the app, and at this time, control, reservation, current status, and guidance It is made in the same category as.

즉, 설치된 어플리케이션을 통해 인식된 명령에 추가 명령이 필요할 경우, 사용자에게 질문을 통해 추가 명령을 유도하게 된다.That is, when an additional command is required for a command recognized through the installed application, the additional command is induced through a question to the user.

일 예로, 제어 또는 예약의 경우, 추가적인 명령이 더 필요할 경우가 발생하게 된다. 즉, 제어 또는 예약으로 분류된 명령일 경우, 어떤 기기를 확인할 건지 다시 분류를 하게 된다. 즉, 어떤 홈 기기(500)인지 대상 기기를 확인하고, 그에 맞는 질문을 다시 사용자에게 제공한다. 만일, 대상 기기가 창문과 전등일 경우, 어떤 방인지 질문하게 되고, 만약 선풍기일 경우, 풍량을 어느정도로 설정할지 질문하게 되고, 보일러일 경우 온도를 어느정도로 설정할지 질문하게 된다. 그 뒤, 대상 기기가 확인 되었을 경우, 예약할 시간을 다시 되묻게 되고 이를 시행하게 된다.For example, in the case of control or reservation, an additional command may be required. That is, in the case of a command classified as control or reservation, which device to check is classified again. That is, the target device is identified which home device 500 is, and a corresponding question is again provided to the user. If the target device is a window or a light, you will be asked what room you are going to ask. If it is a fan, you will be asked how much to set the air volume, and if it is a boiler, you will be asked how much to set the temperature. After that, when the target device is confirmed, the time to reserve will be asked again and it will be enforced.

도 4는 본 발명의 일 실시예에 따른 특정 이벤트 발생 시를 나타낸 도면이다. 도 4에 도시된 바와 같이, 상기 홈 기기(500)는 센서를 포함하고 있다. 상기 센서에 의해 인식된 비, 온도, 조도 등의 정보는 해당 상황을 사용자 단말기(100)에 알려주게 되고, 상황에 맞는 작동을 홈 기기(500)에 전달하게 된다.4 is a diagram illustrating when a specific event occurs according to an embodiment of the present invention. As shown in FIG. 4, the home device 500 includes a sensor. Information such as rain, temperature, and illuminance recognized by the sensor informs the user terminal 100 of a corresponding situation and transmits an operation appropriate to the situation to the home device 500.

예를 들면, 우적 센서의 경우, 비를 감지하는 센서로서, 창문 등에 설치될 수 있다. 상기 비가 감지될 경우, 창문을 닫으라는 신호를 사용자 단말기(100)에 제공할 수 있다.For example, in the case of a rain sensor, it is a sensor that detects rain and may be installed on a window or the like. When the rain is detected, a signal to close the window may be provided to the user terminal 100.

즉, 이벤트가 발생할 경우, 상기 사용자 단말기(100)에 해당 이벤트 상황에 매칭되는 알림을 제공하고, 해당 이벤트 상황에 따라 홈 기기(500)의 작동을 추천하게 된다. 집에 달린 각 센서들이 특정 이벤트를 감지하였을 때, 일 예로, 우적센서의 비 감지가 이루어졌을 경우, 제2서버(300)에서는 현재 집에 창문이 열려있다면 창문을 닫게 되고, 사용자에게 푸쉬 알람을 통해 '비가 오는 중입니다. 창문을 닫겠습니다.' 라는 알림을 보내게 된다. 이 외, 온도 센서 또는 조도 센서의 경우, 특정 상황이 오면 그 상황에 따른 행동을 추천해주게 된다.That is, when an event occurs, a notification matching the event situation is provided to the user terminal 100, and operation of the home device 500 is recommended according to the event situation. When each sensor in the house detects a specific event, for example, when the rain sensor detects rain, the second server 300 closes the window if the window is currently open in the house, and sends a push alarm to the user. It's raining through. I will close the window.' Will send a notification. In addition, in the case of a temperature sensor or an illuminance sensor, when a specific situation comes, actions according to the situation are recommended.

또한, 상기 사용자 단말기(100)는 사용자의 명령에 의한 예약이 가능하며, 예약 시, 해당 명령을 입력받아 데이터베이스(400)에 저장하고, 상기 제2서버(300)는 매분마다 상기 데이터베이스(400) 내의 명령을 확인하게 된다.In addition, the user terminal 100 can make a reservation according to a user's command, and when making a reservation, the command is received and stored in the database 400, and the second server 300 is the database 400 every minute. I will confirm my orders.

예약의 경우, 해당 명령의 시간을 받아, 데이터베이스(400)에 저장을 하게 된다. 이때 저장된 데이터베이스(400) 내의 데이터는 제2서버(300)에 의해 매 분마다 확인 되게 된다. 즉, 상기 제2서버(300)는 매 분마다 데이터베이스(400)에 있는 데이터를 확인하게 되고, 해당 시간과 맞는 명령이 있을 경우, 데이터베이스(400)에서 꺼내 명령을 실행하게 된다.In the case of reservation, the time of the command is received and stored in the database 400. At this time, the data in the stored database 400 is checked by the second server 300 every minute. That is, the second server 300 checks the data in the database 400 every minute, and if there is a command corresponding to the corresponding time, the second server 300 removes it from the database 400 and executes the command.

좀 더 상세히 설명하면, 예약일 경우, 분석을 토대로 JSON을 생성하게 된다. JSON은 (JavaScript Object Notation)은 "속성-값 쌍" 또는 "키-값 쌍"으로 이루어진 데이터 오브젝트를 전달하기 위해 인간이 읽을 수 있는 텍스트를 사용하는 개방형 표준 포맷이다. 특히, 자료를 주고 받을 때 그 자료를 표현하는 방법이다. JSON 데이터로 생성된 명령은 제1서버(200)의 프로토콜을 사용하여 제2서버(300)로 전송하게 되고, 제2서버(300)에 전송된 데이터는 데이터베이스(400)에 저장되게 된다.In more detail, in the case of reservation, JSON is generated based on analysis. JSON (JavaScript Object Notation) is an open standard format that uses human-readable text to convey data objects made up of "attribute-value pairs" or "key-value pairs." In particular, it is a way of expressing data when exchanging data. The command generated as JSON data is transmitted to the second server 300 using the protocol of the first server 200, and the data transmitted to the second server 300 is stored in the database 400.

상기 데이터베이스(400)에 저장된 JSON 데이터는 해당 시간이 되면, 데이터베이스(400)에서 꺼내지게 된다. 꺼내진 명령을 실행하기 위해, 상기 명령은 제2서버(300)로 다시 전송되고, 상기 명령은 블루투스를 사용하여 홈 기기(500)에 전송되게 된다.JSON data stored in the database 400 is taken out from the database 400 when the corresponding time comes. In order to execute the pulled out command, the command is transmitted back to the second server 300, and the command is transmitted to the home device 500 using Bluetooth.

또한, 본 발명의 일 실시예에 따른 챗봇을 이용한 홈 오토메이션 시스템은, 홈 기기(500)의 상태 데이터 및 상태 메시지를 수시로 생성할 수 있다. 또한, 상기 데이터베이스(400)는 상태 데이터 및 상태 메시지를 일정 기간 동안 저장할 수 있다. 예를 들어, 상태 데이터 및 상태 메시지를 저장하기 위한 메모리가 더 구비될 수 있다.In addition, the home automation system using a chatbot according to an embodiment of the present invention may generate status data and status messages of the home device 500 at any time. In addition, the database 400 may store status data and status messages for a predetermined period. For example, a memory for storing status data and status messages may be further provided.

또한, 본 발명의 일 실시예에 따른 챗봇을 이용한 홈 오토메이션 시스템은, 홈 기기(500)를 작동함에 있어, 복수의 홈 기기(500)를 동시에 제어 또는 홈 기기(500)에 다수의 작동을 제어할 수 있다. 예를 들어, 에어컨과 선풍기를 동시에 작동 시킬 수도 있고, 선풍기의 작동시간 및 작동풍량을 동시에 조절할 수 있다.In addition, in the home automation system using a chatbot according to an embodiment of the present invention, when operating the home device 500, a plurality of home devices 500 are simultaneously controlled or a plurality of operations are controlled by the home device 500. can do. For example, it is possible to operate an air conditioner and a fan at the same time, and the operating time and air volume of the fan can be controlled at the same time.

또한, 본 발명의 일 실시예에 따른 챗봇을 이용한 홈 오토메이션 시스템은 일예로, 창문이 열림 상태가 될 경우 창문의 상태 데이터에 기초하여 긴급 상태 메시지를 생성하고 사용자 단말기(100)에 전송할 수 있다. 또한, 사용자 단말기(100)에 긴급 상태 메시지를 전송할 수 있다. 이때, 상기 홈 오토메이션 시스템은 미리 설정한 사용자의 선택에 응답하여 긴급 상태 메시지를 전송하지 않을 수도 있다. 즉, 홈 오토메이션 시스템은 사용자의 선택에 응답하여 긴급 상태 메시지에 대한 전송 여부를 미 리 설정할 수 있다. 다른 예로, 홈 오토메이션 시스템은, 상태 데이터 및 상태 메시지를 수신한 사용자의 응답에 따른 적정 온도 및 습도를 설정하기 위해서 사물 제어 명령을 제1서버(200)에 전송할 수 있다. 제1서버(200)는 온도 및 습도에 대한 사물 제어 명령에 따라 에어컨 및 제습기를 모니터링 및 제어할 수 있다. 이때, 제1서버(200)는 에어컨 및 제습기가 적정 온도 및 습도를 유지하지 않을 경우, 에어컨 및 제습기를 사물 제어 명령 에 따라 제어하고 제어되는 에어컨 및 제습기의 상태 데이터를 모니터링할 수 있다. 즉, 제1서버(200)는 제어 된 상태 데이터가 사물 제어 명령에 따라 제어될 때까지 모니터링 및 제어할 수 있다.In addition, the home automation system using a chatbot according to an embodiment of the present invention may generate an emergency status message based on state data of the window and transmit it to the user terminal 100 when a window is opened. In addition, an emergency status message may be transmitted to the user terminal 100. In this case, the home automation system may not transmit an emergency status message in response to a user's selection set in advance. That is, the home automation system can pre-set whether to transmit the emergency status message in response to the user's selection. As another example, the home automation system may transmit an object control command to the first server 200 in order to set an appropriate temperature and humidity according to a response of a user who has received the status data and the status message. The first server 200 may monitor and control an air conditioner and a dehumidifier according to an object control command for temperature and humidity. In this case, the first server 200 may control the air conditioner and dehumidifier according to an object control command and monitor state data of the controlled air conditioner and dehumidifier when the air conditioner and dehumidifier do not maintain an appropriate temperature and humidity. That is, the first server 200 may monitor and control the controlled state data until it is controlled according to the object control command.

또 다른 예로, 홈 오토메이션 시스템은 에어컨, 날씨 및 전기 가격에 대한 사용자 제어 패턴에 기초하여 에어컨, 창문, 공기 청정기 및 전기를 사용하는 가전 기기를 자동 제어할 수 있다. 구체적으로, 홈 오토메이션 시스템은 실내 온도, 날씨에 대한 정보 및 전기 가격에 대한 정보와 사용자의 현재 위치 및 현재 시간에 해당되는 사용자 제어 패턴이 매칭 될 경우 에어컨, 창문, 공기 청정기 및 가전 기기 에 대한 확인 알림을 사용자의 사용자 단말기(100)에 전송할 수 있다. 또한, 홈 오토메이션 시스템은 사용자의 선택에 응답하여 에어컨, 창문, 공기 청정기 및 가전 기기에 대한 사물 제어 명령을 전송하여 자동 제어할 수 있다. 이때, 홈 오토메이션 시스템은 미리 설정한 사용자의 선택에 응답하여 확인 알림을 전송하지 않을 수 있다. 즉, 홈 오토메이션 시스템은 사용자의 선택에 응답하여 확인 알림에 대한 전송 여부를 미리 설정할 수 있다. As another example, the home automation system may automatically control air conditioners, windows, air purifiers, and home appliances that use electricity based on user control patterns for air conditioners, weather, and electricity prices. Specifically, the home automation system checks air conditioners, windows, air purifiers, and home appliances when the information on room temperature, weather, and electricity prices and the user control pattern corresponding to the user's current location and current time are matched. The notification may be transmitted to the user terminal 100 of the user. In addition, the home automation system may automatically control by transmitting object control commands for air conditioners, windows, air purifiers, and home appliances in response to a user's selection. In this case, the home automation system may not transmit a confirmation notification in response to a user's selection set in advance. That is, the home automation system may preset whether to transmit a confirmation notification in response to a user's selection.

또한, 본 발명의 일 실시예에 따른 홈 오토메이션 시스템의 사용자 단말기 내 챗봇은, 사용자의 의도를 파악하기 위하여 상기 사용자의 행위와 관련된 컨텍스트를 파악하는 행위파악 행위를 포함하며, 상기 행위파악은 상기 컨텍스트 정보를 데이터 마이닝(Data Mining) 기법을 이용하여 상기 사용자의 행위와 관련된 컨텍스트를 파악할 수 있다.In addition, the chatbot in the user terminal of the home automation system according to an embodiment of the present invention includes an action grasping action of grasping a context related to the user's actions in order to grasp the user's intention, and the action grasping is the context The context related to the user's behavior can be grasped using a data mining technique.

마이닝 기법 또는 데이터 마이닝 기법은 대규모로 저장된 데이터 안에서 체계적이고 자동적으로 통계적 규칙이나 패턴을 찾아 내는 것이다. 마이닝 기법을 이용하여 데이터를 분석하면 일정한 집단에 대한 특정 정의를 통해 분류 및 구분을 추론할 수 있으며(분류, Classification), 구체적인 특성을 공유하는 군집을 파악할 수 있으며(군집화, Clustering), 특정 기간에 걸쳐 발생하는 관계를 규명(연속성, Sequencing)할 수 있다.The mining technique or data mining technique systematically and automatically finds statistical rules or patterns in large-scale stored data. When data is analyzed using mining techniques, classification and classification can be inferred through a specific definition of a certain group (classification), clusters that share specific characteristics can be identified (clustering, clustering), and Relationships that occur across can be identified (sequencing).

또한, 상기 사용자의 의도를 파악하기 위해서, 상기 사용자의 상황과 관련된 컨텍스트를 판단하는 상황파악 행위를 더 포함하며, 상기 상황파악 행위는 상기 행위파악 행위에서 파악된 행위 정보를 순차 패턴 마이닝(Sequential Pattern Mining) 기법을 이용하여 상기 사용자의 상황과 관련된 컨텍스트를 파악할 수 있다.In addition, in order to grasp the intention of the user, it further includes a context-aware action of determining a context related to the user's situation, wherein the action information of the action grasping is sequentially pattern mining (Sequential Pattern). Mining) technique can be used to grasp the context related to the user's situation.

또한, 상기 사용자의 음성을 인식한 뒤, 사용자의 의도를 파악하여 텍스트로 변경시키는 것 외에도, 음성의 뉘앙스 또는 악센트 등을 음성 신호로 변경하여 패턴을 인식 할 수 있다. 예를 들어, "불- 꺼-줘-" 라는 단호한 음성을 인식 하였을 경우, 사용자는 전등을 일시적으로 끄는 반면, "불.... 꺼.... 줘...." 라는 평소보다 느린 음성을 인식하였을 경우, 전등을 서서히 점점 어둡게 끌수 있다. 이때, 해당 패턴의 인식에 SVM 등을 사용하여 사용자의 감정에 대한 인식을 머신러닝으로 학습시킬 수 있다.In addition, after recognizing the user's voice, in addition to recognizing the user's intention and changing it into text, a pattern may be recognized by changing a nuance or accent of the voice into a voice signal. For example, when recognizing the firm voice "Fire-off-give-", the user temporarily turns off the light, while "Fire.... turn off.... give me..." slower than usual. When the voice is recognized, the light can be gradually turned darker and darker. In this case, the recognition of the user's emotions may be learned by machine learning by using SVM or the like to recognize the corresponding pattern.

이상의 설명에서는 본 발명의 다양한 실시예들을 제시하여 설명하였으나 본 발명이 반드시 이에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능함을 쉽게 알 수 있을 것이다.In the above description, various embodiments of the present invention have been presented and described, but the present invention is not necessarily limited thereto, and those of ordinary skill in the art to which the present invention pertains, within the scope of the technical spirit of the present invention. It will be readily apparent that branch substitutions, modifications and changes are possible.

100 : 사용자 단말기
200 : 제1서버
300 : 제2서버
400 : 데이터베이스
500 : 홈 기기100: user terminal
200: first server
300: second server
400: database
500: home appliance

Claims (5)

사용자 단말기와 신호를 주고 받으며, 사용자 단말기의 신호에 의해 기기가 제어되는 홈 오토메이션 시스템에 있어서,
사용자의 명령을 전달받는 사용자 단말기(100);
상기 사용자 단말기(100)의 명령을 처리하는 제1서버(200);
상기 제1서버(200)로부터 받은 정보를 업데이트하여 데이터베이스(400)에 저장하고, 홈 기기(500)를 제어하는 제2서버(300);를 포함하고,
상기 사용자 단말기(100)는,
설치된 어플리케이션을 통해 인식된 명령에 추가 명령이 필요할 경우, 사용자에게 질문을 통해 추가 명령을 유도하고,
사용자의 명령에 의한 예약이 가능하며,
예약 시, 해당 명령을 입력받아 데이터베이스(400)에 저장하고,
상기 제2서버(300)는,
매분마다 상기 데이터베이스(400)내의 명령을 확인하여 해당 시간과 맞는 명령이 있을 경우, 명령을 실행하고,
상기 홈 오토메이션 시스템은,
데이터 마이닝(data mining) 기법을 이용하여 사용자의 명령 의도를 파악하는 것을 특징으로 하는 챗봇을 이용한 홈 오토메이션 시스템.
In a home automation system that exchanges signals with a user terminal and controls a device by a signal from a user terminal,
A user terminal 100 receiving a user's command;
A first server 200 for processing a command of the user terminal 100;
Including; a second server 300 for updating information received from the first server 200 and storing it in the database 400, and controlling the home device 500,
The user terminal 100,
If an additional command is needed for a command recognized through the installed application, the user is asked to induce an additional command,
Reservation by user's order is possible,
When making a reservation, the command is received and stored in the database 400,
The second server 300,
Every minute, the command in the database 400 is checked, and if there is a command that matches the time, the command is executed,
The home automation system,
A home automation system using a chatbot, characterized in that the user's command intention is identified using a data mining technique.
 제 1항에 있어서,
상기 사용자 단말기(100)는
설치된 어플리케이션을 통해 사용자의 명령을 인식하고,
인식된 명령의 의도를 분석하여 분류하는 것을 특징으로 하는 챗봇을 이용한 홈 오토메이션 시스템.
The method of claim 1,
The user terminal 100 is
Recognize the user's command through the installed application,
A home automation system using a chatbot, characterized in that the intention of the recognized command is analyzed and classified.
 삭제delete 제 1항에 있어서,
상기 홈 기기(500)는
센서를 포함하며,
이벤트가 발생할 경우, 상기 사용자 단말기에 해당 이벤트 상황에 매칭되는 알림을 제공하고, 해당 이벤트 상황에 따라 홈 기기의 작동을 추천하는 것을 특징으로 하는 챗봇을 이용한 홈 오토메이션 시스템.The method of claim 1,
The home device 500 is
Includes a sensor,
When an event occurs, a home automation system using a chatbot, comprising providing a notification matching the event situation to the user terminal and recommending the operation of a home device according to the event situation. 삭제delete
KR1020190011026A 2019-01-29 2019-01-29 Home Automation System using Chatbot KR102213333B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190011026A KR102213333B1 (en) 2019-01-29 2019-01-29 Home Automation System using Chatbot

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190011026A KR102213333B1 (en) 2019-01-29 2019-01-29 Home Automation System using Chatbot

Publications (2)

Publication Number Publication Date
KR20200093827A KR20200093827A (en) 2020-08-06
KR102213333B1 true KR102213333B1 (en) 2021-02-05

Family

ID=72040247

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190011026A KR102213333B1 (en) 2019-01-29 2019-01-29 Home Automation System using Chatbot

Country Status (1)

Country Link
KR (1) KR102213333B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11805028B1 (en) 2022-06-20 2023-10-31 Mindwareworks Co., Ltd. System for providing IoT device integrated control service through AI server

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100466857B1 (en) 2001-12-01 2005-01-15 주식회사 아이콘트롤스 Internet-Based Home Automation Server and Control Method Thereof
KR102201735B1 (en) * 2013-12-23 2021-01-12 엘지전자 주식회사 Method for linking an external server with a device and system for the same
KR101729329B1 (en) * 2014-08-07 2017-04-25 주식회사 경동원 Integrated management server for home automation device remote control using social network service, home automation device remote control system using social network service and method of thereof
KR102004221B1 (en) * 2017-02-07 2019-07-29 남서울대학교 산학협력단 SYSTEM AND METHOD FOR POWER RELAY CONTROL BASED ON IoT THROUGH MULTIMEDIA CHATTING
KR102055755B1 (en) * 2017-06-07 2019-12-13 (주)아이알에스씨 Home automation method afor using communication application

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
네이버 블로그, "만능리모컨IoT‘mBox’", 2019.05.06.

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11805028B1 (en) 2022-06-20 2023-10-31 Mindwareworks Co., Ltd. System for providing IoT device integrated control service through AI server
KR20230173820A (en) 2022-06-20 2023-12-27 주식회사 마인드웨어웍스 IoT device integrated control service providing system through artificial intelligence server
EP4297344A1 (en) 2022-06-20 2023-12-27 Mindwareworks Co.,Ltd. System for providing iot device integrated control service through ai server

Also Published As

Publication number Publication date
KR20200093827A (en) 2020-08-06

Similar Documents

Publication Publication Date Title
US10985936B2 (en) Customized interface based on vocal input
US10073681B2 (en) Home device application programming interface
US10601604B2 (en) Data processing systems and methods for smart hub devices
CN105659179B (en) Device and method for interacting with HVAC controller
KR101784990B1 (en) Home automation control system and method using the face recognition
WO2019133908A1 (en) Intelligent identification and provisioning of devices and services for a smart home environment
US20220224557A1 (en) Customized interface based on vocal input
US20150179057A1 (en) Information notification method, information terminal, and program
JP2016526221A (en) Signaling device for teaching learning devices
US11100789B2 (en) Control system, installation equipment, remote controller, control method, and program
KR102213333B1 (en) Home Automation System using Chatbot
JP6181486B2 (en) Communication system, server device, portable terminal device, and information processing method
Tait Smart Drink Bottle
KR101729062B1 (en) Internet of Things Hardware system and a control method using mobile messenger
Sharma et al. IoT enabled smart-home
US20240028315A1 (en) Automatically Creating Efficient Meshbots
Chang et al. Intelligent Voice Assistant Extended Through Voice Relay System
Von Dehsen Providing a Camera Stream on an Ancillary Display
Ajayi et al. Design and Implementation of a WiFi-Enabled Home Automation System.
Wilson Radically Connected Home for Power Control and Device Discovery and Synergy
Chang Pervasive Biometric Authentication in the Smart Home Based on Integrated Light Fingerprint Pads
Dhillon et al. IoT Device for Vehicle Analytics and Smart Actions
Dhillon et al. Method for Real-Time Voice Communication
Dhillon et al. Enhancing Privacy of Smart Speakers Using Image Recognition and Motion Sensors
Benassi User Notification Interface Using Internet of Things Devices

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant