KR20200093827A - 챗봇을 이용한 홈 오토메이션 시스템 - Google Patents

Abstract

본 발명은 챗봇을 이용한 홈 오토메이션 시스템에 관한 것으로, 더욱 상세하게는 사용자가 챗봇에 명령을 하면, 챗봇은 사용자의 명령을 인식하여 홈 기기를 작동시키는 홈 오토메이션 시스템에 관한 것이다.

Description

챗봇을 이용한 홈 오토메이션 시스템{Home Automation System using Chatbot}

본 발명은 챗봇을 이용한 홈 오토메이션 시스템에 관한 것으로, 더욱 상세하게는 사용자가 챗봇에 명령을 하면, 챗봇은 사용자의 명령을 인식하여 사용자의 터치 없이 홈 기기를 작동시키는 홈 오토메이션 시스템에 관한 것이다.

IoT(Internet of Things)는 통신 가능한 모든 사물들을 네트워크에 연결하여 상호 통신 수행이 가능한 개념을 의미한다. 시스템적으로 인지할 수 있는 모든 객체는 근거리 및 원거리 통신 기능을 탑재하고, 센서 등 데이터 생산 및 이용이 가능한 사물 또는 사람이 이에 포함될 수 있다.

IoT의 시대가 도래하면서 IoT 서비스, 특히 스마트 홈에 대한 사람들의 관심은 해가 갈수록 높아지고 있고, 이와 관련된 주제의 연구가 활발히 진행되고 있다. 그리고 그에 따른 시장 규모 역시 2020년에는 600억 달러가 될 것이라 예상되고 있다.

홈 오토메이션에 관한 기술은 가정 곳곳에 적용될 수 있다. 온도센서, 가스 누설 센서, 침입 검지기 등을 사용하여 주택의 안전을 확보하는 방재ㆍ방범 시스템, 외출처에서 가정에 있는 에어컨 혹은 전기밥솥의 ON/OFF 조작과 시정(施錠) 확인을 하는 텔레컨트롤 시스템 등이 실용화되어 서서히 가정에 보급되고 있다.

홈 오토메이션 서비스에 관한 기술이 한국등록특허 제10-0466857호(인터넷 기반 홈 오토메이션 서버 및 제어 방법, 이하 종래기술) 에 개시된 바 있다. 상기 종래기술은, 인터넷을 지원하는 컴퓨터와 휴대폰 및 무선 통신 단말기 등을 사용하여 가정 내의 각종 전자 기기나 설비들을 제어하고, 가정 내 보안이 요구되는 장소에 설치된 가스, 화재, 방범 센서들을 통해 이상시 자동으로 경보를 발생시키는 편리함을 제공하였다. 하지만, 종래기술은, 사용자가 직접 조작판 등을 이용하여 제어가 필요하여, 단말기 내 앱 등의 제어수단이 필요하였다.

한국등록특허 제10-0466857호(인터넷 기반 홈 오토메이션 서버 및 제어 방법, 2005.01.08. 공고)

본 발명은 상기와 같은 종래의 문제점을 해결하기 위하여 안출된 것으로, 어플리케이션 등과 같은 조작수단이 없이도 홈 기기를 제어하고자 하는 목적이 있다.

또한, 사용자의 음성을 인식하여, 상기 사용자의 음성을 통해 사용자의 의도를 파악하고, 홈 기기를 제어하고자 한다.

사용자 단말기와 신호를 주고 받으며, 사용자 단말기의 신호에 의해 기기가 제어되는 홈 오토메이션 시스템에 있어서, 사용자의 명령을 전달받는 사용자 단말기(100), 상기 사용자 단말기(100)의 명령을 처리하는 제1서버(200), 상기 제1서버(200)로부터 받은 정보를 업데이트하여 데이터베이스(400)에 저장하고, 홈 기기(500)를 제어하는 제2서버(300)를 포함하는 것을 특징으로 한다.

상기 사용자 단말기(100)는 설치된 어플리케이션을 통해 사용자의 명령을 인식하고, 인식된 명령의 의도를 분석하여 분류하는 것을 특징으로 한다.

상기 사용자 단말기(100)는 설치된 어플리케이션을 통해 인식된 명령에 추가 명령이 필요할 경우, 사용자에게 질문을 통해 추가 명령을 유도하는 것을 특징으로 한다.

상기 홈 기기(500)는 센서를 포함하며, 이벤트가 발생할 경우, 상기 사용자 단말기에 해당 이벤트 상황에 매칭되는 알림을 제공하고, 해당 이벤트 상황에 따라 홈 기기의 작동을 추천하는 것을 특징으로 한다.

상기 사용자 단말기(100)는 사용자의 명령에 의한 예약이 가능하며, 예약 시, 해당 명령을 입력받아 데이터베이스(400)에 저장하고, 상기 제2서버(300)는 매분마다 상기 데이터베이스(400) 내의 명령을 확인하는 것을 특징으로 한다.

본 발명에 따른 효과는, 홈 기기를 제어함에 있어, 홈 기기의 제작 업체에서 판매하는 기기로 제어하지 않아도 제어가 가능한 효과가 있다. 또한, 버튼이 아닌 음성을 통해 제어를 함으로써, 사용자가 좀 더 편리하게 이용가능한 효과가 있다.

도 1은 본 발명의 일 실시예에 따른 전체 시스템의 구성을 나타낸 도면.
도 2는 본 발명의 일 실시예에 따른 챗봇의 동작 흐름도를 나타낸 도면.
도 3은 본 발명의 일 실시예에 따른 예약 시간 설정을 나타낸 도면.
도 4는 본 발명의 일 실시예에 따른 특정 이벤트 발생 시를 나타낸 도면.

본 발명의 실시예들에 대한 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.

본 발명의 실시예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명의 실시예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.

이하 도 1 내지 도 4의 도면을 참조하여, 본 발명의 일 실시예에 따른 챗봇을 이용한 홈 오토메이션 시스템에 대해 더욱 상세히 설명한다.

도 1은 본 발명의 일 실시예에 따른 전체 시스템의 구성을 나타낸 도면이다. 도 1에 도시된 바와 같이, 상기 챗봇을 이용한 홈 오토메이션 시스템은, 사용자 단말기(100)가 홈 기기(500)에 신호를 전달함으로써, 홈 기기(500)를 작동시키게 된다.

이때, 상기 사용자 단말기(100)는, 사용자의 명령을 전달받는다. 상기 사용자 단말기(100) 내에는 챗봇이 설치되어 있다. 상기 챗봇은 단말기 내 설치되는 어플리케이션 등의 형태로 구성된다. 본 발명의 일 실시예에 따른 홈 오토메이션 시스템은 스마트폰 챗봇을 통해서 사용자가 제어를 시도한다. 사용자의 제어 신호를 인지한 챗봇은, 상기 사용자의 음성 등을 통해 인지된 사용자의 의도를 파악한 후, 앱에 전달하고, 상기 앱은 제1서버(200)에 전송하게된다.

상기 제1서버(200)는 상기 사용자 단말기(100)의 명령을 처리하기 위해 구비된 것으로, 본 발명의 일 실시예에 따른 제1서버(200)는 MOSQUITTO를 이용한다. 이는 일 실시예에 따른 서버의 종류이며, 다른 실시예에 따라 다양한 서버를 이용 가능하다. 또한, 상기 제1서버(200)를 제어할 시, 일 실시예에 따라 Python언어를 이용하게 된다.

이때, 상기 제1서버(200)로 구독하는 제2서버(300)가 상기 명령을 전송받아, 이에 따른 처리를 블루투스를 이용하고, 아두이노를 제어하게 된다. 즉, 상기 제2서버(300)는 상기 제1서버(200)로부터 받은 정보를 업데이트하여 데이터베이스(400)에 저장하고, 홈 기기(500)를 제어하게 된다.

또한, 상기 정보를 상기 데이터베이스(400)에 저장할 시, 일 실시예에 따라 SQLite를 이용하여 저장하게 되고, 상기 제2서버(300)는 일 실시예에 따라 라즈베리파이의 서버를 사용한다. 이는 일 실시예에 따른 데이터베이스(400)의 저장수단 및 서버의 종류이며, 다른 실시예에 따라 다양한 저장수단 및 다양한 서버를 이용 가능하다.

도 2는 본 발명의 일 실시예에 따른 챗봇의 동작 흐름도를 나타낸 도면이다. 도 2에 도시된 바와 같이, 상기 사용자 단말기(100)는 설치된 어플리케이션을 통해 사용자의 명령을 인식하고, 인식된 명령의 의도를 분석하여 분류하는 것을 특징으로 한다.

상기 사용자가 챗봇에게 명령을 전달한다. 이때 명령은 음성명령 또는 직접 입력을 통한 명령 등 다양한 명령이 가능하다. 상기 음성을 통해 명령이 전달 될 경우, 상기 챗봇은 앱에 음성을 전달하고, 상기 앱은 음성을 분석하여 그에 대한 의도를 파악할 수 있다. 이때, 상기 앱은 실시예에 따라 IBM WATSON을 이용하여 만든 모델이며, 이는 실시예에 따라 다른 앱제작 도구이며, 다른 실시예에 따라 다른 앱 제작 도구를 이용할 수 있다.

상기 사용자의 의도를 분석한 앱은 상기 음성의 내용을 분류하게 된다. 이때, 분류는 제어, 예약, 현재 상태, 안내 등의 분류가 이루어 질 수 있다. 예를 들어, 사용자가 챗봇에 "아침 8시 예약 해줘"라는 명령을 할 경우, 앱은 상기 챗봇을 통해 그 내용을 전달받고, 앱은 아침, 8시, 예약이라는 핵심 단어를 인지하고, '예약' 으로 분류하게 된다.

도 3은 본 발명의 일 실시예에 따른 예약 시간 설정을 나타낸 도면이다. 도 3에 도시된 바와 같이, 본 발명의 일 실시예에 따른 홈 오토메이션 시스템은, 전술한 바와 같이, 챗봇을 통해 전달된 명령은 앱에서 분류가 되게 되고, 이때, 제어, 예약, 현재 상태, 안내 등과 같은 분류로 이루어 지게 된다.

즉, 설치된 어플리케이션을 통해 인식된 명령에 추가 명령이 필요할 경우, 사용자에게 질문을 통해 추가 명령을 유도하게 된다.

일 예로, 제어 또는 예약의 경우, 추가적인 명령이 더 필요할 경우가 발생하게 된다. 즉, 제어 또는 예약으로 분류된 명령일 경우, 어떤 기기를 확인할 건지 다시 분류를 하게 된다. 즉, 어떤 홈 기기(500)인지 대상 기기를 확인하고, 그에 맞는 질문을 다시 사용자에게 제공한다. 만일, 대상 기기가 창문과 전등일 경우, 어떤 방인지 질문하게 되고, 만약 선풍기일 경우, 풍량을 어느정도로 설정할지 질문하게 되고, 보일러일 경우 온도를 어느정도로 설정할지 질문하게 된다. 그 뒤, 대상 기기가 확인 되었을 경우, 예약할 시간을 다시 되묻게 되고 이를 시행하게 된다.

도 4는 본 발명의 일 실시예에 따른 특정 이벤트 발생 시를 나타낸 도면이다. 도 4에 도시된 바와 같이, 상기 홈 기기(500)는 센서를 포함하고 있다. 상기 센서에 의해 인식된 비, 온도, 조도 등의 정보는 해당 상황을 사용자 단말기(100)에 알려주게 되고, 상황에 맞는 작동을 홈 기기(500)에 전달하게 된다.

예를 들면, 우적 센서의 경우, 비를 감지하는 센서로서, 창문 등에 설치될 수 있다. 상기 비가 감지될 경우, 창문을 닫으라는 신호를 사용자 단말기(100)에 제공할 수 있다.

즉, 이벤트가 발생할 경우, 상기 사용자 단말기(100)에 해당 이벤트 상황에 매칭되는 알림을 제공하고, 해당 이벤트 상황에 따라 홈 기기(500)의 작동을 추천하게 된다. 집에 달린 각 센서들이 특정 이벤트를 감지하였을 때, 일 예로, 우적센서의 비 감지가 이루어졌을 경우, 제2서버(300)에서는 현재 집에 창문이 열려있다면 창문을 닫게 되고, 사용자에게 푸쉬 알람을 통해 '비가 오는 중입니다. 창문을 닫겠습니다.' 라는 알림을 보내게 된다. 이 외, 온도 센서 또는 조도 센서의 경우, 특정 상황이 오면 그 상황에 따른 행동을 추천해주게 된다.

또한, 상기 사용자 단말기(100)는 사용자의 명령에 의한 예약이 가능하며, 예약 시, 해당 명령을 입력받아 데이터베이스(400)에 저장하고, 상기 제2서버(300)는 매분마다 상기 데이터베이스(400) 내의 명령을 확인하게 된다.

예약의 경우, 해당 명령의 시간을 받아, 데이터베이스(400)에 저장을 하게 된다. 이때 저장된 데이터베이스(400) 내의 데이터는 제2서버(300)에 의해 매 분마다 확인 되게 된다. 즉, 상기 제2서버(300)는 매 분마다 데이터베이스(400)에 있는 데이터를 확인하게 되고, 해당 시간과 맞는 명령이 있을 경우, 데이터베이스(400)에서 꺼내 명령을 실행하게 된다.

좀 더 상세히 설명하면, 예약일 경우, 분석을 토대로 JSON을 생성하게 된다. JSON은 (JavaScript Object Notation)은 "속성-값 쌍" 또는 "키-값 쌍"으로 이루어진 데이터 오브젝트를 전달하기 위해 인간이 읽을 수 있는 텍스트를 사용하는 개방형 표준 포맷이다. 특히, 자료를 주고 받을 때 그 자료를 표현하는 방법이다. JSON 데이터로 생성된 명령은 제1서버(200)의 프로토콜을 사용하여 제2서버(300)로 전송하게 되고, 제2서버(300)에 전송된 데이터는 데이터베이스(400)에 저장되게 된다.

상기 데이터베이스(400)에 저장된 JSON 데이터는 해당 시간이 되면, 데이터베이스(400)에서 꺼내지게 된다. 꺼내진 명령을 실행하기 위해, 상기 명령은 제2서버(300)로 다시 전송되고, 상기 명령은 블루투스를 사용하여 홈 기기(500)에 전송되게 된다.

또한, 본 발명의 일 실시예에 따른 챗봇을 이용한 홈 오토메이션 시스템은, 홈 기기(500)의 상태 데이터 및 상태 메시지를 수시로 생성할 수 있다. 또한, 상기 데이터베이스(400)는 상태 데이터 및 상태 메시지를 일정 기간 동안 저장할 수 있다. 예를 들어, 상태 데이터 및 상태 메시지를 저장하기 위한 메모리가 더 구비될 수 있다.

또한, 본 발명의 일 실시예에 따른 챗봇을 이용한 홈 오토메이션 시스템은, 홈 기기(500)를 작동함에 있어, 복수의 홈 기기(500)를 동시에 제어 또는 홈 기기(500)에 다수의 작동을 제어할 수 있다. 예를 들어, 에어컨과 선풍기를 동시에 작동 시킬 수도 있고, 선풍기의 작동시간 및 작동풍량을 동시에 조절할 수 있다.

또한, 본 발명의 일 실시예에 따른 챗봇을 이용한 홈 오토메이션 시스템은 일예로, 창문이 열림 상태가 될 경우 창문의 상태 데이터에 기초하여 긴급 상태 메시지를 생성하고 사용자 단말기(100)에 전송할 수 있다. 또한, 사용자 단말기(100)에 긴급 상태 메시지를 전송할 수 있다. 이때, 상기 홈 오토메이션 시스템은 미리 설정한 사용자의 선택에 응답하여 긴급 상태 메시지를 전송하지 않을 수도 있다. 즉, 홈 오토메이션 시스템은 사용자의 선택에 응답하여 긴급 상태 메시지에 대한 전송 여부를 미 리 설정할 수 있다. 다른 예로, 홈 오토메이션 시스템은, 상태 데이터 및 상태 메시지를 수신한 사용자의 응답에 따른 적정 온도 및 습도를 설정하기 위해서 사물 제어 명령을 제1서버(200)에 전송할 수 있다. 제1서버(200)는 온도 및 습도에 대한 사물 제어 명령에 따라 에어컨 및 제습기를 모니터링 및 제어할 수 있다. 이때, 제1서버(200)는 에어컨 및 제습기가 적정 온도 및 습도를 유지하지 않을 경우, 에어컨 및 제습기를 사물 제어 명령 에 따라 제어하고 제어되는 에어컨 및 제습기의 상태 데이터를 모니터링할 수 있다. 즉, 제1서버(200)는 제어 된 상태 데이터가 사물 제어 명령에 따라 제어될 때까지 모니터링 및 제어할 수 있다.

또 다른 예로, 홈 오토메이션 시스템은 에어컨, 날씨 및 전기 가격에 대한 사용자 제어 패턴에 기초하여 에어컨, 창문, 공기 청정기 및 전기를 사용하는 가전 기기를 자동 제어할 수 있다. 구체적으로, 홈 오토메이션 시스템은 실내 온도, 날씨에 대한 정보 및 전기 가격에 대한 정보와 사용자의 현재 위치 및 현재 시간에 해당되는 사용자 제어 패턴이 매칭 될 경우 에어컨, 창문, 공기 청정기 및 가전 기기 에 대한 확인 알림을 사용자의 사용자 단말기(100)에 전송할 수 있다. 또한, 홈 오토메이션 시스템은 사용자의 선택에 응답하여 에어컨, 창문, 공기 청정기 및 가전 기기에 대한 사물 제어 명령을 전송하여 자동 제어할 수 있다. 이때, 홈 오토메이션 시스템은 미리 설정한 사용자의 선택에 응답하여 확인 알림을 전송하지 않을 수 있다. 즉, 홈 오토메이션 시스템은 사용자의 선택에 응답하여 확인 알림에 대한 전송 여부를 미리 설정할 수 있다.

또한, 본 발명의 일 실시예에 따른 홈 오토메이션 시스템의 사용자 단말기 내 챗봇은, 사용자의 의도를 파악하기 위하여 상기 사용자의 행위와 관련된 컨텍스트를 파악하는 행위파악 행위를 포함하며, 상기 행위파악은 상기 컨텍스트 정보를 데이터 마이닝(Data Mining) 기법을 이용하여 상기 사용자의 행위와 관련된 컨텍스트를 파악할 수 있다.

마이닝 기법 또는 데이터 마이닝 기법은 대규모로 저장된 데이터 안에서 체계적이고 자동적으로 통계적 규칙이나 패턴을 찾아 내는 것이다. 마이닝 기법을 이용하여 데이터를 분석하면 일정한 집단에 대한 특정 정의를 통해 분류 및 구분을 추론할 수 있으며(분류, Classification), 구체적인 특성을 공유하는 군집을 파악할 수 있으며(군집화, Clustering), 특정 기간에 걸쳐 발생하는 관계를 규명(연속성, Sequencing)할 수 있다.

또한, 상기 사용자의 의도를 파악하기 위해서, 상기 사용자의 상황과 관련된 컨텍스트를 판단하는 상황파악 행위를 더 포함하며, 상기 상황파악 행위는 상기 행위파악 행위에서 파악된 행위 정보를 순차 패턴 마이닝(Sequential Pattern Mining) 기법을 이용하여 상기 사용자의 상황과 관련된 컨텍스트를 파악할 수 있다.

또한, 상기 사용자의 음성을 인식한 뒤, 사용자의 의도를 파악하여 텍스트로 변경시키는 것 외에도, 음성의 뉘앙스 또는 악센트 등을 음성 신호로 변경하여 패턴을 인식 할 수 있다. 예를 들어, "불- 꺼-줘-" 라는 단호한 음성을 인식 하였을 경우, 사용자는 전등을 일시적으로 끄는 반면, "불.... 꺼.... 줘...." 라는 평소보다 느린 음성을 인식하였을 경우, 전등을 서서히 점점 어둡게 끌수 있다. 이때, 해당 패턴의 인식에 SVM 등을 사용하여 사용자의 감정에 대한 인식을 머신러닝으로 학습시킬 수 있다.

이상의 설명에서는 본 발명의 다양한 실시예들을 제시하여 설명하였으나 본 발명이 반드시 이에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능함을 쉽게 알 수 있을 것이다.

100 : 사용자 단말기
200 : 제1서버
300 : 제2서버
400 : 데이터베이스
500 : 홈 기기

Claims (5)

1. 사용자 단말기와 신호를 주고 받으며, 사용자 단말기의 신호에 의해 기기가 제어되는 홈 오토메이션 시스템에 있어서,
   사용자의 명령을 전달받는 사용자 단말기(100);
   상기 사용자 단말기(100)의 명령을 처리하는 제1서버(200);
   상기 제1서버(200)로부터 받은 정보를 업데이트하여 데이터베이스(400)에 저장하고, 홈 기기(500)를 제어하는 제2서버(300);를 포함하는 것을 특징으로 하는 챗봇을 이용한 홈 오토메이션 시스템.
   
2. 제 1항에 있어서, 상기 사용자 단말기(100)는
   설치된 어플리케이션을 통해 사용자의 명령을 인식하고,
   인식된 명령의 의도를 분석하여 분류하는 것을 특징으로 하는 챗봇을 이용한 홈 오토메이션 시스템.
   
3. 제 1항에 있어서, 상기 사용자 단말기(100)는
   설치된 어플리케이션을 통해 인식된 명령에 추가 명령이 필요할 경우, 사용자에게 질문을 통해 추가 명령을 유도하는 것을 특징으로 하는 챗봇을 이용한 홈 오토메이션 시스템.
   
4. 제 1항에 있어서, 상기 홈 기기(500)는
   센서를 포함하며,
   이벤트가 발생할 경우, 상기 사용자 단말기에 해당 이벤트 상황에 매칭되는 알림을 제공하고, 해당 이벤트 상황에 따라 홈 기기의 작동을 추천하는 것을 특징으로 하는 챗봇을 이용한 홈 오토메이션 시스템.
   
5. 제 1항에 있어서, 상기 사용자 단말기(100)는
   사용자의 명령에 의한 예약이 가능하며,
   예약 시, 해당 명령을 입력받아 데이터베이스(400)에 저장하고,
   상기 제2서버(300)는 매분마다 상기 데이터베이스(400) 내의 명령을 확인하는 것을 특징으로 하는 챗봇을 이용한 홈 오토메이션 시스템.

Images