KR20170006120A - 재실 추론 확률에 기반한 홈 ＩｏＴ 제어 시스템 및 홈 ＩｏＴ 제어 방법 - Google Patents

Abstract

본 발명은 재실 추론 확률에 기반하여 결정된 제어 명령어로 홈 IoT 단말을 제어하는 홈 IoT 제어 시스템 및 홈 IoT 제어 방법을 개시한다. 본 발명에 따르는 홈 IoT 제어 시스템은, 사용자 단말 및 홈 IoT 단말의 이벤트에 대응하는 사용자의 재실 여부를 추론한 재실 추론 확률을 생성하는 재실 정보 추론부; 재실 추론 확률에 대응하는 홈 IoT 단말의 제어 명령어 및 안내 형태의 사용자 안내 인터페이스를 추론하는 대화 추론부; 및 제어 명령어를 안내 형태에 따라 사용자 단말로 제공하여 사용자에게 안내하고, 홈 IoT 단말로 전송되는 제어 명령어를 결정하는 안내 제공부를 포함하는 홈 IoT 제어부를 포함한다. 본 발명에 따르면, 홈 내에서 발생된 이벤트에 대응하는 제어 명령어를 결정하여 홈 IoT 단말을 자동으로 제어하는 지능형 홈 IoT 제어 서비스를 제공한다.

Description

재실 추론 확률에 기반한 홈 ＩｏＴ 제어 시스템 및 홈 ＩｏＴ 제어 방법{Home IoT controlling system based on occupants inference probability and method threreof}

본 발명은 홈 IoT(Internet of Thing) 제어 기술에 관한 것으로서, 사용자가 실내에 있는지 여부를 확률로 추론하여 재실 추론 확률을 구하고, 재실 추론 확률을 이용하여 홈 Iot 단말을 자동 제어하는 홈 IoT 제어 시스템 및 홈 IoT 제어 방법에 관한 것이다.

TV나 집안의 가전제품 등이 스스로 알아서 동작하는 것은 홈 IoT(Internet of Thing) 서비스의 오랜 목표였다. 이 목표는 최근의 각 단말과 가전이 서로 통신하는 홈 IoT 기술에 힘입어 점차 현실화되어 가고 있다. 하지만, 아직도 해결하지 못하고 있는 대표적인 것이 사용자가 집에 있을 때와 없을 때, 혹은 들어올 때와 나갈 때, 잠시 외출하는 경우와 출퇴근, 혹은 장기적으로 집을 비우게 될 때와 같은 다양한 재실 상황에 맞게 댁내 각 단말/가전들을 자동 제어하는 서비스이다.

이 서비스의 예를 들면, 잠시 외출 시에는 TV를 끄고 창문과 가스밸브를 점검하고, 출근시에는 보안감시 및 냉난방 절전 모드를 설정하고, 퇴근에 맞추어 집안 환기와 청소 등을 미리 수행하고, 장기 휴가 시에는 냉난방의 전원을 차단하는 등의 재실 상황에 맞추어 자동 제어되는 서비스이다. 본 발명에서는 상기 서비스를 재실 정보에 기반한 지능형 홈 IoT 제어 서비스라고 한다.

이러한 재실 정보에 기반한 홈 IoT 제어를 보다 적극적으로 서비스 현실화하기 어려웠던 근본적인 이유는 이러한 재실 정보를 사용자의 협력없이 정확하게 얻는 것이 불가능하였기 때문이다.

가구원들이 입출입시마다 본인의 입출입 여부를 등록(외출모드로 설정)하거나, 언제 돌아올 것인지를 예상하여, 몇 시에 어떠한 제어를 수행하기를 예약하는 예약 수행이 그간에 사용되어 온 사용자의 협력을 수반하는 홈 IoT 제어 방법이었다.

이러한 사용자의 협력을 수반하는 방법은 사용자 측면에서 상황에 맞춤화된 제어를 받을 수 있는 사실상의 단 한가지 방법으로 종래의 홈 IoT 서비스에서는 기본적으로 제공되고 있으나, 사용자가 이를 매번 등록하는 것은 무척 번거로운 일로서 자주 사용되고 있지 않다.

재실 정보를 정확하게 얻는 것이 어렵고 재실 정보를 일부 얻더라도 이것이 얼마나 정확한 정보인지를 판단할 수 없기 때문에, 서비스 시스템 관점에서는 홈 IoT 단말 및 가전을 제어함에 있어 잘못 수행하게 되면 사용자의 불편을 끼치게 되는 보안 모드나, 절전 모드 등을 적극적으로 제어하지 못하고, 일부 기능에만 자동화를 도입할 수 밖에 없는 어려움이 있었고, 이러한 서비스를 지능형 홈 IoT 서비스라고 부르기에는 부족함이 많았다.

재실 정보를 이용하기 위하여 홈 IoT 분야에서 최근에 제안되는 기술들을 살펴보면, 첫 번째로, 내비게이션을 이용하여 집으로 목적지 설정을 하여 운전을 시작할 때, 목적지 정보를 바탕으로 몇 시간 후 집에 도착한다는 것을 추론하여 환경 설정을 하는 방법이 있다.

하지만, 이러한 방법을 사용할 수 있는 경우는, 사용자가 특정한 입력(내비게이션 목적지 설정)을 하는 경우에만 사용할 수 있으며, 실제로 귀가 시에 내비게이션으로 목적지 설정을 하는 경우도 드물다는 점에서 일반적으로 사용할 수 있는 방법은 아니다.

두 번째로, 스마트폰의 GPS 정보 혹은 기지국 정보에서 유추되는 사용자가 집에서 얼마나 멀리 떨어지고 있는가(혹은 접근하고 있는가)를 이용하는 방법이 있다.

이러한 방법을 Geo-fence 기술이라고 하며, 이 기술은 사용자가 대형 건물과 같은 실내에서 움직이는 경우나 스마트폰을 항시 보유하지 않은 경우는 판별이 어렵고, 집 근처를 방문하는 경우와 댁내에 있는 것을 구분하기 어려운 정확도의 문제가 있다. 상기 문제로 인해 지능형 홈 IoT가 단말의 위치 정보를 입력 데이터로 받아서 사용자의 재실 정보를 판별하는데는 한계가 있다.

본 특허와 유사한 접근 방법으로 근접 센서를 부착한 실내 온도 조절기에서 사용자가 온도를 설정하는 패턴으로 실내 온도를 설정하고, 사용자가 근접하여 움직이는 정보로 온도를 보완 조정하는 방법이 있다.

이 방법의 근본적인 목표는 주간/시간대별 댁내의 효율적인 온도 설정이며, 사용자가 초기 온도를 설정하고, 학습된 온도 설정 값을 다시 보완 수정해가면서 주간/시간대별로 최적의 온도를 설정하는 것을 주된 방법으로 하고 있다. 하지만, 본 발명이 목표로 하는 재실 정보를 사용자의 개입 없이 확률적으로 파악하고, 이를 바탕으로 지능형 제어를 실현하는 방법과는 구현 목표와 방법에서 차이점이 있다고 할 수 있다.

한국등록특허 10-0715120

본 발명은 전술한 문제점을 해결하고자 하는 것으로서, 사용자 단말의 위치 정보와 전가 기기의 사용 이력을 학습하여 재실 모델을 생성하고, 재실 모델을 기반으로 사용자별 재실 확률을 추론하고, 재실 추론 확률을 이용하여 홈 IoT 단말을 자동으로 제어하는 홈 IoT 제어 시스템 및 홈 IoT 제어 방법을 제공하는 것을 목적으로 한다.

본 발명의 다른 목적은 재실 추론 확률에 따른 후보 명령어를 결과로 생성하고, 각 후보 명령어의 신뢰도에 따라 명령 실행의 대화형 인터페이스를 사용자에게 선택적으로 제공하는데 있다.

본 발명의 또 다른 목적은 사용자에게 제공한 대화형 인터페이스에 대해 사용자가 반응한 이력을 수집하여 명령어의 신뢰도를 학습시키는데 있다.

상기 기술적 과제를 달성하기 위한 본 발명에 따른 재실 추론 확률에 기반한 홈 IoT 제어 시스템은, 홈 내에서 사용자 단말의 위치 이동 및 홈 IoT(Internet of Thing) 단말의 사용의 이벤트가 발생하면, 발생된 이벤트에 대응하는 사용자의 재실 여부를 추론한 재실 추론 확률을 생성하는 재실 정보 추론부; 생성된 재실 추론 확률에 대응하는 홈 IoT 단말의 제어 명령어를 생성하고, 생성된 제어 명령어의 사용자 안내 인터페이스에 해당하는 안내 형태를 추론하는 대화 추론부; 및 생성된 제어 명령어를 상기 안내 형태에 따라 사용자 단말을 상대로 사용자 안내를 수행하고, 상기 홈 IoT 단말로 전송되는 제어 명령어를 결정하는 안내 제공부를 포함하는 홈 IoT 제어부를 포함한다.

본 발명에 있어서, 상기 안내 형태는, 상기 제어 명령어에 대해 사용자 안내 및 사용자 응답이 수반되는 상기 사용자 안내 인터페이스로서 무통보, 통보, 확인 및 선택 요청 중에서 어느 하나에 해당되고, 상기 안내 제공부는 확인 및 선택 요청의 안내 형태일 경우, 상기 사용자 단말의 응답을 수신하여 상기 응답에 따른 제어 명령어를 상기 홈 IoT 단말을 제어할 제어 명령어로 결정한다.

여기서, 홈 IoT 제어부는 상기 대화 추론부에 의해 생성된 복수개의 제어 명령어에 대해 각각의 신뢰도를 계산하는 신뢰도 계산부를 더 포함하고, 상기 대화 추론부는 계산된 신뢰도를 이용하여 제어 명령어를 선택하고, 선택된 제어 명령어의 상기 안내 형태를 추론한다.

본 발명의 일 측면에 따르면, 상기 홈 Iot 제어부로 재실 모델을 제공하는 재실 모델 학습부를 더 포함하고, 상기 재실 모델 학습부는, 상기 이벤트의 이력 정보를 이용하여 사용자별 입출 시간을 예측하는 사용자 입출 시간 예측부; 및 상기 로그 정보 및 예측된 사용자 입출 시간을 이용하여 사용자의 재실 여부의 확률을 학습하여 상기 재실 모델을 생성하는 재실 모델 생성부를 포함한다.

여기서, 상기 재실 정보 추론부는, 상기 재실 모델로부터 상기 이벤트에 대응하는 재실 확률을 조회하여 상기 재실 추론 확률을 생성한다.

본 발명의 다른 측면에 따르면, 상기 재실 모델 학습부로 상기 이벤트의 이력 정보를 제공하고, 상기 홈 IoT 제어부로 실시간 발생된 이벤트를 제공하는 입력부를 더 포함하고, 상기 입력부는, 상기 사용자 단말의 GPS 및 기지국의 정보를 이용하여 홈 영역의 지오 펜스(Geo Fencing) 내에서 발생되는 위치 이벤트의 정보를 수집하는 지오 펜스 정보 수집부; 도어락을 통한 사용자의 입출 이벤트의 정보를 수집하는 도어락 입출 정보 수집부; 상기 사용자 단말 및 홈 IoT 단말이 홈 내에 설치된 AP(Access Point) 장치로 와이파이 접속하는 이벤트의 정보를 수집하는 와이파이 접속 정보 수집부; 홈내에 있는 IoT 단말에서 발생되는 사용자의 입력 이벤트의 정보를 수집하는 사용자 입력 정보 수집부; 및 복수의 IoT 단말을 제어하는 사용자의 모드 설정에 의해 발생되는 복합 제어의 사용 이벤트의 정보를 수집하는 복합 제어 사용 정보 수집부 중에서 적어도 하나 이상을 포함하는 것을 특징으로 하는 홈 IoT 제어 시스템.

여기서, 상기 안내 제공부가 상기 사용자 단말로 전송한 사용자 명령에 대해 사용자의 응답을 수신하면, 상기 사용자 입력 정보 수집부가 상기 응답의 입력 이벤트를 실시간 수집하고, 상기 재실 정보 추론기가 사용자 입력 정보 수집부로부터 상기 입력 이벤트를 입력받아 사용자의 재실 확률을 추론한다.

본 발명의 다른 측면에 따르면, 상기 홈 IoT 제어부가 상기 제어 명령어의 상기 신뢰도를 학습하는 신뢰도 학습부를 더 포함하고, 상기 신뢰도 학습부는, 사용자 단말이 전송받은 안내 형태의 제어 명령어에 대해 응답한 정보를 상기 안내 제공부로부터 전달받고, 응답이 긍정적이면 신뢰도를 증가하고, 응답이 부정적이면 신뢰도를 감소시키는 상기 제어 명령어의 신뢰도 강화 학습을 수행하여 신뢰도 모듈을 생성하는 신뢰도 강화부; 및 상기 강화 학습에 의해 생성되는 이벤트 정보, 재실 추론 확률, 제어 명령어 및 신뢰도의 정보를 포함하는 신뢰도 모델을 저장하는 신뢰도 모델 저장부를 포함한다.

여기서, 상기 신뢰도 계산부는, 상기 신뢰도 모델로부터 신뢰도를 조회하는 것에 의해 상기 제어 명령어에 대응하는 신뢰도를 계산한다.

상기 기술적 과제를 달성하기 위한 본 발명에 따른 홈 IoT 제어 시스템은, 상기 이벤트의 이력 정보를 이용하여 사용자별 입출 시간에 따른 사용자의 재실 상황을 학습하여 재실 확률의 정보를 재실 모델을 학습하는 재실 모델 학습부; 상기 이벤트가 발생하면, 발생된 이벤트에 대응하는 재실 확률을 상기 재실 모델로부터 참조하여 사용자의 재실 추론 확률을 생성하고, 생성된 재실 추론 확률에 대응하는 홈 IoT 단말의 제어 명령어를 신뢰도를 기반으로 생성하고, 생성된 제어 명령어를 안내 형태에 따라 상기 사용자 단말을 상대로 사용자 안내를 수행하여 상기 홈 IoT 단말을 제어할 제어 명령어를 결정하는 홈 IoT 제어부; 및 상기 사용자 단말이 상기 제어 명령어에 대해 응답한 정보를 전달받고, 응답이 긍정적이면 상기 신뢰도를 증가하고, 응답이 부정적이면 상기 신뢰도를 감소시켜 신뢰도 모델을 학습하는 신뢰도 학습부를 포함한다.

상기 기술적 과제를 달성하기 위한 본 발명에 따른 재실 추론 확률에 기반한 홈 IoT 제어 방법은, 홈 Iot 제어 시스템이 제어 명령어를 사용자 단말로 안내하여 홈 IoT 단말을 제어하는 홈 IoT 제어 방법에 있어서, (c1)홈 내에서 사용자 단말의 위치 이동 및 홈 IoT 단말의 사용의 이벤트가 발생하면, 발생된 이벤트에 대응하는 사용자의 재실 여부를 추론한 재실 추론 확률을 생성하는 재실 정보 추론 단계; (c2)생성된 재실 추론 확률에 대응하는 홈 IoT 단말의 제어 명령어를 생성하고, 생성된 제어 명령어의 사용자 안내 인터페이스에 해당하는 안내 형태를 추론하는 대화 추론 단계; 및 (c3)생성된 제어 명령어를 상기 안내 형태에 따라 사용자 단말을 상대로 사용자 안내를 수행하고, 상기 홈 IoT 단말로 전송되는 제어 명령어를 결정하는 안내 제공 단계를 포함하는 홈 IoT 제어 단계를 포함한다.

본 발명의 일 측면에 따르면, 발생된 이벤트별 재실 추론 확률에 따른 제어 명령어를 홈 IoT 단말에 적용하여 사용자의 재실 상황에 맞는 지능화된 홈 IoT 제어 서비스를 제공한다.

본 발명의 다른 측면에 따르면, 사용자의 재실 확률을 학습하여 재실 추론 확률의 정확성을 높이고, 추론된 제어 명령어에 대해 사용자 안내를 통해 수신한 사용자의 응답을 제어 명령어의 신뢰도에 반영하고, 신뢰도가 높은 제어 명령어를 결정하여 홈 IoT 단말을 제어한다.

본 명세서에 첨부되는 다음의 도면들은 본 발명의 바람직한 실시예를 예시하는 것이며, 후술한 발명의 상세한 설명과 함께 본 발명의 기술사상을 더욱 이해시키는 역할을 하는 것이므로, 본 발명은 그러한 도면에 기재된 사항에만 한정되어 해석되지 않아야 한다.
도 1은 본 발명의 일 실시예에 따른 홈 IoT 제어 시스템의 개략적 구성도이다.
도 2는 도 1의 홈 IoT 제어 시스템의 상세 구성도이다.
도 3은 본 발명의 일 실시예에 따른 홈 IoT 제어 방법의 개략적 순서도이다.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명하기로 한다. 이에 앞서, 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다.

따라서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고 본 발명의 기술적 사상에 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.

도 1은 본 발명의 일 실시예에 따른 홈 IoT 제어 시스템(1)의 개략적 구성도이다.

본 발명의 홈 IoT 제어 시스템(1)은 유, 무선 네트워크를 이용하여 홈 IoT 단말(2) 및 사용자 단말(3)과 데이터를 통신하는 컴퓨터 단말로 구축된다. 홈 IoT 제어 시스템(1)은 스탠드 얼론(stand alone) 또는 서버 클라이언트 환경으로 구축될 수 있다. 이하에서는 설명의 편의상 스탠드 얼론의 환경에서 구축된 컴퓨터 단말로 가정하여 설명한다.

본 발명에서의 상기 유, 무선 네트워크는 대표적으로 이동통신망, 인터넷, 와이파이망과 같은 유, 무선 공중망이나 전용망 등과 같이 다양한 프로토콜을 이용하여 데이터 통신이 가능한 모든 통신망을 포괄한다.

상기 홈 IoT 제어 시스템(1)은 홈 IoT 단말(2)과 사용자 단말(3)의 사용 정보를 수집하는 입력부(11), 수집된 사용 정보를 이용하여 사용자의 재실 상황을 확률로 산정한 재실 모델을 학습하는 재실 모델 학습부(12), 재실 모델을 기반으로 사용자의 재실 여부를 추론하여 홈 IoT 단말(2)의 제어 명령어를 생성하고 사용자 안내를 수반하여 제어 명령어로 홈 IoT 단말(2)을 자동 제어하는 홈 IoT 제어부(13) 및 적합한 제어 명령어의 생성을 위해 제어 명령어의 신뢰도를 학습하는 신뢰도 학습부(14)를 포함하여 구성된다.

상기 입력부(11)는 사용자가 홈 내에 위치하고 있는지를 나타내는 재실 정보를 판단하기 위해 홈 IoT 단말(2) 및 사용자 단말(3)의 사용 이벤트 정보를 수집하는 주체이다. 즉, 상기 이벤트는 홈 내에서 사용자가 홈 IoT 단말(2)과 사용자 단말(3)을 조작함으로써 발생될 수 있다. 이벤트가 발생되면, 입력부(11)는 수집된 이벤트 정보를 재실 모델 학습부(12)로 제공한다. 상기 이벤트 정보는 사용자 정보와 함께 발생 시간, 발생 주체, 실행 명령 등을 포함할 수 있다.

상기 재실 모델 학습부(12)는 입력부(11)로부터 출력된 이벤트 정보를 누적 학습하여 재실 모델을 생성한다. 재실 모델은 발생된 이벤트 정보 및 사용자 정보에 대응하여 사용자의 재실 여부에 대한 확률 정보를 포함한다. 즉, 학습은 상기 확률 값을 완성시키는 처리 과정이 수반된다. 상기 확률 값은 이벤트의 발생시마다 계산되어 사용자의 재실 여부를 정확히 나타내도록 학습된다. 학습된 재실 모델은 현재 발생된 이벤트에 대해 개별 가구원 및 가구원 전체가 댁내 재실하고 있을 확률과 가구원별로 돌아올 예측 시간을 확률적으로 제시할 수 있는 예측 모델을 제안한다.

상기 IoT 제어부(13)는 학습을 통해 진화되는 재실 모델을 기반으로 사용자의 재실 여부의 확률(재실 추론 확률)을 추론한다. 예를 들어, 재실 추론 확률이 80%라고 가정하면, 사용자가 홈 내에 있는 재실 가능성이 80%로 예측됨을 말한다. 여기서, 외출은 단기 외출 및 장기 외출(예 : 출근, 여행 등)로 구분될 수 있다.

본 발명에서의 용어 "추론"은 DB에 저장된 정보들 중에서 일치하는 정보 또는 유사한 정보를 참조하고, 일치하는 정보가 없을 경우 유사한 정보를 이용하여 정보를 계산하고 예측하여 결정하는 것을 말한다. 따라서, 재실 추론 확률은 일치하는 상황 및 최적의 유사한 상황에 근거하여 사용자가 홈 내에 있다고 추론한 확률 값을 말한다.

홈 IoT 제어부(13)는 확률적 재실 정보에 해당하는 재실 추론 확률을 입력으로 최적의 결정된 제어를 수행함에 있어서, 그 확률 값에 따라 사용자에게 서로 다른 방식의 대화형 협력 방식에 해당하는 사용자 안내 인터페이스를 제공하여 사용자에게 신뢰도 있는 지능형 제어 서비스를 제공한다.

여기서, 홈 IoT 제어부(13)는 재실 추론 확률을 입력으로 홈 IoT 단말(2)이 실행할 제어 명령어를 결과로 생성하고, 제어 명령어의 실행에 의해 사용자가 다시 명령을 실행하지 않고 그대로 수용할 수 있는 신뢰도에 따라 제어 명령어를 사용자에 어떻게 제시할 것인가를 나타내는 안내 형태를 제공한다. 상기 안내 형태는 제어 명령어의 사용자 인터페이스로서 시스템 행위(예: [무통보], [통보], [확인], [선택 요청] 등)에 해당된다. 예를 들어, 제어 명령어의 신뢰도가 70%라 가정하면, 제어 명령어가 홈 IoT 단말(2)에서 실행된 후 사용자가 다시 제어 명령을 내릴 확률이 30%에 해당되는 것을 의미한다. 물론, 상기 [확인] 및 [선택 요청]의 안내 형태는 사용자의 반응(feedback정보)을 수반하고, 사용자 반응에 의해 최적의 제어 명령어가 사용자의 피드백을 거쳐 홈 IoT 단말(2)로 제어 명령어가 내려질 수 있다. 또한, 사용자 반응으로 인해 신뢰도가 학습되어 상기 지능형 제어 서비스는 더욱 지능화된다. 이를 통해, 불명확한 재실 확률에도 불구하고 신뢰도에 기반한 대화형 안내 방식으로 홈 IoT 단말(2)의 제어를 지능적으로 수행하는 것이 가능하다.

예를 들어, 출근 확률이 60%로 예측되고, 출근을 한 것인지 잠시 외출을 한 것인지도 명확하지 않을 때, 출근에 해당하는 외출로 판단하여 에어컨을 절전 모드로 변경하는 것을 결정하는게 어려울 수 있다. 이럴 때, 본 발명에서는 이러한 상황에서 에어컨 절전 모드로 전환하는 결정에 대한 신뢰도를 참조한다. 즉, 이전에도 비슷한 상황에서 에어컨 절전 모드로 전환하였던 것을 가입자가 지지하였다면, 신뢰도는 높게 형성될 것이고, 반대로 가입자가 에어컨 절전 모드 전환을 취소하였거나, 전환하지 말도록 요청하였거나 하면 신뢰도는 낮게 형성될 것이다.

여기서, 에어컨의 절전 모드 전환을 사용자에게 제시할 때의 시스템 행위는 실제 사용자에게 어떠한 대화형 협력 방식을 이용할 것인가를 결정하게 된다. 만약, 신뢰도가 매우 높으면, 제어를 바로하는 [무통보] 방식을 추론한다. [통보] 방식은 신뢰도의 값에 따라 제어를 하되 사용자에게 알려주는 방식이다. [확인] 방식은 사용자 단말(3)로 제어 명령어의 실행을 안내한 후 사용자의 확인을 받아서 제어하는 방식이다. [선택 요청] 방식은 에어컨 절전 모드 전환과 다른 방식(예를 들면, 에어컨 끄기)을 안내한 후 사용자의 선택을 요청하고, 사용자가 선택한 제어 명령어를 전송받아 제어하는 방식이다. 그러면,“상황에 따른 대화형 협력 방식”을 사용함으로써, 현재의 불확실한 재실 정보에도 불구하고 사용자에게 불편하지 않고 지능적인 홈 IoT 제어 서비스를 제공할 수 있다.

상기 홈 IoT 단말(2)은 인터넷 통신 장비를 갖는 가전 기기, 설비, 장치 등이 해당되며, 유, 무선 인터넷을 통해 상기 제어 명령어를 수신하고, 수신된 제어 명령어의 실행에 의해 제어되는 단말이면 특별한 제한을 두지 않는다.

상기 사용자 단말(3)은 안내 형태의 사용자 인터페이스에 해당하는 [무통보], [통보], [확인], [선택 요청] 에 의해 사용자의 협력이 수반되는 단말이다. 대표적으로 스마트 폰을 예로 들 수 있다. 상기 스마트 폰에는 본 발명의 홈 IoT 제어 서비스를 위해 전용 어플리케이션이 설치되는 것도 가능하다.

도 2는 도 1의 홈 IoT 제어 시스템(1)의 상세 구성도이다.

ㄱ. 상기 입력부(11)는 재실 모델 학습부(12)로 상기 이벤트의 이력 정보를 로그 정보로서 제공하고, 홈 IoT 제어부(13)로 실시간 발생된 이벤트를 제공한다. 상기 이벤트는 홈 IoT 단말(2) 및 사용자 단말(3)에 의해 발생되며 사용자의 재실 여부를 추론할 수 있는 정보로서 제한을 두지 않는다.

입력부(11)는 지오 펜스 정보 수집부(111), 도어락 입출 정보 수집부(112), 와이파이 접속 정보 수집부(113), 사용자 입력 정보 수집부(114) 및 복합 제어 사용 정보 수집부(115) 중에서 적어도 하나 이상을 포함하여 구성된다. 즉, 수집 주체에 해당되는 모든 수집부(111~115)들이 모두 구비되어야 하는 것은 아니다.

상기 지오 펜스 정보 수집부(111)는 사용자 단말(3)의 GPS 및 기지국의 정보를 이용하여 홈 영역의 지오 펜스(Geo Fencing) 내에서 발생되는 위치 이벤트의 정보를 수집한다. 수집된 위치 이벤트의 이력 정보는 재실 모델 학습부(12)로 제공되어 학습 대상이 된다.

상기 도어락 입출 정보 수집부(112)는 도어락을 통한 사용자의 입출 이벤트의 정보를 수집한다. 수집된 도어락 입출 이벤트의 이력 정보는 재실 모델 학습부(12)로 제공되어 학습 대상이 된다.

상기 와이파이 접속 정보 수집부(113)는 홈 IoT 단말(2) 및 사용자 단말(3)이 홈 내에 설치된 AP(Access Point) 장치로 와이파이 접속하는 이벤트의 정보를 수집한다. 수집된 와이파이 접속 이벤트의 이력 정보는 재실 모델 학습부(12)로 제공되어 학습 대상이 된다.

상기 사용자 입력 정보 수집부(114)는 홈내에 있는 홈 IoT 단말(2)에서 발생되는 사용자의 입력 이벤트의 정보를 수집한다. 사용자가 스마트 가전(예 : TV, 냉장고, 청소기, 조명 등)을 사용하는 정보는 사용자 입력 정보 수집부(114)로 전송된다. 홈 IoT 단말(2)의 기능 동작은 사용자의 입력, 예약, 조작 등의 사용을 수반하므로 사용자가 홈 IoT 단말(2)을 사용한 정보를 사용자의 입력 이벤트로서 수집한다. 수집된 사용자 입력 이벤트의 이력 정보는 재실 모델 학습부(12)로 제공되어 학습 대상이 된다.

상기 복합 제어 사용 정보 수집부(115)는 복수의 IoT 단말을 제어하는 사용자의 모드 설정에 의해 발생되는 복합 제어의 사용 이벤트의 정보를 수집한다. 예를 들어, 상기 모드 설정이 외출 모드일 경우, 냉난방 기기, 조명, 환기 장치 등이 복합 제어되어 운행이 중지될 수 있다. 사용자의 외출이 추론될 경우, 복합 제어의 사용 이력은 사용자가 설정한 정보로서 자동 제어에 유용하게 활용된다. 수집된 복합 제어 사용 이벤트의 이력 정보는 재실 모델 학습부(12)로 제공되어 학습 대상이 된다.

ㄴ. 상기 재실 모델 학습부(12)는 입력부(11)로부터 사용자의 위치 정보 및 이벤트의 이력 정보를 로그 정보로서 제공받고, 재실 모델을 학습하고, 학습된 재실 모델을 홈 IoT 제어부로 제공한다.

재실 모델 학습부(12)는 사용자 입출 시간 예측부(121) 및 재실 모델 생성부(122)를 포함하여 구성된다.

상기 사용자 입출 시간 예측부(121)는 입력부(11)를 통해 들어오는 정보를 통합하여, 각 가입자의 입출(예 : 출퇴근, 단기 외출 등) 예상 시간을 예측한다.

여기서, Geo-fence 정보, Wifi 접속 정보, 도어락의 입출 정보, 외출/귀가 모드의 설정 시간 등은 각 가구원의 댁내 재실 여부를 증명하는 자료이다. 사용자 입출 시간 예측부(121)가 이들 정보의 일부, 혹은 전부를 결합한 후, 단순한 외출 등의 노이즈를 제거하면, 각 가구원의 주간별 외출 예상 시간을 예상할 수 있다. 물론, 출퇴근, 등교 등의 장기 외출의 예상 시간 또는 예상 가능하다. 상기 예상의 반복에 의해 학습이 이루어지고, 이러한 학습에는 여러 가지의 regression model을 사용하는 것이 가능하다. 그러면, 사용자 입출 시간 예측부(121) 상기 학습을 수행하여 가입자의 외출 시간을 예측할 수 있다.

상기 재실 모델 생성부(122)는 로그 정보의 개별 이벤트 및 예측된 사용자 입출 시간을 이용하여 사용자의 재실 여부의 확률을 학습하여 재실 모델을 생성한다. 즉, 재실 모델 생성부(122)는 학습의 결과로서 데이터 구조에 해당하는 재실 모델을 생성한다.

여기서, 재실 모델 생성부(122)는 댁내 사용자 구성원들의 예측된 외출 시간 과 실제 입력으로 들어오는 각 가입자의 Geo-fence 정보, Wifi, 접속 정보, 도어락의 입출 정보 등을 입력으로 댁내 사람의 유무를 확률적 제시하는 재실 모델을 학습한다. 학습을 통해 재실 모듈은 사용자별 재실 확률 값을 계속적으로 완성한다

구체적으로, 상기 재실 모델의 학습을 위해서, 재실 모델 생성부(122)는 댁내 가전/단말의 움직임을 댁내 재실의 증거(answer)로 보고, 상기 입력들의 조합을 feature로 하는 vector를 구성한다. 재실 모델 생성부(122)는 각 vector가 댁내 재실 상황에 발생하는 횟수와 그렇지 않은 횟수를 계산하여, 이를 이진 분류의 문제로 보고 학습하는 것이 가능하다. 이러한 이진 분류 학습기로서는 CRF(Conditional Random Field), SVM(Supported Vector Machine) 등의 여러 기계 학습 방법론이 재실 모델 생성부(122)에 적용된다. 이러한 학습을 거쳐 댁내 재실 여부를 확률적으로 제시하는 확률적 재실 모델의 학습이 계속된다.

ㄷ. 상기 홈 IoT 제어부(13)는 재실 모델 학습부(12)로부터 생성된 재실 모델을 기반으로 추론된 재실 확률에 따라 제어 명령어를 생성하고, 선택적으로 대화 형태의 사용자 안내 인터페이스를 수반하여 홈 IoT 단말(2)로 전송하여 홈 IoT 단말(2)을 제어할 제어 명령어를 결정한다.

홈 IoT 제어부(13)는 재실 정보 추론부(131), 대화 추론부(132) 및 안내 제공부(134)를 포함하여 구성된다. 나아가, 홈 IoT 제어부(13)는 신뢰도 계산부(133)를 더 포함할 수 있다.

상기 재실 정보 추론부(131)는 발생된 각각의 이벤트에 대해 학습의 결과물인 재실 모델을 이용하여 댁내 사람의 유무를 확률적으로 실시간 판단하는 확률적 재실 정보에 해당되는 재실 추론 확률을 생성한다. 생성된 재실 추론 확률의 예를 들면, “예시 1 : 출근 확률이 60%이고, 잠시 외출했을 확률은 40%이다.” 등과 같이 다양한 재실 상황에 대한 가능성의 확률값이다. 즉, 재실 추론 확률은 재실 모델로부터 상황별 이벤트에 일치하는 재실 확률의 값이 조회되지 않으면 유사한 값으로 계산되는 추론적 확률값이다.

상기 대화 추론부(132)는 생성된 재실 추론 확률을 기반으로 사용자에게 안내할 제어 명령어와 신뢰도에 기반하는 시스템 행위에 해당되는 안내 형태를 생성한다. 상기 예시 1에서 가능한 제어 명령어로서는 예를 들면, “명령 1) 60%의 확률을 가진 출근 상황으로 보고 보안 모드로 전환하고, 에어컨을 절전 모드로 변경한다. 명령 2) 40%의 확률을 가진 잠시 외출한 상황으로 보고 창문이 열려 있는지 정도만 체크한다.” 이 두 가지가 가능하다.

상기 신뢰도 계산부(133)는 대화 추론부(132)에 의해 생성된 복수개의 제어 명령어에 대해 각각의 신뢰도를 계산한다. 신뢰도 계산부(133)는 재실 추론 확률과 시스템(1)이 수행할 제어 명령어의 여러 조합들에 대해 신뢰도를 기 학습된 신뢰도 모델(후술됨)을 참조하여 계산한다. 즉, 신뢰도는 신뢰도 모델로부터 상황별 제어 명령어에 일치하는 값이 조회되지 않으면 유사한 값으로 계산되는 추론적 확률값이다.

여기서, 상기 예시 1의 명령 1) 및 명령 2)의 경우, 신뢰도 계산부(133)는 명령 1) 및 명령 2)의 두 가지 제어에 대해 각각의 신뢰도를 기 학습된 신뢰도 모델을 참고하여 계산한다. 신뢰도 계산 결과 명령 1)의 상황에 대해서는 신뢰도 80%가 계산되었고, 명령 2)의 상황에 대해서는 50%가 계산되었다. 신뢰도의 비교에 의해 최종적으로 명령 1)의 신뢰도 80%의 결과가 선택된다. 대화 추론부(132)는 명령 1)의 신뢰도 결과와 함께, 안내 형태에 따른 시스템 행위로서 “사용자에게 물어보고 확인을 받아서 제어하는 [확인] 방식”을 선택하고, 안내 제공부(134)로 선택된 정보를 출력한다.

상기 안내 제공부(134)는 생성된 제어 명령어를 안내 형태에 따른 사용자 인터페이스를 수행하여 홈 IoT 단말(2)을 제어할 제어 명령어를 결정한다. 즉, 안내 제공부(134)는 제어 명령어와 안내 형태에 기반하여 사용자에게 대화형 협력 방식을 주고받아, 최종 제어 여부를 결정한다. 만일, [무통보]의 안내 형태라 가정하면 제어 명령어를 사용자 단말(3)로 전송하는 처리는 생략된다.

여기서, 안내 제공부(134)가 상기 예시 1의 명령 1에 대해 안내 대화를 추론한 [확인] 방식의 결과에 따라 사용자 단말(3)로 “출근하신 것 같은 데, 에어컨을 절전 모드로 전환하고, 집안을 보안 모드로 바꿀까요”라고 안내 메시지를 보내 “OK” 와 같은 사용자의 긍정적인 응답이 오면 해당 제어를 하고, “나 아직 출근 안했어.”, “좀 기다려”, “아니” 등과 같은 부정적인 응답이 오면 해당 제어를 취소한다.

나아가, 안내 제공부(134)는 결정된 제어 명령을 홈 IoT 단말(2)로 전송하여 제어하는 것이 가능하다. 또는 홈 자동화 시스템의 요청을 받고, 안내 제공부(134)가 결정된 제어 명령을 전송하는 것이 가능하다.

ㄹ. 상기 신뢰도 학습부(14)는 안내 제공부(134)가 사용자와의 대화 협력을 통해 수신한 사용자의 feedback에 해당되는 응답으로 신뢰도 모델을 강화 학습한다. 신뢰도 모델은 제어 명령어별 신뢰도의 데이터 구조이다.

신뢰도 학습부(14)는 신뢰도 강화부(141) 및 신뢰도 모델 저장부(142)를 더 포함할 수 있다.

상기 신뢰도 강화부(141)는 안내 제공부(134)를 통해 사용자와 주고 받은 대화 내용은 강화 학습의 입력으로 사용된다. 대화 내용의 결과로 응답받은 사용자의 제어가 긍정적인 feedback을 받은 경우는 해당 제어 명령의 신뢰도를 향상시키게 되고, 반대의 경우는 하락시키게 된다. 상기한 명령 1)의 예에서, “1) 60%의 확률을 가진 출근 상황으로 보고 보안 모드로 전환하고, 에어컨을 절전 모드로 변경한다.”라는 [상황-제어]를 사용자에게 안내하였으나, 사용자가 “아니”와 같은 부정적인 feedback을 하였다면, 이러한 [상황-제어]의 신뢰도는 기존에 학습되었던 신뢰도 80%에서 일정 부분 하락한 75%가 된다. 이 상승/하락 폭은 사용자 feedback의 응답과 기존 학습된 신뢰도 등에 기인하여 결정된다. 이러한 신뢰도의 강화 학습은 사용자가 대화형 홈 IoT 제어 시스템(1)이 적절한 판단을 한 경우의 신뢰도를 높이고, 부적절한 판단을 한 경우의 신뢰도를 낮추어서 결과적으로는 사용자가 feedback을 많이 하면 할수록 사용자의 마음에 맞는 판단을 할 수 있도록 학습시키는 중요한 효과가 있다.

도 3은 본 발명의 일 실시예에 따른 홈 IoT 제어 방법의 개략적 순서도이다.

홈 IoT 단말 제어 시스템(1)은 홈 IoT 단말(2)의 제어 정보 및 사용자 단말(2)의 위치 정보와 관련되는 이벤트 정보를 수집하여 DB에 저장한다(S11).

여기서, 홈 IoT 단말 제어 시스템(1)은 지오 펜스 정보, 도어락 입출 정보, 와이파이 접속 정보, 사용자 입력 정보 및 복합 제어 사용 정보 중에서 적어도 하나 이상의 정보를 이벤트 정보로서 수집한다. 이벤트 정보가 수집되면, 홈 IoT 단말 제어 시스템(11)은 이벤트의 누적된 로그 정보를 재실 모델을 학습하는데 처리하고, 실시간 발생된 이벤트 정보에 대응하여 홈 IoT 단말(2)을 제어할 제어 명령을 결정하는데 사용한다.

이벤트의 누적된 로그 정보가 생성되면, 홈 IoT 단말 제어 시스템(1)은 개별 이벤트에 대응하여 홈의 개별 구성원에 대해 입출(예 : 출퇴근) 예상 시간을 예측한다(S21).

여기서, Geo-fence 정보, Wifi 접속 정보, 도어락의 입출 정보, 외출/귀가 모드의 설정 시간 등은 각 가구원의 댁내 재실 여부를 증명하는 자료이다.

입출 예상 시간이 예측되면, 홈 IoT 제어 시스템(1)은 개별 이벤트 및 예측된 사용자 입출 시간을 이용하여 사용자의 재실 여부의 확률을 계산하여 재실 모델을 학습한다(S22).

여기서, 상기 학습에 의해 재실 모델에 포함된 댁내 사람의 유무를 확률 값으로 나타내는 재실 확률은 실제 재실 여부를 맞출 수 있다. 재실 모델의 정보는 DB에 저장되며, 사용자별 이벤트 정보와 재실 확률을 포함한다.

재실 모델의 학습이 지속되는 과정에서 상기 단계(S11)에서 실시간으로 발생된 이벤트가 수집되면, 홈 IoT 제어 시스템(1)은 학습된 재실 모델을 참조하여 재실 추론 확률을 생성한다(S31).

여기서, 상기 추론에 의해 DB로부터 일치하는 사용자별 이벤트의 재실 확률이 재실 추론 확률로 결정하거나 또는 유사한 이벤트의 재실 확률로부터 재실 추론 확률이 계산된다.

재실 추론 확률이 생성되면, 홈 IoT 제어 시스템(1)은 실시간 발생된 이벤트에 대응하여 홈 IoT 단말(2)을 제어하는 적어도 하나 이상의 제어 명령어를 추론한다(S32). 예를 들면, 재실 추론에 의한 제어 명령어 및 외출 추론에 의한 제어 명령어가 추론될 수 있다.

여기서, 상기 추론에 의해 DB로부터 일치하는 사용자별 이벤트의 제어 정보를 제어 명령어로 결정하거나 또는 유사한 이벤트의 제어 정보로부터 제어 명령어를 추론한다.

제어 명령어가 후보로서 추론되면, 홈 IoT 제어 시스템(1)은 개별 제어 명령어의 신뢰도를 계산한다(S33).

여기서, 상기 계산에 의해 DB로부터 이벤트 정보 및 제어 정보의 신뢰도를 를 제어 명령어의 신뢰도로 결정하거나 또는 이벤트 정보 및 제어 정보가 유사한 정보의 신뢰도를 계산한다.

신뢰도가 계산되면, 홈 IoT 제어 시스템(1)은 신뢰도가 가장 높은 제어 명령어를 홈 IoT 단말(2)의 제어 명령어로 결정하고, 결정된 제어 명령어의 안내 형태를 결정한다(S34).

여기서, 상기 안내 형태는 사용자의 협력을 구하는 사용자 인터페이스로서 [무통보], [통보], [확인], [선택 요청] 등을 포함한다. 신뢰도에 따라 안내 형태가 선택될 수 있음은 물론이다.

안내 형태가 결정되면, 홈 IoT 제어 시스템(1)은 안내 형태에 따른 사용자 인터페이스로 사용자 단말(3)로 안내 메시지를 전송한다(S35).

여기서, [무통보]의 경우, 안내 메시지의 전송은 생략된다. [확인] 및 [선택 요청]은 홈 IoT 제어 시스템(1)이 사용자의 확인 및 선택의 응답을 수신하는 대화형의 안내 메시지이다. [확인]의 경우, 사용자가 안내받은 제어 명령어를 거부하면 홈 IoT 단말(2)의 자동 제어는 발생되지 않는다. [선택 요청]의 경우, 사용자가 선택한 제어 명령어가 홈 IoT 단말(2)을 자동으로 제어할 제어 명령어로 결정된다.

사용자 안내 및 응답이 처리된 후, 홈 IoT 제어 시스템(1)은 사용자 안내를 통해 수신한 거부 응답 및 선택 응답에 대해 신뢰도 모델을 강화 학습한다(S41).

이상으로, 상기 예측, 학습, 추론 등의 지속적인 프로세싱을 통해 홈 IoT 제어 서비스는 지능형 서비스로 진화하고 사용자의 만족도는 높아진다.

상술한 실시예에서, "~부"라는 용어는 홈 IoT 제어 시스템(1)의 하드웨어적 구분을 의미하는 용어로 사용된 것이 아니다. 따라서 복수의 구성부가 하나의 구성부로 통합될 수도 있고, 하나의 구성부가 복수의 구성부로 분할될 수도 있다. 또한, 구성부는 하드웨어의 구성부를 의미할 수도 있지만, 소프트웨어의 구성부를 의미할 수도 있다. 따라서 본 발명은 "~부"라는 용어에 의해 특별히 한정되지 않음을 이해하여야 할 것이다.

본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 이것에 의해 한정되지 않으며 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 본 발명의 기술사상과 아래에 기재될 특허청구범위의 균등범위 내에서 다양한 수정 및 변형이 가능함은 물론이다.

1, 홈 IoT 제어 시스템 2 : 홈 IoT 단말
3 : 사용자 단말 11 : 입력부
12 : 재실 모델 학습부 13 : 홈 IoT 제어부
14 : 신뢰도 학습부

Claims (19)

1. 홈 내에서 사용자 단말의 위치 이동 및 홈 IoT(Internet of Thing) 단말의 사용의 이벤트가 발생하면, 발생된 이벤트에 대응하는 사용자의 재실 여부를 추론한 재실 추론 확률을 생성하는 재실 정보 추론부;
   생성된 재실 추론 확률에 대응하는 홈 IoT 단말의 제어 명령어를 생성하고, 생성된 제어 명령어의 사용자 안내 인터페이스에 해당하는 안내 형태를 추론하는 대화 추론부; 및
   생성된 제어 명령어를 상기 안내 형태에 따라 사용자 단말을 상대로 사용자 안내를 수행하고, 상기 홈 IoT 단말로 전송되는 제어 명령어를 결정하는 안내 제공부
   를 포함하는 홈 IoT 제어부를 포함하는 것을 특징으로 하는 홈 IoT 제어 시스템.
2. 제 1항에 있어서,
   상기 안내 형태는,
   상기 제어 명령어에 대해 사용자 안내 및 사용자 응답이 수반되는 상기 사용자 안내 인터페이스로서 무통보, 통보, 확인 및 선택 요청 중에서 어느 하나에 해당되고,
   상기 안내 제공부는 확인 및 선택 요청의 안내 형태일 경우, 상기 사용자 단말의 응답을 수신하여 상기 응답에 따른 제어 명령어를 상기 홈 IoT 단말을 제어할 제어 명령어로 결정하는 것을 특징으로 하는 홈 IoT 제어 시스템.
3. 제 1항에 있어서,
   상기 대화 추론부에 의해 생성된 복수개의 제어 명령어에 대해 각각의 신뢰도를 계산하는 신뢰도 계산부를 더 포함하고,
   상기 대화 추론부는 계산된 신뢰도를 이용하여 제어 명령어를 선택하고, 선택된 제어 명령어의 상기 안내 형태를 추론하는 것을 특징으로 하는 홈 IoT 제어 시스템.
4. 제 1항 내지 3항 중 어느 한 항에 있어서,
   상기 홈 Iot 제어부로 재실 모델을 제공하는 재실 모델 학습부를 더 포함하고,
   상기 재실 모델 학습부는,
   상기 이벤트의 이력 정보를 이용하여 사용자별 입출 시간을 예측하는 사용자 입출 시간 예측부; 및
   상기 로그 정보 및 예측된 사용자 입출 시간을 이용하여 사용자의 재실 여부의 확률을 학습하여 상기 재실 모델을 생성하는 재실 모델 생성부
   를 포함하는 것을 특징으로 하는 홈 IoT 제어 시스템.
5. 제 4항에 있어서,
   상기 재실 정보 추론부는,
   상기 재실 모델로부터 상기 이벤트에 대응하는 재실 확률을 조회하여 상기 재실 추론 확률을 생성하는 것을 특징으로 하는 홈 IoT 제어 시스템.
6. 제 4항에 있어서,
   상기 재실 모델 학습부로 상기 이벤트의 이력 정보를 제공하고, 상기 홈 IoT 제어부로 실시간 발생된 이벤트를 제공하는 입력부를 더 포함하고,
   상기 입력부는,
   상기 사용자 단말의 GPS 및 기지국의 정보를 이용하여 홈 영역의 지오 펜스(Geo Fencing) 내에서 발생되는 위치 이벤트의 정보를 수집하는 지오 펜스 정보 수집부;
   도어락을 통한 사용자의 입출 이벤트의 정보를 수집하는 도어락 입출 정보 수집부;
   상기 사용자 단말 및 홈 IoT 단말이 홈 내에 설치된 AP(Access Point) 장치로 와이파이 접속하는 이벤트의 정보를 수집하는 와이파이 접속 정보 수집부;
   홈내에 있는 IoT 단말에서 발생되는 사용자의 입력 이벤트의 정보를 수집하는 사용자 입력 정보 수집부; 및
   복수의 IoT 단말을 제어하는 사용자의 모드 설정에 의해 발생되는 복합 제어의 사용 이벤트의 정보를 수집하는 복합 제어 사용 정보 수집부
   중에서 적어도 하나 이상을 포함하는 것을 특징으로 하는 홈 IoT 제어 시스템.
7. 제 6항에 있어서,
   상기 안내 제공부가 상기 사용자 단말로 전송한 사용자 명령에 대해 사용자의 응답을 수신하면,
   상기 사용자 입력 정보 수집부가 상기 응답의 입력 이벤트를 실시간 수집하고,
   상기 재실 정보 추론기가 사용자 입력 정보 수집부로부터 상기 입력 이벤트를 입력받아 사용자의 재실 확률을 추론하는 것을 특징으로 하는 홈 IoT 제어 시스템.
8. 제 3항에 있어서,
   상기 홈 IoT 제어부가 상기 제어 명령어의 상기 신뢰도를 학습하는 신뢰도 학습부를 더 포함하고,
   상기 신뢰도 학습부는,
   사용자 단말이 전송받은 안내 형태의 제어 명령어에 대해 응답한 정보를 상기 안내 제공부로부터 전달받고, 응답이 긍정적이면 신뢰도를 증가하고, 응답이 부정적이면 신뢰도를 감소시키는 상기 제어 명령어의 신뢰도 강화 학습을 수행하여 신뢰도 모듈을 생성하는 신뢰도 강화부; 및
   상기 강화 학습에 의해 생성되는 이벤트 정보, 재실 추론 확률, 제어 명령어 및 신뢰도의 정보를 포함하는 신뢰도 모델을 저장하는 신뢰도 모델 저장부
   를 포함하는 것을 특징으로 하는 홈 IoT 제어 시스템.
9. 제 8항에 있어서,
   상기 신뢰도 계산부는,
   상기 신뢰도 모델로부터 신뢰도를 조회하는 것에 의해 상기 제어 명령어에 대응하는 신뢰도를 계산하는 것을 특징으로 하는 홈 IoT 제어 시스템.
10. 상기 이벤트의 이력 정보를 이용하여 사용자별 입출 시간에 따른 사용자의 재실 상황을 학습하여 재실 확률의 정보를 재실 모델을 학습하는 재실 모델 학습부;
    상기 이벤트가 발생하면, 발생된 이벤트에 대응하는 재실 확률을 상기 재실 모델로부터 참조하여 사용자의 재실 추론 확률을 생성하고, 생성된 재실 추론 확률에 대응하는 홈 IoT 단말의 제어 명령어를 신뢰도를 기반으로 생성하고, 생성된 제어 명령어를 안내 형태에 따라 상기 사용자 단말을 상대로 사용자 안내를 수행하여 상기 홈 IoT 단말을 제어할 제어 명령어를 결정하는 홈 IoT 제어부; 및
    상기 사용자 단말이 상기 제어 명령어에 대해 응답한 정보를 전달받고, 응답이 긍정적이면 상기 신뢰도를 증가하고, 응답이 부정적이면 상기 신뢰도를 감소시켜 신뢰도 모델을 학습하는 신뢰도 학습부
    를 포함하는 것을 특징으로 하는 홈 IoT 제어 시스템.
11. 홈 Iot 제어 시스템이 제어 명령어를 사용자 단말로 안내하여 홈 IoT 단말을 제어하는 홈 IoT 제어 방법에 있어서,
    (c1)홈 내에서 사용자 단말의 위치 이동 및 홈 IoT 단말의 사용의 이벤트가 발생하면, 발생된 이벤트에 대응하는 사용자의 재실 여부를 추론한 재실 추론 확률을 생성하는 재실 정보 추론 단계;
    (c2)생성된 재실 추론 확률에 대응하는 홈 IoT 단말의 제어 명령어를 생성하고, 생성된 제어 명령어의 사용자 안내 인터페이스에 해당하는 안내 형태를 추론하는 대화 추론 단계; 및
    (c3)생성된 제어 명령어를 상기 안내 형태에 따라 사용자 단말을 상대로 사용자 안내를 수행하고, 상기 홈 IoT 단말로 전송되는 제어 명령어를 결정하는 안내 제공 단계
    를 포함하는 홈 IoT 제어 단계를 포함하는 것을 특징으로 하는 홈 IoT 제어 방법.
12. 제 11항에 있어서,
    상기 안내 형태는,
    상기 제어 명령어에 대해 사용자 안내 및 사용자 응답이 수반되는 상기 사용자 안내 인터페이스로서 무통보, 통보, 확인 및 선택 요청 중에서 어느 하나에 해당되고,
    상기 단계(c3)는 확인 및 선택 요청의 안내 형태일 경우, 상기 사용자 단말의 응답을 수신하여 상기 응답에 따른 제어 명령어를 상기 홈 IoT 단말을 제어할 제어 명령어로 결정하는 단계인 것을 특징으로 하는 홈 IoT 제어 방법.
13. 제 11항에 있어서,
    상기 단계(c2)는,
    복수개 생성된 상기 제어 명령어에 대해 각각의 신뢰도를 계산하는 신뢰도 계산 단계를 더 포함하고,
    계산된 신뢰도를 이용하여 제어 명령어를 선택하고, 선택된 제어 명령어의 상기 안내 형태를 추론하는 단계인 것을 특징으로 하는 홈 IoT 제어 방법.
14. 제 11항 내지 13항 중 어느 한 항에 있어서,
    상기 단계(c1) 이전에 실행되는 재실 모델 학습 단계를 더 포함하고,
    상기 재실 모델 학습 단계는,
    (b1)상기 이벤트의 이력 정보를 이용하여 사용자별 입출 시간을 예측하는 사용자 입출 시간 예측 단계; 및
    (b2)상기 로그 정보 및 예측된 사용자 입출 시간을 이용하여 사용자의 재실 여부의 확률을 학습하여 상기 재실 모델을 생성하는 재실 모델 생성 단계
    를 포함하는 것을 특징으로 하는 홈 IoT 제어 방법.
15. 제 14항에 있어서,
    상기 단계(c1)는,
    상기 재실 모델로부터 상기 이벤트에 대응하는 재실 확률을 조회하여 상기 재실 추론 확률을 생성하는 단계인 것을 특징으로 하는 홈 IoT 제어 방법.
16. 제 14항에 있어서,
    상기 단계(b1)로 상기 이벤트의 이력 정보를 제공하고, 상기 단계(c1)로 실시간 발생된 이벤트를 제공하는 입력 단계를 더 포함하고,
    상기 입력 단계는,
    (a1)상기 사용자 단말의 GPS 및 기지국의 정보를 이용하여 홈 영역의 지오 펜스(Geo Fencing) 내에서 발생되는 위치 이벤트의 정보를 수집하는 지오 펜스 정보 수집 단계;
    (a2)도어락을 통한 사용자의 입출 이벤트의 정보를 수집하는 도어락 입출 정보 수집 단계;
    (a3)상기 사용자 단말 및 홈 IoT 단말이 홈 내에 설치된 AP 장치로 와이파이 접속하는 이벤트의 정보를 수집하는 와이파이 접속 정보 수집 단계;
    (a4)홈내에 있는 IoT 단말에서 발생되는 사용자의 입력 이벤트의 정보를 수집하는 사용자 입력 정보 수집 단계; 및
    (a5)복수의 IoT 단말을 제어하는 사용자의 모드 설정에 의해 발생되는 복합 제어의 사용 이벤트의 정보를 수집하는 복합 제어 사용 정보 수집 단계
    중에서 적어도 하나 이상을 포함하는 것을 특징으로 하는 홈 IoT 제어 방법.
17. 제 16항에 있어서,
    상기 단계(c3)에서 상기 사용자 단말로 전송한 사용자 명령에 대해 사용자의 응답을 수신하면,
    상기 단계(a4)에서 상기 응답의 실시간 입력 이벤트를 수집하고,
    상기 단계(c1)에서 수집된 상기 입력 이벤트를 입력받아 사용자의 재실 확률을 추론하는 것을 특징으로 하는 홈 IoT 제어 방법.
18. 제 13항에 있어서,
    상기 단계(c3)는,
    제어 명령어의 상기 신뢰도를 학습하는 신뢰도 학습 단계를 더 포함하고,
    상기 신뢰도 학습 단계는,
    (d1)사용자 단말이 전송받은 상기 안내 형태의 제어 명령어에 대해 응답한 정보를 전송받고, 응답이 긍정적이면 신뢰도를 증가하고, 응답이 부정적이면 신뢰도를 감소시키는 상기 제어 명령어의 신뢰도 강화 학습을 수행하여 신뢰도 모듈을 생성하는 신뢰도 강화 단계; 및
    (d2)상기 강화 학습에 의해 생성되는 이벤트 정보, 재실 추론 확률, 제어 명령어 및 신뢰도의 정보를 포함하는 신뢰도 모델을 저장하는 신뢰도 모델 저장 단계
    를 포함하는 것을 특징으로 하는 홈 IoT 제어 방법.
19. 제 18항에 있어서,
    상기 신뢰도 계산 단계는,
    상기 신뢰도 모델로부터 신뢰도를 조회하는 것에 의해 상기 제어 명령어에 대응하는 신뢰도를 계산하는 단계인 것을 특징으로 하는 홈 IoT 제어 방법.

Images