KR20190143563A

KR20190143563A - 이미지 가상키보드와 SNS를 이용한 IoT 디바이스 제어 시스템 및 방법

Info

Publication number: KR20190143563A
Application number: KR1020180071127A
Authority: KR
Inventors: 이명호
Original assignee: 주식회사 프로젝트사공구
Priority date: 2018-06-21
Filing date: 2018-06-21
Publication date: 2019-12-31

Abstract

모바일 디바이스가 이미지 가상키보드를 이용하여 IoT(Internet of Things) 디바이스를 제어하는 방법이 개시된다. IoT 디바이스 제어 방법은, 모바일 디바이스의 사용자와 상대방 사용자가 대화하기 위한 대화창을 디스플레이하는 단계와; 대화창에 입력되는 대화 내용을 분석하고 분석 결과에 따라 제어가 필요한 하나 이상의 IoT 디바이스를 선정하는 단계와; 선정된 하나 이상의 IoT 디바이스에 대응하는 아이콘 리스트를 포함하는 가상키보드를 디스플레이하는 단계와; 사용자가 가상키보드에서 원하는 아이콘을 선택하면 그에 대응하는 IoT 디바이스를 제어하기 위한 리모콘 이미지를 디스플레이하는 단계를 포함할 수 있다.

Description

이미지 가상키보드와 SNS를 이용한 IoT 디바이스 제어 시스템 및 방법{IoT device control system and method using Image virtual keyboard and SNS}

본 발명은 IoT(Internet of Things) 디바이스의 제어에 대한 것으로, 더 구체적으로는 SNS(Social Network Service)와 이미지를 이용한 가상키보드로 IoT 디바이스를 제어하기 위한 방법 및 이미지 가상키보드 시스템에 대한 것이다.

IoT(Internet of Things)는 사물 인터넷 또는 Internet of Objects라고도 불리우며, 통신 가능한 모든 사물들을 네트워크에 연결하여 상호 통신 수행이 가능한 개념을 의미한다. 시스템적으로 인지할 수 있는 모든 개체는 Things 또는 Objects로 분류되며, 여기에는 근거리 및 원거리 통신 기능을 탑재하고 센서 등 데이터 생산 및 이용이 가능한 사물 또는 사람이 포함될 수 있다.

IoT 환경에서 각 IoT 디바이스들을 동작시키거나 모니터링하기 위해서 전용 애플리케이션을 사용하거나 웹을 통한 접근 등 다양한 방법이 사용되고 있다.

특히 SNS 서비스의 하나인 인스턴트 메신저 서비스를 통해 IoT 디바이스를 제어하는 방법에 대한 연구가 활발히 진행되고 있는데, IoT 디바이스에 SNS 계정을 부여하여 상태 정보를 SNS 메시지의 형태로 주고 받는 방법에 의하면 사용자가 일일이 IoT 디바이스를 찾아내고 제어 메시지를 입력해야 하므로 번거롭고 사용이 어렵다는 문제가 있다.

또한, IoT 제품이 일상화되거나 다양하지 못한 현재의 상황에는 사용자가 제어해야 하는 IoT 디바이스가 몇 개 되지 않기 때문에 필요한 디바이스를 선택하거나 각 디바이스마다의 작동 방법, 조작 등에 큰 불편을 느끼지 못한다.

하지만, 빠른 속도로 IoT 관련 기술이 발달하고, 주변의 가전제품, 생활 편의제품, 전자기기들이 IoT화 되어가고, 특히 가까운 시간 안에 최대 200억 개의 IoT 제품이 생산·소비될 것이라는 시장 조사기관의 예측으로 미루어 보면, 개개인의 사용자가 제어해야 하는 디바이스의 종류와 숫자가 폭발적으로 증가함에 따라 이를 하나하나 선택하여 적절히 제어하기도 힘들뿐더러, 휴대 단말용 어플리케이션(Application, 이하 앱; App)을 각기 제품별로 제공한다 해도 그때마다 사용 방법을 익혀야 하는 불편함이 따른다.

또한, 현재 내가 사용하는 주변의 기기들 외에도, 심지어는 여행가방, 골프공처럼 컨트롤이 전혀 필요없던 제품들도 속속 IoT 기능을 탑재하고 새로 태어나기 때문에 그 종류와 수는 파악할 수조차 없다.

이처럼 IoT 제품을 컨트롤하는 앱을 사용하더라도 기기 별 앱의 종류와 개수가 지속적으로 늘어나는 문제점을 갖고 있으며, 제어 종류와 방법, 제어 시기 등을 속속들이 기억하고 적기에 제어할 수도 없게 된다.

이를 극복하기 위해 IoT 제품을 컨트롤하기 위한 플랫폼을 개발·출시하고는 있지만, 한 업체로의 단일화나 표준 규약이 제정되지 않는 한 제조사별 호환성의 문제가 발생하게 되며 이는 사용자의 불편으로 이어질 것이다. 즉, 전자제품, 기기의 유통 특성상 압도적으로 뛰어난 하나의 제품이 관련 시장을 독점적으로 장악할 수가 없을뿐더러, 인간이 사용하는 모든 종류의 제품들 시장을 장악하기는 더더욱 불가능하기 때문이다.

하지만, SNS 앱은 (특정 앱이 없으면 소통이 불가능할 정도로) 시장점유율이 압도적이며, 우리나라의 예만 봐도 SNS 특정 앱 하나가 단말기 소유 전국민의 거의 100% 사용자 수를 확보하고 있는 실정이다. 또한, SNS 사용자들은 이미 사용 방법, 친구 등록 방법, 자료 공유 방법 등을 충분히 숙지하고 있기 때문에 이를 활용하면 IoT 제품을 컨트롤하기 위한 플랫폼의 기능을 완벽하고도 쉽게 수행할 수가 있게 된다.

하지만, 아직까지 각각의 대형 전자제품제조회사를 중심으로 플랫폼 개발에만 몰두하고 있으며, SNS을 활용하거나, 이를 기반으로 한 IoT 제품의 컨트롤이나 공유 방법 등은 개시되지 않고 있으며, 이에 대한 연구도 충분하지 않은 실정이다.

또한, 이렇듯 생활저변으로 IoT 기술들이 확대·사용됨으로 해서 IoT 제품이 개인공간이나 주거공간에서의 '개인적인 사용' 개념을 뛰어넘어 여러 사람이나 특정 조직 간에 공유하며 사용하는 '공유 사용 개념'으로 확장될 수가 있으나, 현재의 방법으로는, 지금 필요한 IoT 디바이스를 바로 찾거나, 지금부터 특정 시간까지 순차적으로 써야 할 필요한 디바이스들을 선택하거나, 작동 시간대별로 찾아 쉽게 제어하기가 힘들고, 이로 인해 내게 필요한 IoT 디바이스를 공유해 사용하기가 불가능한 것이다.

특히 IoT 디바이스용 앱을 각각 별도로 설치하여 가족 등 여러 명이 함께 공동으로 사용할 수는 있으나, 내가 선택한 특정인이나 공유를 요구하는 특정인에게 특정 기기를, 특정 기능만, 특정 기간에만 공유하며 사용하도록 하거나 아무 때든지 박탈할 수가 없으며, 이러한 공유의 기본 조건들을 만족하며 가족이나 친구 혹은 특정 조직 내의 여러 사람과 쉽고 간편하게 공유하기가 어려운 문제가 있다.

또한, 이로 인해 발생·축적되는 유용한 정보도 실제 사용자이며 정보 발생자인 사용자와 상대방 사용자 각각이 서로 공유해 활용할 수 있으나 현재에는 제조사가 독점적, 일방적으로 획득·사용하는 문제가 발생하고 있다.

대한민국공개특허공보 제10-2015-0028175호(공개일 2015.03.13.), “제어 장치”

본 발명은 상기와 같은 종래 기술의 문제점을 해소하기 위한 것으로, 사용자들이 익숙하게 사용하는 인스턴트 메신저 서비스를 이용하되, 사용자가 직접 IoT 디바이스를 선택하고 타이핑이나 음성 입력으로 제어 문안을 입력하는 대신 대화 문맥이나 특정 단어에 따라 제어가 필요한 IoT 디바이스를 자동으로 추천해 주고 설정해줌으로써 쉽게 IoT 디바이스를 제어할 수 있는 방법을 제공하기 위한 것이다.

또한, 본 발명은 문자 입력용 가상키보드를 상황에 따라 IoT 디바이스 콘트롤러 이미지로 변경하여 제공함으로써 그래픽 인터페이스를 통해 쉽게 IoT 디바이스를 제어하고, 문자로는 입력하기 어려운 단위나 지점 등을 편하고 정확하게 제어할 수 있는 방법을 제공하기 위한 것이다.

또한 본 발명은 소통과 대화, 공유 방법에 이미 익숙한 인스턴트 메신저 서비스를 이용해 특정 IoT 디바이스를 특정 상대방에게 일정기간 공유하도록 하거나, 가족, 회사원 등 여러 사용자가 특정 IoT 디바이스를 일정기간 공유하며 사용할 수 있도록 하는 IoT 디바이스 제어 방법을 제공하기 위한 것이다.

또한, 본 발명은 SNS의 특성과 같이 특정 IoT 디바이스를 특정 상대방이나 특정 그룹 간에 공유하면서 얻게 되는 IoT 제품의 정보 및 작동 문제, 특이점, 진행 상황 등을 실시간 제공하고 공유함으로써 IoT 기기 제어와 사용의 효율성을 극대화할 수 있는 IoT 디바이스 제어 방법을 제공하기 위한 것이다.

상기와 같은 목적을 달성하기 위하여, 본 발명의 일 실시예에 따라 모바일 디바이스가 이미지 가상키보드와 SNS를 이용하여 IoT 디바이스를 제어하는 방법은, 상기 모바일 디바이스의 사용자와 상대방 사용자가 대화하기 위한 대화창을 디스플레이하는 단계와; 상기 대화창에 입력되는 대화 내용을 분석하고 분석 결과에 따라 제어가 필요한 하나 이상의 IoT 디바이스를 선정하는 단계와; 상기 선정된 하나 이상의 IoT 디바이스에 대응하는 아이콘 리스트를 포함하는 가상키보드를 디스플레이하는 단계와; 상기 가상 키보드에서 아이콘이 선택되는 것에 대응하여 IoT 디바이스를 제어하기 위한 리모콘(Remocon; Remote controller) 이미지를 디스플레이하는 단계를 포함할 수 있다.

상기 IoT 디바이스 제어 방법은, 상기 리모콘 이미지를 통한 사용자의 입력에 따라 해당 IoT 디바이스의 제어를 수행하는 단계와; 상기 수행된 IoT 디바이스의 제어에 대한 정보를 상기 대화창의 대화로 입력하는 단계를 더 포함할 수 있다.

상기 IoT 디바이스 제어 방법은, 상기 선택된 아이콘에 대응하는 IoT 디바이스의 “제어 권한을 상기 상대방 사용자에게 부여하라”는 의미가 포함된 제어 문구가 상기 대화창의 대화로 입력되면, 상기 IoT 디바이스에 대한 제어 메시지가 상기 대화창을 통해 상기 상대방 사용자로부터 수신되기를 대기하는 단계와; 상기 상대방 사용자로부터 수신된 제어 메시지에 따라 상기 IoT 디바이스의 제어를 수행하는 단계를 더 포함할 수 있다.

상기 제어 권한을 부여하는 제어 문구는 해당 IoT 디바이스에 대한 제어 가능 범위 및 제어 가능 시간 중 적어도 하나에 대한 정보를 포함할 수 있다.

상기 리모콘 이미지를 디스플레이하는 단계는, 해당 IoT 디바이스로부터 현재 상태에 대한 정보를 수신하는 단계와; 상기 수신된 상태 정보와 해당 IoT 디바이스의 제어를 위한 그래픽 인터페이스를 포함하는 리모콘 이미지를 생성하는 단계와; 상기 리모콘 이미지를 상기 가상키보드에 디스플레이하는 단계를 포함할 수 있다.

상기 상대방 사용자는 IoT 디바이스의 제어를 위해 등록된 가상의 채팅 친구일 수 있다.

상기 IoT 디바이스 제어 방법은, 상기 가상의 채팅 친구와의 대화를 위한 대화창을 열 때 상기 모바일 디바이스를 통해 제어 가능한 IoT 디바이스들을 검색하는 단계와; 상기 검색된 IoT 디바이스들에 대응하는 아이콘 리스트를 포함하는 가상키보드를 디스플레이하는 단계를 더 포함할 수 있다.

본 발명의 다른 실시예에 따라 모바일 디바이스가 이미지 가상키보드와 SNS를 이용하여 IoT 디바이스를 제어하는 방법은, 상기 모바일 디바이스의 사용자가 상대방 사용자와 대화하기 위한 대화창을 디스플레이하는 단계와; 소정의 IoT 디바이스의 “제어 권한을 부여한다”는 의미가 포함된 제어 문구를 상기 대화창을 통해 상기 상대방 사용자로부터 수신하는 단계와; 상기 제어 문구가 수신되면, 상기 IoT 디바이스를 제어하기 위한 리모콘 이미지를 포함하는 이미지 가상키보드를 디스플레이하는 단계와; 상기 리모콘 이미지를 통한 상기 사용자의 입력에 따라 상기 IoT 디바이스에 대한 제어 메시지를 생성하는 단계와; 상기 생성된 IoT 디바이스 제어 메시지를 상기 대화창을 통해 상기 상대방 사용자에게 전송하거나, 상기 IoT 디바이스의 제어를 수행하는 단계를 포함할 수 있다.

상기 제어 권한을 부여하는 제어 문구는 상기 IoT 디바이스에 대한 제어 가능 범위에 대한 정보를 포함하고, 상기 리모콘 이미지는 상기 제어 가능 범위를 반영하여 생성될 수 있다.

상기 제어 권한을 부여하는 제어 문구는 상기 IoT 디바이스에 대한 제어 가능 시간 및 제어 가능 기능에 대한 정보를 포함하고, 상기 리모콘 이미지는 상기 제어 가능 시간이 경과되거나 제어 가능 범위 외에는 비활성화될 수 있다.

본 발명에 의하면, 대화창에서의 대화 문맥이나 의미, 특정 단어에 따라 제어가 필요한 IoT 디바이스가 자동으로 추천되므로 대화를 하면서 IoT 디바이스에 대한 제어를 수행하거나, 대화창에 입력한 특정 단어나 명령어를 분석하여 상황에 따라 제어가 필요한 IoT 디바이스들을 선택, 그룹핑하여 주므로 편리하게 이용할 수 있다.

또한, 본 발명에 의하면 대화창에 연결된 가상키보드의 그래픽 인터페이스를 통해 IoT 디바이스를 선택하고 제어 명령을 내릴 수 있기 때문에 직관적인 방법으로 IoT 디바이스를 쉽게 제어할 수 있고, 소음이 심한 장소나 정숙이 요구되어 음성 입력이 불가능한 상황이나 볼륨 크기나 밝기 정도, 지도상에서의 위치 등 텍스트 입력으로는 정확한 제어가 불가능한 경우에서도 효율적인 제어가 가능해진다.

또한, 본 발명에 의하면 대화창에 연결된 가상키보드의 그래픽 인터페이스를 통해 현재 IoT 디바이스들의 작동상태를 한눈에 알아볼 수가 있는 것은 물론, 그래픽 터치와 드래그에 의한 제어 명령을 시각적으로 표시함과 더불어 대화창에 문자화해 보여주고 저장함으로써 제어 명령을 재확인하여 작동 오류를 예방하고, 과거의 이력이나 기설정한 요건 등을 저장분석하여 최적의 요건을 추천 또는 제어해 주기 때문에 IoT 디바이스의 사용기간, 사용량이 많아질수록 사용자에게 더 적합하고 편리한 추천선택제어가 가능해지며 축적된 데이터를 활용한 기기 개발이나 마케팅의 활용도 가능해진다.

또한, 본 발명에 의하면 특정 IoT 디바이스를 가족과 공유하거나 친구 등 특정 다수와 공유하며 함께 사용할 수 있고, IoT 디바이스의 공유 선택 및 공유 범위, 공유 시간 등을 손쉽게 조정할 수 있다.

도 1은 본 발명의 일 실시예에 따른 IoT 디바이스를 제어하기 위한 이미지 가상키보드 시스템의 네트워크 구성을 설명하기 위한 도면이다.
도 2는 본 발명의 일 실시예에 따라 이미지 가상키보드와 SNS를 이용하여 IoT 디바이스를 제어하는 방법을 설명하기 위한 순서도이다.
도 3은 본 발명의 일 실시예에 따라 IoT 디바이스의 제어를 위한 이미지 가상키보드를 생성한 화면을 예시한 것이다.
도 4는 본 발명의 일 실시예에 따라 이미지 가상키보드를 이용해 IoT 디바이스를 제어하는 과정을 설명하기 위한 순서도이다.
도 5는 본 발명의 일 실시예에 따른 이미지 가상키보드의 리모콘 이미지를 예시한 것이다.
도 6은 본 발명의 일 실시예에 따라 이미지 가상키보드를 이용한 IoT 제어 정보를 대화창에 제공한 화면을 예시한 것이다.
도 7 내지 도 9는 본 발명의 일 실시예에 따라 상대방 사용자에게 IoT 디바이스의 제어 권한을 부여하는 과정을 설명하기 위한 화면 예시이다.
도 10은 본 발명의 일 실시예에 따라 이미지 가상키보드를 이용하여 자택 내 IoT 디바이스를 선택하고 제어하는 화면을 예시한 것이다.
도 11 내지 도 13은 본 발명의 일 실시예에 따라 이미지 가상키보드를 이용하여 차량 내 IoT 디바이스를 선택하고 제어하는 화면을 예시한 것이다.
도 14는 본 발명의 일 실시예에 따라 대화 내용을 분석하여 제어가 필요한 IoT 디바이스들을 추천하는 예를 설명하기 위한 도면이다.
도 15 내지 도 17은 본 발명의 일 실시예에 따라 이미지 가상키보드를 이용하여 자택 내 IoT 디바이스를 선택하고 제어하는 화면을 예시한 것이다.

본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다.

본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.

명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "...수단", "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.

아래에서는 첨부한 도면을 참고하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

도 1은 본 발명의 일 실시예에 따른 IoT 디바이스를 제어하기 위한 이미지 가상키보드 시스템의 네트워크 구성을 설명하기 위한 도면이다.

도 1을 참조하면, 이미지 가상키보드 시스템은 인터넷 등의 유무선 네트워크를 이용하여 데이터를 송수신할 수 있는 하나 이상의 IoT 디바이스(12), 사용자 단말(10) 및 사용자 단말(10)의 사용자와 대화를 주고받는 상대방 사용자의 단말(11)을 포함한다.

IoT 디바이스(12)는 전기, 가스, 상하수도 등 에너지를 관리하는 스마트 그리드 시스템, 가정의 냉난방과 보안, 가전제품 등을 통합 관리하는 홈 네트워크 시스템, 자동차의 도어 잠금 및 원격제어, 네비게이션 시스템을 제어하는 커넥티드 카(Connected Car) 시스템, 스마트 워치, 스마트 글래스, 스마트 슈즈 등의 웨어러블 기기와 같이 IoT 기술 기반의 서비스 대상이 되는 모든 스마트 기기나 센서 등을 포함할 수 있다.

사용자 단말(10) 및 상대방 사용자 단말(11)은 스마트폰, 태블릿PC, 노트북 컴퓨터, 스마트 TV, 스마트 워치, 웨어러블 컴퓨터(Wearable Computer)와 같이 무선통신 방식에 의해 IoT 디바이스(12)를 제어할 수 있는 모바일 디바이스일 수 있으나 그에 한정되는 것은 아니며 PC(Personal Computer)에도 본 발명의 IoT 디바이스 제어 방법이 적용될 수도 있다.

사용자 단말(10) 및 상대방 사용자 단말(11)은 다른 사용자와 대화를 주고받을 수 있는 인스턴트 메신저 서비스(Instant Messenger Service)의 이용과 IoT 디바이스를 제어하기 위한 전용 애플리케이션의 설치 및 실행이 가능한 단말장치이다.

사용자 단말(10) 및 상대방 사용자 단말(11)은 전용 애플리케이션의 제어 하에 서비스 화면의 구성, 데이터 입력, 데이터 송수신, 데이터 저장 등 서비스 전반의 동작을 수행할 수 있다.

사용자 단말(10)은 IoT 디바이스(12)의 제어 권한을 가진 사용자의 단말로서, 사용자는 인스턴트 메신저 서비스의 대화창이나 설정창에서 제어 대상이 되는 IoT 디바이스들을 등록한다.

IoT 디바이스(12)는 무선통신 방식으로 제어되며 사용자 단말(10)로부터 제어 신호를 수신하면 그에 해당하는 기능을 수행한다.

도 1에 도시되지는 않았으나 실시예에 따라서는 IoT 제어 플랫폼이 이미지 가상키보드 시스템에 포함될 수 있으며, 이 경우는 사용자 단말(10)이 특정 IoT 디바이스를 제어하기 위한 제어 신호를 IoT 제어 플랫폼에 전송하면, IoT 제어 플랫폼이 해당 IoT 디바이스(12)에 제어 신호를 보내 제어를 수행할 것이다. 또한, 제어 신호 외에 사용자 단말(10)과 IoT 디바이스(12) 간의 데이터 송수신도 IoT 제어 플랫폼을 통해 수행될 것이다.

사용자는 사용자 단말(10)에서 전용 애플리케이션을 실행하고 대화창을 열어 상대방 사용자와 대화를 주고받으며, 전용 애플리케이션은 두 사용자의 대화 내용을 분석하고 분석 결과에 따라 어떤 IoT 디바이스를 제어할지 선정한다. 이때 선정되는 IoT 디바이스는 사용자 단말(10)이 제어할 수 있는 전체 IoT 디바이스의 적어도 일부를 포함하며, 선정된 하나 이상의 IoT 디바이스를 나타내는 아이콘의 리스트가 화면에 표시된다. 여기서, 설명의 편의를 위해 '두 사용자'로 예시했으나 대화 상대자는 다수일 수도 있다.

가상키보드는 키보드나 자판이 없는 스마트 기기에서 문자 입력을 위한 가상의 입력장치를 말하며, 인스턴트 메시지 서비스 이용시 대화창에 문자를 입력할 수 있도록 연결된 가상키보드가 그 예이다. 이에 반해 이미지 가상키보드는 타이핑을 주목적으로 한 가상키보드와 달리 자판(문자) 표시 외에도 IoT 디바이스를 효율적으로 제어할 수 있도록 그래픽 이미지로 리모콘(콘트롤러)을 표시해주어 시각적으로 제어 상태를 즉시 판단하고, 문자 타이핑 없이 터치 및 드래그 동작으로 제어 지시 내용 입력 및 IoT 디바이스 제어가 가능하다.

아이콘 리스트는 대화창에 대화를 입력하기 위한 가상키보드를 통해 디스플레이되며, 가상키보드가 디스플레이되어 있는 상태에서는 아이콘 리스트가 가상키보드에 추가되거나 가상키보드 위에 오버레이되는 형태로 표시될 수 있다.

한편, 이미지 가상키보드에는 제어 가능한 IoT 디바이스를 나열하기 위한 버튼 등의 사용자 인터페이스가 포함될 수 있으며, 사용자가 해당 버튼을 선택하면 제어 가능한 모든 IoT 디바이스의 아이콘 리스트가 이미지 가상키보드에 표시될 것이다. 이는 사용자가 수동으로 원하는 IoT 디바이스 제어를 호출하도록 하기 위한 것이다.

사용자가 이미지 가상키보드의 아이콘 리스트에서 특정 아이콘을 선택하면 그에 대응하는 IoT 디바이스를 제어하기 위한 리모콘 이미지, 즉 가상의 리모콘이 이미지 가상키보드로서 디스플레이된다. 사용자가 리모콘 이미지를 조작하면 그에 해당하는 제어 신호가 생성되어 IoT 디바이스로 전송되며, 어떤 제어를 수행하였는지에 대한 정보가 대화창의 대화로 자동 입력됨으로써 사용자와 상대방 사용자가 제어 내용을 확인할 수 있도록 한다.

이미지 가상키보드를 이용한 IoT 디바이스(12)의 제어에 대해서는 도 2 내지 도 17을 참조하여 아래에서 더욱 상세히 설명하기로 한다.

도 2는 본 발명의 일 실시예에 따라 이미지 가상키보드와 SNS를 이용하여 IoT 디바이스를 제어하는 방법을 설명하기 위한 순서도이다.

도 2를 참조하면, 사용자가 전용 애플리케이션을 실행하고 대화창을 오픈하면 상대방 사용자와 대화하기 위한 대화창이 화면에 디스플레이된다(S42). 대화의 시작을 위한 대화창의 오픈은 상대방 사용자에 의해서도 이루어질 수 있다.

여기서, '사용자'는 IoT 디바이스의 제어 권한을 가진 자이며, 사용자의 단말(10)로부터 출력되는 제어 신호에 따라 해당 IoT 디바이스가 작동할 것이다.

'상대방 사용자'는 사용자의 대화 상대방으로서 IoT 디바이스의 제어 권한은 가지고 있지 않지만 사용자와의 대화를 통해 IoT 디바이스의 제어를 유도하거나 IoT 디바이스 제어 권한을 위임받을 수 있다.

사용자와 상대방 사용자의 대화 내용 즉 사용자가 입력한 문장 및/또는 상대방 사용자가 입력한 문장을 분석하여 IoT 디바이스의 제어에 연관된 내용이 있는지 판단하고, 판단의 결과에 따라 제어 가능한 전체 IoT 디바이스들 중에서 제어가 필요한 하나 이상의 IoT 디바이스를 선정한다(S21). 대화 내용의 분석은 사용자 또는 상대방 사용자가 제어하고자 하는 IoT 디바이스가 어떤 것인지 자동으로 판단하기 위한 것이다.

다음으로, 상기에서 선정된 하나 이상의 IoT 디바이스에 대응하는 아이콘 리스트를 포함하는 가상키보드가 디스플레이된다(S22). 대화의 문맥에 따라 적당한 IoT 디바이스(들)을 추천하는 것이다.

도 3은 본 발명의 일 실시예에 따라 IoT 디바이스의 제어를 위한 이미지 가상키보드를 생성한 화면을 예시한 것이다.

도 3을 참조하면 대화 상대방 '김OO'와의 대화를 위한 대화창이 오픈되어 있으며, '김OO'가 “집에 보일러 껐어?”(35)라는 문장을 입력하면 해당 문장의 내용이 분석된다. 대화 내용의 분석에는 문맥의 분석을 위한 다양한 방법이 사용될 수 있다.

분석의 결과에 따라 선정된 IoT 디바이스들을 나타내는 아이콘 리스트가 가상키보드(36)의 하단에 표시된다.

도 3의 예에서는 난방장치에 대응하는 아이콘(30)뿐만 아니라 '집', '보일러', '끄다'와 연관된 홈 네트워크상의 IoT 디바이스들을 나타내는 홈 아이콘(31), 전등 제어장치를 나타내는 아이콘(32), 도어락을 나타내는 아이콘(33) 등 연관된 다른 아이콘들도 표시되었음을 알 수 있다. 사용자들이 보일러를 껐는지 여부에 대한 대화를 나누고 있는 경우 전등이나 도어락, 함께 작동되었던 가전제품들의 상태 확인도 필요할 것이라고 예측하여 연관 아이콘으로 보여주는 것이다.

또한, 과거 및 이전의 상태 정보들을 비교분석하여 이전과는 다른 상태로 작동 중인 IoT 디바이스가 있다면 '주의 관찰대상'으로 추천해줄 수도 있다. 즉, 과거의 사용 데이터를 비교분석한 결과 현재 시간대에는 작동하지 않았던 전기오븐이나 전등이 작동 중이거나, 현재 날짜(계절)와는 상이한 온도 등이 감지되는 냉난방장치가 있다면 '확인' 경보를 함께 보여주는 것이다.

다른 예로, 사용자가 대화방에 “나 지금 퇴근해”라는 내용을 입력하면, 전용 애플리케이션은 대화 내용을 분석하고 문맥을 인식하고 현재 이슈(시간, 위치, 날씨, 트래픽 등)를 종합하여 퇴근시 제어가 필요한 IoT 디바이스들을 선정하고 그에 해당하는 아이콘 리스트를 적용, 시간대별로 순차적으로 배열, 디스플레이할 것이다.

이때, 아이콘 리스트의 디스플레이는 "퇴근 준비 -> 퇴근 -> 집 도착"까지의 시간대별, 혹은 순차적인 작동 및 사용 순서에 의해 관련된 IoT 디바이스를 정렬하여 보여주어, 사용자는 어느 아이콘을 추가삭제수정할 것인지, 어느 아이콘을 이전과 그대로 유지할 것인지를 한눈에 파악할 수 있다.

퇴근시 제어가 필요한 IoT 디바이스는 미리 설정되어 있을 수도 있지만, 이전에 사용자가 퇴근시 제어했던 IoT 디바이스들에 대한 정보를 저장해두었다가 동일한 디바이스들을 선정할 수도 있을 것이다.

다시 도 2를 참조하면, 사용자가 가상키보드에서 원하는 아이콘을 선택하면, 그에 대응하는 IoT 디바이스를 제어하기 위한 리모콘(Remocon; Remote controller) 이미지가 디스플레이된다(S23). 리모콘 이미지의 디스플레이를 위해, 먼저 해당 IoT 디바이스로부터 현재 상태에 대한 정보, 혹은 과거 마지막으로 사용되었던 정보를 수신하고, 수신된 상태 정보와 해당 IoT 디바이스의 제어를 위한 그래픽 인터페이스를 포함하는 리모콘 이미지를 생성하고, 생성된 리모콘 이미지를 이미지 가상키보드에 디스플레이할 수 있다.

도 3의 예에서, 사용자가 난방장치 아이콘(30)을 터치하여 선택하면 난방장치의 제어 조작을 위한 리모콘 이미지가 디스플레이될 것이다. 사용자가 홈 아이콘(31)을 선택하면 홈 네트워크에 속하는 IoT 디바이스(들)이 리스트될 것이며, 이 리스트에서 하나를 선택하면 해당 IoT 디바이스의 제어 조작을 위한 리모콘 이미지가 디스플레이될 것이다. 사용자가 전등 제어장치 아이콘(32)을 선택하면 각 방의 전등 제어를 위한 리모콘 이미지가 디스플레이될 것이다. 또한, 사용자가 도어락 아이콘(33)을 선택하면 도어락의 개폐를 제어할 수 있는 리모콘 이미지가 디스플레이될 것이다.

이때, 이미지 가상키보드와 함께 디스플레이되는 대화창 화면에는 선택된 아이콘의 상세정보(현재 상태 정보, 혹은 과거 마지막으로 진행되었던 정보나 미리 설정해 놓은 정보)가 표시되며, 대화창 화면의 상세정보(IoT 디바이스와의 대화 정보)를 터치하여 삭제·수정하거나, 이미지 가상키보드의 리모콘 이미지를 이용하여 상세정보를 삭제하거나 제어 명령을 수정할 수 있다.

IoT 디바이스의 제어를 위한 리모콘 이미지는 실제 제어장치를 형상화한 가상의 리모콘으로써 디바이스의 유형에 따라 다르게 생성되어 표시되지만, 오프라인상에서 실제 사용되는 기기들의 콘트롤러나 작동 버튼, 제어판, 리모콘 등을 실물처럼 시각화하여 그래픽 이미지로 표현할 경우 사용방법의 혼란과 오작동을 최소화하고 직감적으로 IoT 디바이스를 제어할 수 있게 된다.

리모콘 이미지는 가상키보드(36)의 글자 입력용 키보드를 대체하여 표시되거나, 기존의 가상키보드(36)와 별도의 이미지 가상키보드로 생성되어 디스플레이될 수 있다.

도 4는 본 발명의 일 실시예에 따라 이미지 가상키보드를 이용해 IoT 디바이스를 제어하는 과정을 설명하기 위한 순서도이다.

도 4를 참조하면, 사용자는 이미지 가상키보드의 리모콘 이미지를 통해 원하는 디바이스를 제어하기 위한 입력을 할 수 있다(S40). 사용자 단말은 리모콘 이미지를 통해 수신된 사용자의 입력에 따라 IoT 디바이스의 제어를 수행한다(S41). 이를 위해, 사용자의 입력은 해당 IoT 디바이스에 대한 제어 신호로 변환되어 IoT 디바이스로 전송되며, IoT 디바이스는 수신된 제어 신호에 따른 동작을 할 것이다.

도 5는 본 발명의 일 실시예에 따른 이미지 가상키보드의 리모콘 이미지를 예시한 것이다. 도 3의 예에서 제어 권한을 가진 사용자가 자신의 사용자 단말에서 난방장치 아이콘(30)을 선택한 경우 도 5와 같은 리모콘 이미지(50)가 디스플레이될 수 있다.

리모콘 이미지는 해당 IoT 디바이스의 상태 정보와 제어를 위한 하나 이상의 사용자 인터페이스를 포함할 수 있다. 제어를 위한 사용자 인터페이스 버튼, 스위치, 조그 셔틀 등 제어 대상이 되는 기능에 적합한 형태로 생성될 수 있다.

사용자는 리모콘 이미지의 소정 부분을 터치하거나 드래그하는 방식으로 제어 명령이 생성되도록 할 수 있다.

이때의 터치나 드래그 시, 진동 및 음향 효과를 함께 주어 리모콘 이미지상의 버튼 조작 상태를 시각과 청각, 촉각으로 확인할 수 있도록 함으로써 그래픽 이미지상에 평면으로 존재하는 버튼의 오작동에 의한 잘못된 제어 명령을 방지할 수 있다.

도 5를 참조하면, 난방장치에 대응하는 리모콘 이미지(50)는 난방 작동 여부, 현재 온도, 희망 온도 등의 현재 상태를 나타내는 상태 정보와 온도 조절 버튼(51, 52) 및 전원 버튼(53)을 포함하고 있음을 알 수 있다.

사용자가 전원 버튼(53)을 터치하여 선택하면, 난방장치를 끄라는 제어 신호가 생성되어 해당 IoT 디바이스로 전송될 것이다. IoT 디바이스는 제어 신호에 따른 제어 동작을 수행하고 수행 결과를 리턴할 수 있다.

다시 도 4를 참조하면, 리모콘 이미지를 통해 수행된 IoT 디바이스의 제어에 대한 정보가 대화창의 대화로 입력된다(S42).

사용자가 키보드를 통해 제어 명령이나 대화를 입력하는 대신, 리모콘 이미지를 통해 간편하게 집의 전등을 켜거나 온도를 조절하거나 차량의 내비게이션에 목적지를 추가하는 등의 제어를 하면, 마치 키보드로 입력한 것처럼 대화창에 대화 내용으로 제어 내역이 표시되는 것이다. 제어의 내용이 텍스트로 변환되어 대화로 입력되므로 상대방 사용자도 어떤 디바이스가 어떻게 제어되었는지 볼 수 있다.

단, 대화 상대방을 지정하지 않을 경우에는 디바이스 제어 상태나 표시 내용을 시용자만이 확인할 수 있게 된다.

또한, 제어 및 수행된 사용 이력이 텍스트로 기록되어짐으로써 이후에 열람하거나 기기 제어 정보로의 축적활용이 가능해지며, 리모콘 이미지에서 제어한 내용을 대화창에서 대화 내용으로 다시 재차 확인하게 됨으로써 제어 명령의 입력오류를 예방 및 방지할 수 있게 된다.

도 6은 본 발명의 일 실시예에 따라 이미지 가상키보드를 이용한 IoT 제어 정보를 대화창에 제공한 화면을 예시한 것이다.

도 5에 도시된 리모콘 이미지에서 전원 버튼(53)을 터치하여 난방장치를 끈 경우, 도 6에 도시된 바와 같이 상대방 사용자와 대화중인 대화창에 해당 정보(60)가 입력될 것이다. 난방장치의 전원을 차단한 사용자가 직접 그에 대한 정보를 대화방에 입력하지 않아도 자동으로 해당 정보가 대화로 입력되는 것이다.

이와 같이, 본 발명에 따른 IoT 디바이스 제어 방법에서는 대화창에서의 대화 입력을 위해 표시되는 가상키보드에 IoT 디바이스의 제어를 위한 사용자 인터페이스(IoT 디바이스 선택 버튼, IoT 디바이스 제어 리모콘 등)가 결합된다. 사용자는 이미지 가상키보드에서 모든 IoT 디바이스들의 현재 상태, 제어 방법, 제어 이력 등을 이미지로 확인하고 직접 컨트롤할 수 있다.

또한, 사용자들 간의 대화를 분석하여 제어가 필요한 IoT 디바이스를 추정하고, 제어 권한을 가진 사용자에게 해당 IoT 디바이스의 아이콘을 자동으로 보여줌으로써 디바이스 제어를 유도하고, 이미지 가상키보드에서 터치, 드래그 및/또는 스와이핑에 의해 간편하게 IoT 디바이스를 제어할 수 있도록 한다.

손의 사용이 자유롭지 못한 경우에는 음성으로 제어 명령을 입력하도록 할 수 있다. 이 경우 입력된 음성을 인식하여 텍스트로 치환한 후 이를 이용하여 제어 신호를 생성하고 대화창에 입력할 대화를 생성할 수 있다.

도 7 내지 도 9는 본 발명의 일 실시예에 따라 상대방 사용자에게 IoT 디바이스의 제어 권한을 부여하는 과정을 설명하기 위한 화면 예시이다.

도 7은 상대방 사용자인 자녀의 모바일 디바이스로서, 사용자 '아빠'와의 대화창에 상대방 사용자 '아들'이 “아빠! TV 좀 볼께요~”라는 대화(71)를 입력하고 있다.

사용자 '아빠'의 단말에서 실행중인 IoT 디바이스 제어 애플리케이션은 입력된 대화의 문맥을 분석하고 그에 따라 TV라는 IoT 디바이스를 제어할 필요가 있음을 결정하고, 도 8과 같이 TV 제어 아이콘(74)을 이미지 가상키보드에 표시할 것이다.

사용자가 TV 제어 아이콘(74)을 선택하면 TV 리모콘 이미지가 이미지 가상키보드에 표시될 것이며, TV 리모콘 이미지를 통한 사용자 조작에 따라 제어 신호가 생성되고 TV에 전송될 것이다. 그러나 도 8의 예에서는 사용자인 '아빠'가 직접 TV를 제어하는 대신 상대방 사용자인 '아들'에게 제어 권한을 부여하고 있다.

도 8에 도시된 바와 같이 사용자가 “오케이. 한 시간만”이라는 대화(72)를 입력하면 전용 애플리케이션은 문맥을 파악하여 제어 권한이 상대방 사용자에게 부여되었고, 나아가 상대방 사용자가 1시간 동안 TV를 제어할 수 있도록 허락된 것으로 판단할 수 있다.

이때 사용자가 입력한 대화에는 해당 IoT 디바이스의 제어 권한을 상대방에게 부여하라는 제어 문구가 포함된 것으로 인식되며, 사용자 단말의 애플리케이션은 대화창을 통해 상대방 사용자로부터 제어 메시지가 수신되기를 대기한다.

제어 권한을 부여하는 제어 문구는 해당 IoT 디바이스에 대한 제어 가능 시간에 대한 정보를 포함할 수 있으며, 제어 가능 범위에 대한 정보도 포함할 수 있다.

상대방 사용자 단말이 대화창을 통해 “오케이. 한 시간만”이라는 대화 내용을 수신하면 문맥 분석을 통해 권한 부여를 위한 제어 문구의 수신으로 판단할 수 있다. 수신된 제어 문구를 상대방 사용자가 터치하여 선택하면, 상대방 사용자 단말의 대화창에 연결된 이미지 가상키보드에 해당 IoT 디바이스의 제어를 위한 리모콘 이미지가 디스플레이된다.

제어 문구에 제어 가능 범위에 대한 정보가 포함된 경우는 이를 반영하여 제어 가능한 기능만을 조작할 수 있는 리모콘 이미지가 생성될 것이다. 예를 들어, 성인채널을 사용하지 못하게 하거나 유료채널을 효과적으로 제한할 수 있으며, 이때 생성되는 리모콘 이미지에는 상기 금지 채널이 삭제된 후 나머지 채널들만 표시된다.

제어 문구에 제어 가능 시간에 대한 정보가 포함된 경우, 리모콘 이미지를 통한 디바이스 제어 가능 시간이 제한된다.

도 9에 도시된 바와 같이, 상대방 사용자 단말의 전용 애플리케이션은 대화방에 입력된 사용자의 대화를 분석하여 TV 제어 권한이 상대방 사용자에게 임시로 1시간 동안 부여되었음을 인식하고, TV 제어를 위한 리모콘 이미지(90)를 이미지 가상키보드에 디스플레이한다.

상대방 사용자인 '아들'은 이 이미지 가상키보드를 통해 TV의 전원을 켜고 원하는 채널을 선택하는 등 제어 조작을 할 수 있으며, 이때 수행된 제어 조작에 대응하는 제어 메시지가 생성되어 대화창에 자동으로 입력된다. 사용자인 '아빠'의 단말은 수신된 제어 메시지에 따라 제어를 수행한다. 즉, 사용자 단말은 대화창을 통해 수신된 제어 메시지를 제어 신호로 변환한 후 해당 IoT 디바이스에게 송신함으로써 상대방 사용자가 요청한 제어를 수행한다. 또한, 사용자 '아빠'도 대화창을 통해 상대방 사용자에 의한 제어 내용을 알 수 있다.

이 실시예에서는 권한 부여에 시간 제한이 있으므로, 제한 시간인 1시간이 경과한 경우 자동으로 해당 IoT 디바이스의 전원이 차단되고 상대방 사용자 '아들'의 단말에서 TV 제어 리모콘(90)이 소거되고 대화 입력을 위한 가상키보드가 다시 나타날 것이다.

한편, 도 8의 실시예에서와 같이 권한 부여를 위해 대화를 입력하는 대신, 상대방 사용자의 단말에 해당 IoT 디바이스를 제어할 수 있는 리모콘 이미지가 표시되도록 하는 권한 부여 아이콘을 사용자 단말에 부여할 수도 있다.

예컨대, 도 8의 사용자 단말에 표시된 가상키보드에 TV 모양의 TV 제어 권한 부여 아이콘을 제공하고, 사용자가 이를 선택하였을 때 사용자 단말 대신 상대방 사용자의 단말에 TV 제어를 위한 리모콘 이미지가 표시되도록 제어하거나, 사용자 단말과 상대방 사용자의 단말 모두에 TV 제어 리모콘이 표시되도록 제어할 수 있다. 이러한 방식은 사용자가 대화창에서 TV 리모콘을 꺼내서 상대방에게 주는 모습으로 보이므로 더 직관적인 방법으로 제어 권한을 넘겨줄 수 있다.

이 경우 제어 권한을 부여한다는 제어 문구가 생성되어 대화창에 입력되거나, 인스턴트 메신저 서비스에서 이모티콘을 보내는 방식으로 TV 아이콘이 대화창에 입력되며, 사용자 단말의 애플리케이션은 대화창을 통해 상대방 사용자로부터 제어 메시지가 수신되기를 대기한다.

상대방 사용자는 해당 대화창이 열려있는 동안에 TV 제어 리모콘을 이용하여 TV를 제어할 수 있으며, 시간 제한이 있는 경우는 대화창이 열려 있더라도 제한된 시간 내에만 TV를 제어할 수 있으며 제한된 시간이 경과되면 상대방 사용자의 단말에 부여된 TV 제어 리모콘 이미지(90)는 비활성화되거나 소거될 것이다.

이때, 이미지 가상키보드에 디스플레이된 리모콘 이미지는 버튼 등의 제어 조작의 편리성을 위해 핀치아웃(Pinch out; 두 손가락을 동시에 터치해서 벌림)하여 전체화면으로 확대해 사용할 수 있다.

또한, 상기의 예시에서는 아빠와 아들 간의 양자간 제어 권한의 공유 방법에 대해 설명을 하였지만, 상기와 같은 동일한 방법으로 다수에게도 권한 부여를 할 수 있다. 즉, 아빠와 아들 외에도 여러 가족이 함께 IoT 디바이스 제어 권한을 공유할 수 있으며, 때에 따라 공유시간, 공유채널 등 제어 권한의 사용 한계를 지정할 수도 있어 가족, 친구, 직원 등 공동체 구성원들 간에도 편리한 사용이 가능해지는 것이다.

특히 사용 권한의 공유 기술을 회사나 단체 이외에 호텔, 숙박업소 등의 관리 시스템에 적용하게 되면, 정해진 손님을 친구 등록하여 사용 제품들, 예를 들면 디지털 도어락의 개폐, 전등의 조명, TV·오디오·에어컨 등 전자제품, 차량 등의 사용 권한을 사진 공유하듯 제품의 컨트롤러(리모콘) 이미지의 공유로 간편하게 제공하거나 박탈할 수 있게 된다. 이때 일정한 사용 가능 범위를 한정할 수도 있으며, 사용 시간(공유 시간)을 한정할 수 있음은 당연하다.

또한 회사나 단체의 경우, 비치 물품(IoT기술 적용 제품) 중 특정 기기를 특정인에게 특정 조건(작동 범위 설정) 하에서의 사용 권한을 특정 기간 동안 부여함으로써 효율적인 관리와 함께 사용자의 편리성을 향상시킬 수 있게 된다.

상기의 예시들은, 이미 대다수의 사람들이 SNS 앱을 설치·사용하고 있으며, 필요에 의한 상대방 사용자(친구) 등록 및 선택, 사진·동영상·이모티콘 등 자료의 전송 및 공유 등 활용법을 숙지하고 있고, 이 SNS 앱을 통해 이미 관계망을 구축하고 있기 때문에 별다른 학습이 없이도 IoT 디바이스의 등록 및 선택, 상대방 사용자와의 공유가 손쉽게 이루어질 수 있게 된다.

다른 실시예에 따르면, 실제 사용자가 아닌 인공지능(Artificial Intelligence, AI) 사용자 즉 가상의 채팅 친구와의 대화창을 통해 IoT 제어 명령을 내릴 수 있도록 사용자 인터페이스를 제공할 수 있다.

이 실시예에서는 IoT 디바이스의 제어를 위한 AI 사용자를 버디(채팅 친구)로 등록해두고 AI 사용자와의 대화를 시작하면 대화 내용을 분석하고 문맥에 따라 제어할 IoT 디바이스를 추천하고 사용자가 선택한 IoT 디바이스에 대응하는 리모콘 이미지를 이미지 가상키보드에 디스플레이하는 방식으로 IoT 디바이스의 제어를 지원할 수 있다.

IoT 디바이스의 제어용으로 등록된 가상의 채팅 친구와의 대화를 위한 대화창을 열 때 사용자 단말을 통해 제어 가능한 IoT 디바이스들을 검색하고, 검색된 IoT 디바이스들에 대응하는 아이콘 리스트를 포함하는 가상키보드를 디스플레이할 수 있다. 사용자가 이 리스트에서 원하는 IoT 디바이스를 선택하면, 대응하는 리모콘 이미지가 이미지 가상키보드에 표시되며, 이를 통해 디바이스를 제어할 수 있다.

이때, 대화 상대방인 AI 사용자가 축적해온 데이터 혹은 현재 발생된 이슈(날씨 정보, 위치 정보, 트래픽 정보, 타사용자 정보 등) 등을 취합 도출해낸 선택·추천 정보를 제시받음으로써 디바이스 제어에 효율성을 극대화할 수 있다.

특히 SNS에서 특정인들끼리 서로 소통하며 공감대를 이루며 정보를 공유·활용하듯이, 대화 상대방이 AI든 특정 다수인이든 관계없이 IoT 디바이스의 사용과 제어로 인해 발생·축적되는 유용한 데이터들을 실제 사용자이며 데이터 생산자인 사용자와 상대방 사용자 각각이 서로 공유해 유효하게 활용할 수 있게 되며, 이는 제조사나 플랫폼 제공자들이 독점적, 일방적으로 획득·이용해왔던 정보의 독점적 활용과 이로 인해 야기된 여러 사회적 폐단들을 해결할 수 있게 된다.

도 10은 본 발명의 일 실시예에 따라 이미지 가상키보드를 이용하여 자택 내 IoT 디바이스를 선택하고 제어하는 화면을 예시한 것이다.

도 10을 참조하면, 인스턴트 메신저 서비스의 대화창에 연관된 가상키보드(101) 내에서 대화 내용의 분석에 따라 추천되는 IoT 디바이스들을 확인할 수 있으며(100), 사용자가 이 중 하나를 선택하면 가상키보드가 해당 디바이스의 리모콘 이미지(106)로 변환된다.

등록되어 있는 복수의 IoT 디바이스들은 카테고리(104)별로 분류될 수 있다. 도 10은 사용자가 홈 아이콘(105)을 선택한 경우의 화면으로서, 홈 네트워크에 연결된 IoT 디바이스들에 대한 상세 정보가 대화창(103)에 디스플레이되며, 이 중 오디오(107)를 선택한 경우 그에 대응하는 리모콘 이미지(106)가 표시된다.

사용자는 오프라인상에서 실제 컨트롤러, 리모콘 또는 스위치를 조작하듯이 이 리모콘 이미지(106)에서 터치나 드래그로 제어 명령을 입력할 수 있다. 일반적으로 정확한 수치나 기준값을 이해하고 있어 판단하기 쉬운 제어, 예를 들면 온도라든지 시간, 속도, On/Off 등의 제어 지시는 타이핑이나 구술(口述)로 가능하지만, 소리(볼륨)의 크기 조정이나 방의 조명 밝기를 어느 정도로 할 것인지, 지도상의 특정부분의 위치 등은 타이핑이나 구술로는 정확한 제어가 어렵기 때문에 그래픽 이미지를 사용한 리모콘 이미지의 효용성이 크다.

입력된 제어 명령은 애플리케이션에 의해 제어 신호로 변환되어 해당 IoT 디바이스로 전송된다.

사용자가 리모콘 이미지(106)를 통해 오디오 장치의 전원 차단에 성공한 경우, 대화창에 제어 내역(108)이 자동으로 입력되므로 사용자와 상대방 사용자가 이를 확인할 수 있다.

도 11 내지 도 13은 본 발명의 일 실시예에 따라 이미지 가상키보드를 이용하여 차량 내 IoT 디바이스를 선택하고 제어하는 화면을 예시한 것이다.

도 11을 참조하면, 등록된 IoT 디바이스들의 아이콘이 표시되어 있는 가상키보드(110)에서 차량 아이콘(111)을 선택한 경우 차량 내비게이션 장치를 제어하기 위한 리모콘 이미지(112)가 디스플레이된다. 이 리모콘 이미지(112)에서 경유지를 터치하여 입력하면 그에 해당하는 제어 신호가 생성되어 차량 내비게이션 장치로 전송되며, 그에 대한 정보가 대화창의 대화(113)로 표시된다.

또다른 실시예에 따르면, 사용자가 대화 상대방인 상대방 사용자와 내비게이션이 디스플레이된 리모콘 이미지(도 11(a))를 공유할 경우, 대화 상대방의 사용자 단말의 이미지 가상키보드에 도 11(b)와 같이 사용자가 이미 설정한 내비게이션 이미지가 디스플레이된다. 도 11(a)와 (b)를 참조하면, 사용자 단말의 내비게이션 이미지와 상대방 단말의 내비게이션 이미지 간에 서로의 현재 위치는 물론 상대방의 현재 주행 속도, 주행 노선, 목적지 등이 실시간 공유되며 디스플레이됨을 알 수 있다.

현재의 내비게이션 시스템은 상대방에게 최종 목적지의 위치만을 맵(지도) 이미지나 텍스트로 주고받아 공유하는 것으로, 단지 최종 목적지의 지도(위치)나 주소, 명칭을 알려주는 데에만 그치고 있으나, 본 발명에 의하면 공통의 목적지를 서로 공유하는 것은 물론 사용자와 상대방의 현재 운행 정보가 실시간 공유됨으로써 서로 다른 시간, 다른 위치에서 각각 출발하여도 주행 중 노선변경, 주행 지체, 목적지 변경 등의 주행 정보 및 현재 상태를 서로 간에 확인할 수 있어, 목적지 중간에 휴게소 등의 경유지가 새로 생기거나, 노선이 변경되거나, 불의의 사고나 응급상황으로 지체되는 경우에도 실시간 확인하고 대응, 조치할 수 있는 편리함이 있다.

또한, 상대방의 주행 정보를 바탕으로 주행 속도, 주행 방향, 노선 등을 효율적으로 수정할 수도 있게 된다.

이를 적용할 경우, 여러 대의 차량으로 운행해야 하는 단체 여행객의 집단 운송이나 같은 목적지로 이동하는 노선버스, 통학 차량 등의 운행정보를 운전자 상호 간에도 확인할 수 있어 안전하면서도 효율적인 운행이 가능해진다.

도 12는 가상키보드에서 텍스트 입력(121)에 의해 경유지를 선택하는 예를 도시한 것이고, 도 13은 지도 이미지를 포함하는 리모콘 이미지(112)를 통해 경유지 정보를 입력하는 이미지 가상키보드의 예를 도시한 것이다.

도 14는 본 발명의 일 실시예에 따라 대화 내용을 분석하여 제어가 필요한 IoT 디바이스들을 추천하는 예를 설명하기 위한 도면이다.

도 14를 참조하면, 대화창(144)에 연결된 가상키보드는 IoT 아이콘(140)을 포함하고 있으며, 이를 선택하면 등록된 IoT 디바이스들의 목록과 각 IoT 디바이스의 현재 상태를 확인할 수 있다.

또한, 가상키보드에 “퇴근...”이라는 대화(141)를 입력하면 입력된 문자의 내용, 현재 시간 정보, 현재 위치 정보, 이전의 IoT 디바이스 제어 이력 중 적어도 하나의 정보를 참조하여, 등록된 IoT 디바이스들 중 현재 상황에 적합한 IoT 디바이스들을 선정하고 해당 아이콘들을 가상키보드(142)에 디스플레이한다.

이와 같이 본 발명의 일 실시예에 따르면 IoT 디바이스들의 그룹핑을 수동적으로 하는 것이 아니라 입력된 문장을 분석하여 연관된 IoT 디바이스들을 선정하고 순서를 결정하여 정렬한 후 현재 상태, 이전 이력, 이슈(날씨, 기념일, 트래픽 등)와 함께 디스플레이한다. 도 14의 예에서는 선정된 IoT 디바이스들에 대한 정보가 대화창 영역(144)에 표시되었다.

또한, 사용자가 이미지 가상키보드를 통해 제어한 내역이 대화로 변환되어 자동으로 대화창(144)에 입력된다. 제어의 내역은 사용자에 의해 선택된 IoT 디바이스가 어떤 것인지, 이 IoT 디바이스에 대해 지시된 제어가 어떤 것인지를 포함할 수 있다.

구체적으로, 사용자가 가상키보드(142)에서 차량 아이콘(143)을 선택하면, 선택 정보가 대화(146)로 자동 입력되며 그에 대응하는 리모콘 이미지(148)가 이미지 가상키보드로서 디스플레이된다. 이 리모콘 이미지(148)에서 특정 위치(147)를 경유지로 선택하면 그에 해당하는 제어 신호가 생성되어 차량 내비게이션 장치로 전송되며, 제어 내역이 대화(149)로 입력된다.

도 14를 참조하면, 원래의 주행 경로에는 두 개의 노선이 표시되었으며, 사용자의 터치에 의해 주행 경로 중 경유지(147)가 선택되면, 두 개의 노선 중 과거의 사용 이력, 현재의 이슈(날씨 정보, 트래픽, 사고, 타사용자 정보 등)를 반영하여 적절한 노선이 추천된다.

이후 시간대별로 순차적으로 '퇴근'과 연관된 IoT 디바이스들이 작동하도록 미리 설정할 수 있다. 예컨대, 도착 시간에 실내 온도가 소정치가 되도록 온도 조절기가 가동되도록 하고, 이후 도어락 등 방범장치의 락 해제를 준비하고, 다음으로 TV나 조명장치의 ON/OFF 시간을 조절하도록 설정할 수 있다. 즉, 대화 내용을 분석하여 연관된 IoT 디바이스들을 추천하는 것뿐만 아니라 대화 형식으로 IoT 디바이스들의 진행 예정 사항을 애플리케이션 스스로 판단하고 사용자에게 고지하도록 구현될 수 있다.

사용자는 도 14와 같은 인터페이스에서 제어하고자 하는 IoT 디바이스를 추가 및/또는 삭제하거나 예약된 제어 동작을 수정할 수 있다. 구체적으로, 앞의 예에서 경유지를 추가하여 주행 경로를 바꾼 것과 유사하게, 리모콘 이미지상에서 터치, 드래그 및/또는 스와핑에 의해 원하는 실내 온도를 변경하거나 예약된 TV 채널을 바꾸는 등의 제어를 수행할 수 있다.

도 15 내지 도 17은 본 발명의 일 실시예에 따라 이미지 가상키보드를 이용하여 자택 내 IoT 디바이스를 선택하고 제어하는 화면을 예시한 것이다.

도 15를 참조하면, 가상키보드의 홈 아이콘(151) 선택시 홈 네트워크에 연결된 IoT 디바이스들의 목록과 현재 상태가 대화창 영역(150)에 표시되며, IoT 디바이스 아이콘 리스트와 선택된 IoT 디바이스(153)의 제어를 위한 리모콘 이미지를 포함하는 이미지 가상키보드(152)가 나타난다.

이미지 가상키보드(152)에서 각 방을 터치하여 선택하면 해당 위치에 존재하는 A/V 장치를 제어할 수 있으며, 제어 내역이 대화(154)로 표시될 것이다.

도 16은 자택 내 각 방의 전등 장치를 제어하는 예를 도시한 것이다. 이미지 가상키보드에서 각 방을 터치하여 해당 위치의 전등을 ON/OFF할 시간 및 조도를 예약할 수 있다. 이때, 마지막으로 사용되었거나 기설정된 정보와 현재 상황(출발시간 및 도착 예정시간) 및 이슈 등을 종합하여 예측·판단한 제어 내용을 제시해주기 때문에, 제어 내용 확인 후 수정이 필요없는 경우 별도의 리모콘 이미지의 조작이 없어도 수정된 IoT 디바이스만 바뀐 내용으로 제어될 것이다.

또한, 도 16의 예를 보면, 집안의 실내구조와 전등의 ON/OFF 상태, 가전제품의 위치와 현재 상태 등이 그래픽 이미지로 구성되어 있고, 각 방의 명도 차이로 조명의 작동상태가 표현이 되어 있는 것을 알 수 있다. 이처럼 가상키보드에서 문자가 아닌 컨트롤러 이미지를 사용하면 수많은 조명과 각종 전자제품들의 작동 상태를 한눈에 파악할 수 있는 장점이 있으며, 이 그래픽 이미지로 구성된 컨트롤러 이미지를 터치 혹은 드래그하는 방식으로 쉽고 효율적으로 IoT 디바이스를 제어할 수 있게 된다.

이때에도 핀치아웃하여 각 부분을 확대 축소할 수 있으며, 실내 도면을 회전시켜 보면서 각종 전자제품들의 작동상태를 확인하거나 제어할 수 있다.

도 17을 참조하면, 가상키보드에서 홈 아이콘(151)을 선택하였을 때 선택 내역이 대화(171)로 자동 입력되며, 홈 카테고리에 속하는 IoT 디바이스들의 아이콘 리스트와 리모콘 영역을 포함하는 이미지 가상키보드(170)가 디스플레이되었다. 이미지 가상키보드(170)에서 선택된 IoT 디바이스에 대응하는 리모콘 이미지가 리모콘 영역에 표시될 것이며, 사용자는 리모콘 조작을 통해 원하는 IoT 디바이스를 제어할 수 있다. 제어의 내역 또한 대화창의 대화로 자동 입력될 것이다.

본 발명의 일 실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.

이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속한다.

10: 사용자의 단말
11: 상대방 사용자의 단말
20: IoT(Internet of Things) 디바이스

Claims

모바일 디바이스가 이미지 가상키보드를 이용하여 IoT(Internet of Things) 디바이스를 제어하는 방법에 있어서,
상기 모바일 디바이스의 사용자와 상대방 사용자가 대화하기 위한 대화창을 디스플레이하는 단계와;
상기 대화창에 입력되는 대화 내용을 분석하고 분석 결과에 따라 제어가 필요한 하나 이상의 IoT 디바이스를 선정하는 단계와;
상기 선정된 하나 이상의 IoT 디바이스에 대응하는 아이콘 리스트를 포함하는 가상키보드를 디스플레이하는 단계와;
상기 가상키보드에서 아이콘이 선택되는 것에 대응하여 IoT 디바이스를 제어하기 위한 리모콘 이미지를 디스플레이하는 단계를 포함하는 것을 특징으로 하는 이미지 가상키보드와 SNS를 이용한 IoT 디바이스 제어 시스템 및 방법.
제1항에 있어서,
상기 리모콘 이미지를 통한 사용자의 입력에 따라 해당 IoT 디바이스의 제어를 수행하는 단계와;
상기 수행된 IoT 디바이스의 제어에 대한 정보를 상기 대화창의 대화로 입력하는 단계를 더 포함하는 것을 특징으로 하는 이미지 가상키보드와 SNS를 이용한 IoT 디바이스 제어 시스템 및 방법.
제1항에 있어서,
상기 선택된 아이콘에 대응하는 IoT 디바이스의 제어 권한을 상기 상대방 사용자에게 부여하라는 제어 문구 또는 상기 아이콘이 상기 대화창에 입력되면, 상기 IoT 디바이스에 대한 제어 메시지가 상기 대화창을 통해 상기 상대방 사용자로부터 수신되기를 대기하는 단계와;
상기 상대방 사용자로부터 수신된 제어 메시지에 따라 상기 IoT 디바이스의 제어를 수행하는 단계를 더 포함하는 것을 특징으로 하는 이미지 가상키보드와 SNS를 이용한 IoT 디바이스 제어 시스템 및 방법.
제3항에 있어서,
상기 제어 권한을 부여하는 제어 문구는 해당 IoT 디바이스에 대한 제어 가능 범위 및 제어 가능 시간 중 적어도 하나에 대한 정보를 포함하는 것을 특징으로 하는 이미지 가상키보드와 SNS를 이용한 IoT 디바이스 제어 시스템 및 방법.
제1항에 있어서,
상기 리모콘 이미지를 디스플레이하는 단계는,
해당 IoT 디바이스로부터 현재 상태에 대한 정보 및 기설정된 제어 정보를 수신하는 단계와;
상기 수신된 상태 정보 및 제어 정보와 해당 IoT 디바이스의 제어를 위한 그래픽 인터페이스를 포함하는 리모콘 이미지를 생성하는 단계와;
상기 리모콘 이미지를 상기 이미지 가상키보드에 디스플레이하는 단계를 포함하는 것을 특징으로 하는 이미지 가상키보드와 SNS를 이용한 IoT 디바이스 제어 시스템 및 방법.
제1항에 있어서,
상기 상대방 사용자는 IoT 디바이스의 제어를 위해 등록된 가상의 채팅 친구인 것을 특징으로 하는 이미지 가상키보드와 SNS를 이용한 IoT 디바이스 제어 시스템 및 방법.
제6항에 있어서,
상기 가상의 채팅 친구와의 대화를 위한 대화창 출력시 제어 가능한 IoT 디바이스들을 검색하는 단계와;
상기 검색된 IoT 디바이스들에 대응하는 아이콘 리스트를 포함하는 가상키보드를 디스플레이하는 단계를 더 포함하는 것을 특징으로 하는 이미지 가상키보드와 SNS를 이용한 IoT 디바이스 제어 시스템 및 방법.
제1항 내지 제7항 중 어느 한 항의 이미지 가상키보드와 SNS를 이용한 IoT 디바이스 제어 시스템 및 방법을 수행하기 위해 기록매체에 기록된 컴퓨터 프로그램.
모바일 디바이스가 이미지 가상키보드를 이용하여 IoT(Internet of Things) 디바이스를 제어하는 방법에 있어서,
상기 모바일 디바이스의 사용자가 상대방 사용자와 대화하기 위한 대화창을 디스플레이하는 단계와;
소정의 IoT 디바이스의 제어 권한을 부여한다는 제어 문구 또는 아이콘을 상기 대화창을 통해 상기 상대방 사용자로부터 수신하는 단계와;
상기 제어 문구 또는 아이콘이 수신되면, 상기 IoT 디바이스를 제어하기 위한 리모콘 이미지를 포함하는 가상키보드를 디스플레이하는 단계와;
상기 리모콘 이미지를 통한 상기 사용자의 입력에 따라 상기 IoT 디바이스에 대한 제어 메시지를 생성하는 단계와;
상기 생성된 IoT 디바이스 제어 메시지를 상기 대화창을 통해 상기 상대방 사용자에게 전송하거나, 상기 IoT 디바이스의 제어를 수행하는 단계를 포함하는 것을 특징으로 하는 이미지 가상키보드와 SNS를 이용한 IoT 디바이스 제어 시스템 및 방법.
제9항에 있어서,
상기 제어 권한을 부여하는 제어 문구는 상기 IoT 디바이스에 대한 제어 가능 범위에 대한 정보를 포함하고, 상기 리모콘 이미지는 상기 제어 가능 범위를 반영하여 생성되는 것을 특징으로 하는 이미지 가상키보드와 SNS를 이용한 IoT 디바이스 제어 시스템 및 방법.
제9항에 있어서,
상기 제어 권한을 부여하는 제어 문구는 상기 IoT 디바이스에 대한 제어 가능 시간 및 제어 가능 기능에 대한 정보를 포함하고, 상기 리모콘 이미지는 상기 제어 가능 시간이 경과되거나 제어 가능 범위 외에는 비활성화되는 것을 특징으로 하는 이미지 가상키보드와 SNS를 이용한 IoT 디바이스 제어 방법.
제9항 내지 제11항 중 어느 한 항의 이미지 가상키보드와 SNS를 이용한 IoT 디바이스 제어 시스템 및 방법을 수행하기 위해 기록매체에 기록된 컴퓨터 프로그램.