KR102042688B1 - IOT device controlling system - Google Patents

IOT device controlling system Download PDF

Info

Publication number
KR102042688B1
KR102042688B1 KR1020180061838A KR20180061838A KR102042688B1 KR 102042688 B1 KR102042688 B1 KR 102042688B1 KR 1020180061838 A KR1020180061838 A KR 1020180061838A KR 20180061838 A KR20180061838 A KR 20180061838A KR 102042688 B1 KR102042688 B1 KR 102042688B1
Authority
KR
South Korea
Prior art keywords
home appliance
iot
server
function
appliances
Prior art date
Application number
KR1020180061838A
Other languages
Korean (ko)
Inventor
이장훈
이재홍
Original Assignee
(주)유비벨록스모바일
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)유비벨록스모바일 filed Critical (주)유비벨록스모바일
Priority to KR1020180061838A priority Critical patent/KR102042688B1/en
Application granted granted Critical
Publication of KR102042688B1 publication Critical patent/KR102042688B1/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/28Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803Home automation networks
    • H04L12/2807Exchanging configuration information on appliance services in a home automation network
    • H04L12/2814Exchanging control software or macros for controlling appliance services in a home automation network
    • G06F17/271
    • G06F17/277
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/28Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803Home automation networks
    • H04L12/2816Controlling appliance services of a home automation network by calling their functionalities
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/28Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803Home automation networks
    • H04L12/283Processing of data at an internetworking point of a home automation network
    • H04L12/2834Switching of information between an external network and a home network
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/28Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803Home automation networks
    • H04L2012/284Home automation networks characterised by the type of medium used
    • H04L2012/2841Wireless

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Selective Calling Equipment (AREA)
  • Telephonic Communication Services (AREA)

Abstract

The present invention provides an Internet of things (IoT) home appliance control system. According to the present invention, in the system, a plurality of home appliance control servers control a plurality of IoT home appliances by wireless communication. A plurality of artificial intelligence (AI) speakers receive a command from a user as a voice to control the operation of one or more of the plurality of IoT home appliances, and convert the voice-type command into text. An interface gateway server analyzes the text-type command received from one of the plurality of AI speakers to search for the one or more IoT home appliances for user control, and transmits to the home appliance control server which controls the searched IoT home appliance using a home appliance control protocol for performing a function corresponding to the command of the user. The home appliance control server receiving the home appliance control protocol controls the operation of the IoT home appliance.

Description

IOT 가전 제어 시스템{IOT device controlling system}IOT home appliance control system {IOT device controlling system}

본 발명은 IOT 가전 제어 시스템에 관한 것으로서, 보다 상세하게는, 통합형 인터페이스 게이트웨이와 다양한 AI 스피커를 이용하여 IOT 가전들을 제어할 수 있는 IOT 가전 제어 시스템에 관한 것이다.The present invention relates to an IOT home appliance control system, and more particularly, to an IOT home appliance control system capable of controlling IOT home appliances using an integrated interface gateway and various AI speakers.

최근 음악 감상이나 라디오 청취에 활용되던 스피커가 음성인식 기술과 만나 진화하고 있다. 즉, 기존의 스피커는 스마트폰에서 쉽게 접할 수 있는 음성인식 기술과 클라우드, 인공지능(AI: Artificial Intelligence) 기술을 활용해 단순하게 소리를 전달하는 도구에서 생각하고 관리하는 AI 스피커로 변신 중이다. 이미 아마존, 구글, 애플 등 글로벌 IT 기업이 이 AI 스피커와 관련된 기술 개발에 참여하고 있다. Recently, speakers used for listening to music or listening to radio are evolving with voice recognition technology. In other words, the existing speaker is transforming into an AI speaker that thinks and manages in a simple device that delivers sound using voice recognition technology, cloud, and artificial intelligence (AI) technology that can be easily accessed on a smartphone. Already, global IT companies such as Amazon, Google and Apple are participating in the technology development related to this AI speaker.

이를 위해 음성 기반 플랫폼이 만들어지면 스마트홈으로 가는 사물인터넷(IOT: Internet Of Thing) 시장을 손쉽게 선점할 수 있다. 스마트홈은 가전제품, 수도, 전기사용량 등을 무선통신에 의해 모니터링 및 제어할 수 있는 기능으로서, 이 기능의 핵심 중 하나가 AI 스피커이다. If a voice-based platform is created for this purpose, it is easy to preoccupy the Internet of Thing (IOT) market leading to the smart home. Smart home is a function that can monitor and control home appliances, water and electricity consumption by wireless communication, and one of the core of this function is AI speaker.

AI 스피커는 인공지능 알고리즘을 이용하여 사용자와 음성으로 의사소통을 한다. 따라서, AI 스피커를 이용하면 음성인식을 통해 집안의 IOT 기기를 목소리만으로 간편하게 제어하는 스마트홈 환경을 구축할 수 있다.AI speakers use artificial intelligence algorithms to communicate with the user by voice. Therefore, using AI speaker, it is possible to build a smart home environment that can simply control the IOT device in the house through voice recognition.

한편, 기존의 AI 스피커를 이용한 스마트폼 환경에서, IOT 가전을 제어하는 가전 제어 서버와 AI 스피커 간의 통신을 위해 인터페이스 게이트웨이가 사용되고 있다.Meanwhile, in a smart foam environment using existing AI speakers, an interface gateway is used for communication between the home appliance control server controlling the IOT home appliance and the AI speakers.

그러나, 기존의 인터페이스 게이트웨이는 AI 스피커의 제조사별로 구축되거나 AI 스피커의 모델마다 구축되고 있으므로, 인터페이스 게이트웨이 구축에 많은 시간과 비용이 소모된다. However, since existing interface gateways are built for each AI speaker manufacturer or for each AI speaker model, much time and cost are required to construct the interface gateway.

국내 등록특허 제10-1734398호(2017.05.02. 등록)Domestic Patent No. 10-1734398 (registered May 02, 2017)

전술한 문제점을 해결하기 위하여 본 발명이 이루고자 하는 기술적 과제는, AI 스피커의 제조사와 상관없이 모든 AI 스피커와 통신가능한 통합형 인터페이스 게이트웨이를 이용하여 IOT 가전을 제어함으로써 인터페이스 게이트웨이 구축에 필요한 시간과 비용을 절약할 수 있는 IOT 가전 제어 시스템을 제시하는 데 있다.The technical problem to be solved by the present invention is to control the IOT home appliances using an integrated interface gateway that can communicate with all AI speakers regardless of the manufacturer of the AI speaker, saving time and cost required to build the interface gateway The present invention proposes an IOT home appliance control system.

본 발명의 해결과제는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 해결과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The problem of the present invention is not limited to those mentioned above, and other problems not mentioned will be clearly understood by those skilled in the art from the following description.

전술한 기술적 과제를 해결하기 위한 수단으로서, 본 발명의 실시 예에 따르면, IOT 가전 제어 시스템은, 다수의 IOT(IOT: Internet Of Things) 가전들을 무선 통신에 의해 제어하는 다수의 가전 제어 서버들; 상기 다수의 IOT 가전들 중 하나 이상의 동작을 제어하기 위한 명령을 사용자로부터 음성으로 입력받아 텍스트로 변환하는 다수의 AI 스피커들; 및 상기 다수의 AI 스피커들 중 하나로부터 수신되는 텍스트 형태의 명령을 분석하여 상기 사용자가 제어하기 위한 하나 이상의 IOT 가전을 검색하고, 상기 사용자의 명령에 해당하는 기능을 수행하기 위한 가전 제어 프로토콜을 이용하여 상기 검색된 IOT 가전을 제어하는 가전 제어 서버로 전송하는 인터페이스 게이트웨이 서버;를 포함하고, 상기 다수의 가전 제어 서버들 중 상기 가전 제어 프로토콜을 수신한 가전 제어 서버는 상기 IOT 가전의 동작을 제어한다.As a means for solving the above technical problem, according to an embodiment of the present invention, the IOT home appliance control system, a plurality of home appliance control server for controlling a plurality of Internet of Things (IOT) home appliances by wireless communication; A plurality of AI speakers that receive a command for controlling the operation of at least one of the plurality of IOT appliances from a user as a voice and convert it into text; And analyzing a text command received from one of the plurality of AI speakers to search for one or more IOT home appliances for the user to control, and to use a home appliance control protocol to perform a function corresponding to the user's command. And an interface gateway server for transmitting the retrieved IOT home appliance to a home appliance control server. The home appliance control server receiving the home appliance control protocol among the plurality of home appliance control servers controls the operation of the IOT home appliance.

상기 인터페이스 게이트웨이 서버는, 상기 사용자의 계정에 IOT 가전들의 종류와 모델명이 매핑된 사용자 테이블과, 상기 IOT 가전들의 종류마다 해당하는 가전 제어 서버의 주소가 매핑된 주소 테이블과, 상기 IOT 가전들의 기능들을 제어하기 위한 기능 제어 프로토콜들을 저장하고, 상기 텍스트 형태의 명령에 대해 어휘 및 구문 분석을 적용하여 상기 사용자가 제어하기 위한 가전 IOT를 상기 사용자 테이블로부터 하나 이상 검색한다.The interface gateway server may include a user table in which types and model names of IOT appliances are mapped to an account of the user, an address table in which an address of an appliance control server corresponding to each type of IOT appliances is mapped, and functions of the IOT appliances. Store function control protocols for control and retrieve one or more home appliance IOTs from the user table for control by the user by applying lexical and parsing to the textual command.

상기 다수의 AI 스피커들 각각과 통신하며, 상기 AI 스피커들이 상기 텍스트 형태의 명령을 제공하는 방식을 고려하여 상기 텍스트 형태의 명령을 로딩하고, 상기 로딩된 텍스트 형태의 명령을 상기 인터페이스 게이트웨이 서버로 전송하는 게이트웨이 플러그인 장치들;을 더 포함한다.Communicate with each of the plurality of AI speakers, load the textual command in consideration of the manner in which the AI speakers provide the textual command, and send the loaded textual command to the interface gateway server Gateway plug-in devices for further comprising;

상기 다수의 IOT 가전들과 관련된 정보를 인터넷으로부터 수집 및 학습하여 상기 IOT 가전들 각각의 종류, 모델명 및 기능을 분류하고, 상기 분류된 종류, 모델명 및 기능에 대한 정보를 학습하여 기능 별로 기능코드 및 설정값을 지정하는 프로토타입을 정의하고, 상기 정의된 프로토타입에 기반하여 기능 제어 프로토콜을 정의하여 DB에 저장하며, 상기 다수의 IOT 가전들의 모델명에 해당하는 기능 제어 프로토콜을 검색하여 상기 인터페이스 게이트웨이 서버 및 상기 가전 제어 서버에게 전송하는 AI 서버;를 더 포함한다.Collect and learn the information related to the plurality of IOT appliances from the Internet to classify the type, model name and function of each of the IOT appliances, and learn the information about the classified type, model name and function to function code and Define a prototype specifying a set value, define a function control protocol based on the defined prototype and store it in a DB, search for a function control protocol corresponding to the model name of the plurality of IOT appliances the interface gateway server And an AI server transmitting to the home appliance control server.

본 발명에 따르면, AI 스피커의 제조사와 상관없이 모든 AI 스피커와 통신가능한 통합형 인터페이스 게이트웨이를 이용하여 IOT 가전을 제어함으로써 인터페이스 게이트웨이 구축에 필요한 시간과 비용을 절약할 수 있다. According to the present invention, by controlling the IOT home appliance using an integrated interface gateway that can communicate with all AI speakers regardless of the manufacturer of the AI speaker, it is possible to save time and cost required to build the interface gateway.

본 발명의 효과는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The effects of the present invention are not limited to those mentioned above, and other effects not mentioned will be clearly understood by those skilled in the art from the following description.

도 1은 본 발명의 실시 예에 따른 AI 스피커를 이용한 IOT 가전 시스템을 도시한 도면,
도 2는 본 발명의 실시 예에 따른 IOT 가전의 기능 제어 프로토콜 생성을 위한 AI 서버를 도시한 블록도,
도 3은 본 발명의 실시 예에 따른 통합형 IF GW 서버를 도시한 블록도,
도 4는 본 발명의 실시 예에 따른 AI 서버의 IOT 가전의 기능 제어 프로토콜 생성 방법을 설명하기 위한 흐름도,
도 5는 본 발명의 실시 예에 따른 신규 IOT 가전의 등록 방법을 설명하기 위한 흐름도, 그리고,
도 6은 본 발명의 실시 예에 따른 IOT 가전의 동작 제어 방법을 설명하기 위한 흐름도이다.
1 is a diagram illustrating an IOT home appliance system using an AI speaker according to an embodiment of the present invention;
2 is a block diagram illustrating an AI server for generating a function control protocol of an IOT consumer according to an embodiment of the present invention;
3 is a block diagram illustrating an integrated IF GW server according to an embodiment of the present invention;
4 is a flowchart illustrating a method for generating a function control protocol of an IOT home appliance of an AI server according to an embodiment of the present invention;
5 is a flowchart illustrating a method of registering a new IOT home appliance according to an embodiment of the present invention;
6 is a flowchart illustrating an operation control method of an IOT household appliance according to an exemplary embodiment of the present disclosure.

이상의 본 발명의 목적들, 다른 목적들, 특징들 및 이점들은 첨부된 도면과 관련된 이하의 바람직한 실시 예들을 통해서 쉽게 이해될 것이다. 그러나 본 발명은 여기서 설명되는 실시 예들에 한정되지 않고 다른 형태로 구체화될 수도 있다. 오히려, 여기서 소개되는 실시 예들은 개시된 내용이 철저하고 완전해질 수 있도록 그리고 당업자에게 본 발명의 사상이 충분히 전달될 수 있도록 하기 위해 제공되는 것이다.Objects, other objects, features and advantages of the present invention will be readily understood through the following preferred embodiments associated with the accompanying drawings. However, the present invention is not limited to the embodiments described herein and may be embodied in other forms. Rather, the embodiments introduced herein are provided so that the disclosure may be made thorough and complete, and to fully convey the spirit of the present invention to those skilled in the art.

본 명세서에서 제1, 제2 등의 용어가 구성요소들을 기술하기 위해서 사용된 경우, 이들 구성요소들이 이 같은 용어들에 의해서 한정되어서는 안 된다. 이들 용어들은 단지 어느 구성요소를 다른 구성요소와 구별시키기 위해서 사용되었을 뿐이다. 여기에 설명되고 예시되는 실시 예들은 그것의 상보적인 실시 예들도 포함한다.Where the terms first, second, etc. are used herein to describe the components, these components should not be limited by these terms. These terms are only used to distinguish one component from another. The embodiments described and illustrated herein also include complementary embodiments thereof.

또한, 제1 엘리먼트 (또는 구성요소)가 제2 엘리먼트(또는 구성요소) 상(ON)에서 동작 또는 실행된다고 언급될 때, 제1 엘리먼트(또는 구성요소)는 제2 엘리먼트(또는 구성요소)가 동작 또는 실행되는 환경에서 동작 또는 실행되거나 또는 제2 엘리먼트(또는 구성요소)와 직접 또는 간접적으로 상호 작용을 통해서 동작 또는 실행되는 것으로 이해되어야 할 것이다.In addition, when it is mentioned that a first element (or component) is operated or executed on a second element (or component), the first element (or component) is a second element (or component). It is to be understood that the operation or execution in the environment in which the operation or the execution is performed or the operation or execution is performed through direct or indirect interaction with the second element (or component).

어떤 엘리먼트, 구성요소, 장치, 또는 시스템이 프로그램 또는 소프트웨어로 이루어진 구성요소를 포함한다고 언급되는 경우, 명시적인 언급이 없더라도, 그 엘리먼트, 구성요소, 장치, 또는 시스템은 그 프로그램 또는 소프트웨어가 실행 또는 동작하는데 필요한 하드웨어(예를 들면, 메모리, CPU 등)나 다른 프로그램 또는 소프트웨어(예를 들면 운영체제나 하드웨어를 구동하는데 필요한 드라이버 등)를 포함하는 것으로 이해되어야 할 것이다.Where an element, component, device, or system is referred to as including a component made up of a program or software, even if no explicit mention is made, the element, component, device, or system may be executed or operated by the program or software. It should be understood to include the hardware necessary to run (eg, memory, CPU, etc.) or other programs or software (eg, an operating system or drivers needed to run the hardware, etc.).

또한, 어떤 엘리먼트(또는 구성요소)가 구현됨에 있어서 특별한 언급이 없다면, 그 엘리먼트(또는 구성요소)는 소프트웨어, 하드웨어, 또는 소프트웨어 및 하드웨어 어떤 형태로도 구현될 수 있는 것으로 이해되어야 할 것이다.In addition, it is to be understood that an element (or component) may be implemented in software, hardware, or any form of software and hardware, unless otherwise specified in the implementation of any element (or component).

또한, 본 명세서에서 사용된 용어는 실시 예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 '포함한다(comprises)' 및/또는 '포함하는(comprising)'은 언급된 구성요소는 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다.Also, the terminology used herein is for the purpose of describing particular embodiments only and is not intended to be limiting of the invention. In this specification, the singular also includes the plural unless specifically stated otherwise in the phrase. As used herein, the words 'comprises' and / or 'comprising' do not exclude the presence or addition of one or more other components.

이하, 도면을 참조하여 본 발명을 상세히 설명하도록 한다. 어떤 경우에는, 발명을 기술하는 데 있어서 흔히 알려졌으면서 발명과 크게 관련 없는 부분들은 본 발명을 설명하는 데 있어 별 이유 없이 혼돈이 오는 것을 막기 위해 기술하지 않음을 미리 언급해 둔다. Hereinafter, the present invention will be described in detail with reference to the accompanying drawings. In some cases, it is mentioned in advance that parts of the invention which are commonly known in the description of the invention and which are not highly related to the invention are not described in order to prevent confusion in explaining the invention without cause.

도 1에 도시된 IOT 가전의 기능 제어 프로토콜 생성을 위한 AI 서버(100)의 각각의 구성은 기능 및 논리적으로 분리될 수 있음을 나타내는 것이며, 반드시 각각의 구성이 별도의 물리적 장치로 구분되거나 별도의 코드로 작성됨을 의미하는 것은 아님을 본 발명의 기술분야의 평균적 전문가는 용이하게 추론할 수 있을 것이다. Each configuration of the AI server 100 for generating a function control protocol of the IOT home appliance illustrated in FIG. 1 indicates that functions and logic may be logically separated, and each configuration may be divided into separate physical devices or may be separately It will be easy for the average expert in the technical field of the present invention to deduce that it is not meant to be written in code.

또한, 본 명세서에서 DB라 함은, 각각의 DB에 대응되는 정보를 저장하는 소프트웨어 및 하드웨어의 기능적 구조적 결합을 의미할 수 있다. DB는 적어도 하나의 테이블로 구현될 수도 있으며, 상기 DB에 저장된 정보를 검색, 저장, 및 관리하기 위한 별도의 DBMS(Database Management System)를 더 포함할 수도 있다. 또한, 링크드 리스트(linked-list), 트리(Tree), 관계형 DB의 형태 등 다양한 방식으로 구현될 수 있으며, 상기 DB에 대응되는 정보를 저장할 수 있는 모든 데이터 저장매체 및 데이터 구조를 포함한다.In addition, the term "DB" in the present specification may mean a functional structural combination of software and hardware that stores information corresponding to each DB. The DB may be implemented with at least one table, and may further include a separate DBMS (Database Management System) for searching, storing, and managing information stored in the DB. In addition, it may be implemented in various ways such as a linked-list, a tree, a relational DB, and includes all data storage media and data structures capable of storing information corresponding to the DB.

상기 IOT 가전의 기능 제어 프로토콜 생성을 위한 AI 서버(100)를 위한 프로그램은 소정의 데이터 프로세싱 장치에 설치되어 본 발명의 기술적 사상을 구현할 수 있다.The program for the AI server 100 for generating the function control protocol of the IOT home appliance may be installed in a predetermined data processing apparatus to implement the technical idea of the present invention.

도 1은 본 발명의 실시 예에 따른 AI 스피커를 이용한 IOT 가전 시스템을 도시한 도면이다.1 is a diagram illustrating an IOT home appliance system using an AI speaker according to an exemplary embodiment of the present invention.

도 1을 참조하면, IOT 가전 시스템은 AI 서버(100), 다수의 AI 스피커들(210, 220), 다수의 AI 게이트웨이 플러그인 장치들(310, 320), 인터페이스 게이트웨이 서버(IF GW 서버, 400) 및 다수의 가전 제어 서버들(510, 520, 530)을 포함한다.Referring to FIG. 1, the IOT home appliance system includes an AI server 100, a plurality of AI speakers 210 and 220, a plurality of AI gateway plug-in devices 310 and 320, and an interface gateway server (IF GW server) 400. And a plurality of home appliance control servers 510, 520, and 530.

AI 서버(100)는 IOT 가전에 대한 정보를 인터넷으로부터 수집하거나 AI 서버(100)의 관리자로부터 입력받아 IOT 가전의 기능 별로 기능 제어 프로토콜을 정의할 수 있다. 그리고, AI 서버(100)는 정의된 기능 제어 프로토콜을 IF GW 서버(400)와 IOT 가전을 제어하는 가전 제어 서버(510)에게 전달할 수 있다. The AI server 100 may collect information on the IOT home appliance from the Internet or receive an input from an administrator of the AI server 100 to define a function control protocol for each function of the IOT home appliance. The AI server 100 may deliver the defined function control protocol to the IF GW server 400 and the home appliance control server 510 controlling the IOT home appliance.

AI 서버(100)는 클라우드 컴퓨팅 시스템으로 구현되어 동작하거나 클라우드에 접속하여 해당 동작을 수행할 수 있다. 예를 들어, AI 서버(100)는 인터넷을 통해 클라우드에 접속하여 클라우드에 취합 저장된 IOT 가전들의 정보(웹페이지, PDF 파일, 텍스트 명세 등 다양)를 수집하거나, IOT 가전의 모델명마다 생성된 기능 제어 프로토콜을 AI DB(140) 외 클라우드에 저장할 수도 있다.The AI server 100 may be implemented as a cloud computing system to operate or access a cloud to perform a corresponding operation. For example, the AI server 100 collects the information (various webpages, PDF files, text specifications, etc.) of the IOT appliances collected and stored in the cloud by accessing the cloud through the Internet, or controlling functions generated for each model name of the IOT appliances. The protocol may be stored in the cloud other than the AI DB 140.

다수의 AI 스피커들(210, 220)은 와이파이와 같은 무선 인터넷 방식을 통해 사용자들로부터 IOT 가전들(610, 620, 630)의 동작(또는 기능)을 제어하기 위한 음성 명령을 수신하고, 수신된 음성 명령을 STT(Speech to Text) 모듈을 이용하여 텍스트로 변환한다. The plurality of AI speakers 210 and 220 receive voice commands for controlling the operation (or function) of the IOT appliances 610, 620, and 630 from users through a wireless Internet method such as Wi-Fi. Voice commands are converted to text using the Speech to Text (STT) module.

다수의 AI 게이트웨이 플러그인 장치들(310, 320)은 AI 스피커들(210, 220)의 제조사마다 STT(즉, 텍스트)를 가져오는 로딩 방식이 다르므로, 각 로딩 방식에 맞게 개발된 텍스트 로딩 플러그인을 실행하여 텍스트를 로딩할 수 있다. 예를 들어, AI 스피커(210)의 경우, Web App 형태로 텍스트를 로딩하기 위한 플러그인 프로그램이 AI 게이트웨이 플러그인 장치(310)에서 실행된다. 또한, AI 스피커(220)의 경우, 람다 형태로 텍스트를 로딩하기 위한 플러그인 프로그램이 AI 게이트웨이 플러그인 장치(320)에서 실행된다.Since many AI gateway plug-in devices 310 and 320 have different loading methods for bringing STT (ie, text) to each manufacturer of AI speakers 210 and 220, a text loading plug-in developed for each loading method is used. You can run it to load text. For example, in the case of the AI speaker 210, a plug-in program for loading text in the form of a web app is executed in the AI gateway plug-in device 310. In addition, in the case of the AI speaker 220, a plug-in program for loading text in a lambda form is executed in the AI gateway plug-in device 320.

본 발명의 실시 예에서, 하나의 IF GW 서버(400)를 이용하여 통합형 IOT 가전 제어 서비스를 제공하기 위해 AI 스피커들(210, 220)의 제조사 별로 플러그인 프로그램이 개발되어 실행된다.In an embodiment of the present invention, a plug-in program is developed and executed for each manufacturer of AI speakers 210 and 220 to provide an integrated IOT home appliance control service using one IF GW server 400.

IF GW 서버(400)는 AI 스피커들(210, 220)의 제조사와 상관없이 모든 AI 스피커들(210, 220)로부터 텍스트로 변환된 음성 명령을 AI 게이트웨이 플러그인 장치들(310, 320)을 통해 수신하여 처리할 수 있는 통합형 서버이다. IF GW 서버(400)는 IOT 가전의 등록 및 제어를 위해 AI 서버(100)로부터 각 IOT 가전의 기능 제어 프로토콜을 수신하고, 이를 이용하여 IOT 가전들(610, 620, 630)을 등록하고, 각 동작을 제어할 수 있다.The IF GW server 400 receives voice commands converted to text from all AI speakers 210 and 220 through the AI gateway plug-in devices 310 and 320 regardless of the manufacturer of the AI speakers 210 and 220. It is an integrated server that can be processed. The IF GW server 400 receives a function control protocol of each IOT home appliance from the AI server 100 for registration and control of the IOT home appliance, and registers the IOT home appliances 610, 620, and 630 by using the same. You can control the operation.

다수의 가전 제어 서버들(510, 520, 530)은 각각 다른 종류의 IOT 가전의 동작을 무선 통신으로 제어한다. 예를 들어, 가전 제어 서버(510)는 공기청정기를, 가전 제어 서버(520)는 IOT 세탁기를, 가전 제어 서버(530)는 TV를 제어한다. 다수의 가전 제어 서버들(510, 520, 530)은 IOT가전의 종류별로 설치되거나, IOT 가전의 제조사와 종류마다 설치될 수도 있다. The plurality of home appliance control servers 510, 520, and 530 control wirelessly the operation of different types of IOT home appliances, respectively. For example, the home appliance control server 510 controls the air cleaner, the home appliance control server 520 controls the IOT washing machine, and the home appliance control server 530 controls the TV. The plurality of home appliance control servers 510, 520, and 530 may be installed for each type of IOT appliances, or may be installed for each manufacturer and type of IOT appliances.

이하에서는 도 2 내지 도 6을 참조하여 본 발명의 실시 예에 따른 AI 스피커를 이용한 IOT 가전 시스템의 동작에 대해 자세히 설명한다.Hereinafter, an operation of an IOT home appliance system using an AI speaker according to an exemplary embodiment of the present disclosure will be described in detail with reference to FIGS. 2 to 6.

1. AI 서버(100)의 IOT 가전의 기능 제어 프로토콜 생성 동작1. Operation of generating a function control protocol of the IOT home appliance of the AI server 100

도 2는 본 발명의 실시 예에 따른 IOT 가전의 기능 제어 프로토콜 생성을 위한 AI 서버(100)를 도시한 블록도이다.2 is a block diagram illustrating an AI server 100 for generating a function control protocol of an IOT home appliance according to an embodiment of the present invention.

도 2를 참조하면, 본 발명의 실시 예에 따른 IOT 가전의 기능 제어 프로토콜 생성을 위한 AI 서버(100)는 서버 통신부(110), 서버 메모리(120), 서버 프로세서(130) 및 AI DB(Database)(140)를 포함할 수 있다.2, the AI server 100 for generating a function control protocol of an IOT home appliance according to an embodiment of the present invention includes a server communication unit 110, a server memory 120, a server processor 130, and an AI DB (Database). ) 140 may be included.

서버 통신부(110)는 IOT 가전을 무선으로 제어하는 가전 제어 서버(510)와, AI 스피커(210)로부터 IOT 가전의 동작 제어를 위한 사용자 음성 명령을 수신하여 가전 제어 서버(510)로 전송하는 IF GW 서버(400)와 통신할 수 있다.The server communication unit 110 receives a user voice command for controlling the operation of the IOT home appliance from the AI speaker 210 and the home appliance control server 510 wirelessly controlling the IOT home appliance, and transmits the IF to the home appliance control server 510. Communicate with GW server 400.

서버 메모리(120)는 휘발성 메모리 및/또는 비휘발성 메모리를 포함할 수 있다. 서버 메모리(120)에는 AI 서버(100)가 제공하는 동작, 기능 등을 구현 및/또는 제공하기 위하여, 구성요소들에 관계된 명령 또는 데이터, 하나 이상의 프로그램 및/또는 소프트웨어, 운영체제 등이 저장될 수 있다.The server memory 120 may include volatile memory and / or nonvolatile memory. The server memory 120 may store instructions or data related to components, one or more programs and / or software, an operating system, etc. to implement and / or provide operations, functions, and the like provided by the AI server 100. have.

예를 들어, 서버 메모리(120)에는 IF GW 서버(400)와 가전 제어 서버들(510, 520, 530)과 통신가능한 주소가 저장될 수 있다.For example, the server memory 120 may store an address that can communicate with the IF GW server 400 and the home appliance control servers 510, 520, and 530.

또한, 서버 메모리(120)에는 사물인터넷(IOT) 가전과 관련된 정보(이하, 'IOT 가전 정보'라 한다)를 학습하여 IOT 가전의 기능 제어를 위한 기능 제어 프로토콜을 생성하기 위한 프로토콜 생성 프로그램이 저장될 수 있다. In addition, the server memory 120 stores a protocol generation program for learning information related to IoT home appliances (hereinafter referred to as "IOT home appliance information") to generate a function control protocol for controlling the function of the IOT home appliance. Can be.

서버 프로세서(130)는 서버 메모리(120)에 저장된 하나 이상의 프로그램을 실행하여 AI 서버(100)의 전반적인 동작을 제어한다. The server processor 130 controls the overall operation of the AI server 100 by executing one or more programs stored in the server memory 120.

예를 들어, 서버 프로세서(130)는 서버 메모리(120)에 저장된 프로토콜 생성 프로그램을 실행하여 IOT 가전 정보를 수집 및 학습하여 IOT 가전의 종류, 모델명 및 기능을 분류하고, 분류된 종류, 모델명 및 기능에 대한 정보를 학습하여 기능 별로 기능코드 및 설정값을 지정하는 프로토타입을 정의하고, 정의된 프로토타입에 기반하여 기능 제어 프로토콜을 정의할 수 있다.For example, the server processor 130 executes a protocol generation program stored in the server memory 120 to collect and learn IOT home appliance information, classify the type, model name, and function of the IOT home appliance, and classify the classified type, model name, and function. You can learn the information about and define a prototype that specifies the function code and setting value for each function, and define the function control protocol based on the defined prototype.

이를 위하여, 서버 프로세서(130)는 수집부(131), 검색부(132), 학습부(133), 프로토타입 정의부(134) 및 프로토콜 정의부(135)를 포함할 수 있다.To this end, the server processor 130 may include a collector 131, a searcher 132, a learner 133, a prototype definer 134, and a protocol definer 135.

수집부(131)는 인터넷에 공개된 웹페이지를 로딩하여 IOT 가전 정보를 수집할 수 있다. 수집부(131)는 예를 들어 IOT와 관련된 웹페이지를 검색하여 로딩하거나, AI 서버(100)의 관리자로부터 IOT 가전의 모델명을 입력받으면 입력된 모델명에 해당하는 웹페이지를 로딩할 수도 있다. 또는, 수집부(131)는 관리자로부터 IOT 가전 정보(예를 들어, PDF 파일, 텍스트로 작성된 문서 파일 등)를 직접 제공받을 수 있다.The collection unit 131 may load IOT home appliance information by loading a web page published on the Internet. For example, the collection unit 131 may search for and load a web page related to the IOT, or may load a web page corresponding to the input model name when the model name of the IOT home appliance is input from the administrator of the AI server 100. Alternatively, the collection unit 131 may directly receive IOT home appliance information (for example, a PDF file, a text file written in text, etc.) from an administrator.

검색부(132)는 수집된 웹페이지의 이미지로부터 텍스트를 추출하고, 웹페이지의 html 페이지 소스와 이미지로부터 추출된 텍스트로부터 IOT 가전의 종류, 모델명 및 기능에 대한 정보를 검색할 수 있다.The search unit 132 may extract text from the collected images of the web page, and search for information on the type, model name, and function of the IOT appliance from the html page source of the web page and the text extracted from the image.

학습부(133)는 검색된 IOT 가전의 종류, 모델명 및 기능에 대한 정보를 학습하여 IOT 가전의 종류, 모델명 및 기능을 분류하고, 분류된 결과를 텍스트 형태로 프로토타입 정의부(134)로 전달할 수 있다. 예를 들어, 학습부(133)는 딥러닝이나 머신러닝을 통해 수집 및 검색된 정보를 학습할 수 있다. The learning unit 133 may classify the type, model name, and function of the IOT appliances by searching for information on the type, model name, and function of the found IOT appliances, and may transfer the classified results to the prototype definition unit 134 in text form. have. For example, the learner 133 may learn the information collected and retrieved through deep learning or machine learning.

프로토타입 정의부(134)는 학습부(133)에서 분류된 IOT 가전에 대한 기능 제어 프로토콜이 AI DB(140)에 미저장되어 있으면, 분류된 IOT 가전의 종류, 모델명 및 기능에 대한 정보를 학습할 수 있다. 예를 들어, 프로토타입 정의부(134)는 학습부(133)로부터 수신한 텍스트 형태의 분류된 결과에서 IOT 가전의 종류 및 기능을 판단할 수 있는 의미있는 토큰이 어떤 것인지 판단하지 못하기 때문에, 딥러닝의 텍스트 마이닝 알고리즘을 사용하여 의미있는 토큰을 찾을 수 있다. 이를 명령 의미 학습이라 한다. 그리고, 프로토타입 정의부(134)는 명령 의미 학습 결과에 따라, 즉, 의미있는 토큰의 추출 결과에 따라 IOT 가전의 기능 별로 기능코드 및 설정값을 지정하는 프로토타입을 정의할 수 있다.The prototype definition unit 134 learns the information on the type, model name, and function of the classified IOT appliances if the function control protocol for the IOT appliances classified by the learner 133 is not stored in the AI DB 140. can do. For example, since the prototype defining unit 134 does not determine which meaningful token can determine the type and function of the IOT home appliance from the classified result in the text form received from the learning unit 133, You can use Deep Learning's text mining algorithms to find meaningful tokens. This is called instruction semantic learning. In addition, the prototype defining unit 134 may define a prototype that specifies a function code and a setting value for each function of the IOT home appliance according to the instruction semantic learning result, that is, the extraction result of the meaningful token.

[표 1]은 IOT 가습기에 대해 추출된 의미있는 토큰들 중 기능에 대해 정의된 프로토타입의 일 예를 보여준다.Table 1 shows an example of the prototype defined for the function among the meaningful tokens extracted for the IOT humidifier.

기능명Function name 기능코드Function code ValueValue 플라즈마 plasma powerpower ON, OFFON, OFF 가습량Humidification humidifyingAmthumidifyingAmt 0: 정지1: 약
2: 중
3: 강
0: stop 1: approx.
2: medium
3: steel
꺼짐 예약Off schedule off_reservation_setoff_reservation_set 1: OFF2: 2H
3: 4H
4: 8H
5: 1H
1: OFF2: 2H
3: 4H
4: 8H
5: 1H

[표 1]을 참조하면, 일 예로 플라즈마 기능에 대한 기능코드는 'power'가 설정되고, 설정값으로서는 켜짐(on)과 꺼짐(off)이 설정되어 플라즈마에 대한 프로토타입이 정의된다.프로토콜 정의부(135)는 프로토타입 정의부(134)에서 기능마다 정의된 프로토타입에 기반하여 네트워크를 통해 통신가능한 형태의 기능 제어 프로토콜을 기능 별로 정의할 수 있다.Referring to [Table 1], as an example, the function code for the plasma function is set to 'power', and the set value is set to on and off to define a prototype for the plasma. The unit 135 may define, for each function, a function control protocol in a form that can be communicated through a network based on a prototype defined for each function in the prototype definition unit 134.

[표 2]는 [표 1]의 프로토타입에 기반하여 정의된 기능 제어 프로토콜을 보여준다.Table 2 shows the function control protocols defined based on the prototypes in Table 1.

{
"power":"on",
"humidifyingAmt":"1",
"off_reservation_set":"1"
}
{
"power": "on",
"humidifyingAmt": "1",
"off_reservation_set": "1"
}

[표 2]를 참조하면, 플라즈마 기능은 온, 가습량은 약(1), 꺼짐 예약 기능은 사용하지 않음(1)으로 정의된 기능 제어 프로토콜들이 IOT 가습기에 대해 정의된다.한편, 서버 프로세서(130)는 IF GW 서버(400)로부터 가전 제어 서버(510)에 등록하기 위한 신규 IOT 가전의 모델명이 수신되면, 신규 IOT 가전의 모델명에 해당하는 기능 제어 프로토콜을 AI DB(140)로부터 검색하여 IF GW 서버(400)로 전송하도록 처리할 수 있다.또한, 서버 프로세서(130)는 IF GW 서버(400)로부터 수신된 신규 IOT 가전의 모델명에 해당하는 기능 제어 프로토콜이 AI DB(140)에 등록되어 있지 않으면, 신규 IOT 가전에 대한 정보를 수집 및 학습하여 기능 제어 프로토콜을 생성한 후 IF GW 서버(400)로 전송하도록 처리할 수 있다.Referring to [Table 2], the function control protocols defined as the plasma function is on, the humidification amount is about (1), and the off reservation function is not used (1) are defined for the IOT humidifier. ) Receives a model name of a new IOT home appliance for registering to the home appliance control server 510 from the IF GW server 400, retrieves a function control protocol corresponding to the model name of the new home appliance from the AI DB 140, and returns the IF GW. The server processor 130 may not transmit a function control protocol corresponding to the model name of the new IOT home appliance received from the IF GW server 400 in the AI DB 140. If not, the information about the new IOT home appliance may be collected and learned to generate a function control protocol and then transmitted to the IF GW server 400.

예를 들어, 신규 IOT 가전의 모델명에 대한 정보를 인터넷으로부터 수집 및 학습한 결과, 즉, 학습부(133)에서 분류된 텍스트 형태의 결과가 [표 3]과 같다.For example, as a result of collecting and learning information on a model name of a new IOT home appliance from the Internet, that is, a text form classified by the learning unit 133 is shown in [Table 3].

기본정보
제품명   유비 공기청정기
모델명   AAA-111, BBB-222,
        2018년 3월 31일, 2017년 9월 25일
          
제품사양
색상     화이트
사용면적           66㎡
에너지등급        1등급
정격전압           220V/60Hz
크기     370(W) X 370(D) X 795(H)mm
무게     14kg
청정시스템        4단계 마이크로 에어케어 시스템 / 양방향 2중 필터 적용
센서     스마트센서(먼지센서 / 냄새센서 / 조도센서)
인증/수상내역     CA인증, KAA 아토피 안심마크 / 핀업디자인어워드
A/S      2년(홈페이지내 제품등록시)
 
기능
플라즈마웨이브 2.0 안심제균        ○
스마트센서        ○
4단계 오염도 표시          ○
SMARTHOME™   ○
UV+ 안심제균     ○
6단계운전모드    ○
3D터보청정       ○
Basic Information
Ubi Air Purifier
Model Name AAA-111, BBB-222,
March 31, 2018, September 25, 2017

Specifications
Color white
Usage area 66㎡
Energy class 1 class
Rated voltage 220V / 60Hz
Size 370 (W) X 370 (D) X 795 (H) mm
14 kg
Clean system 4-stage micro air care system / Bi-directional dual filter
Sensor Smart Sensor (Dust Sensor / Odor Sensor / Ambient Light Sensor)
Certification / Awards CA Certification, KAA Atopy Safety Mark / Pinup Design Award
A / S 2 years (when product is registered on homepage)

function
Plasma Wave 2.0 Safe Antibacterial ○
Smart Sensor ○
4 levels of pollution degree ○
SMARTHOME ™ ○
UV + Antibacterial ○
6-step operation mode ○
3D Turbo Clean ○

프로토타입 정의부(134)는 [표 3]과 같은 결과에 대해 명령 의미 학습을 수행한 결과 의미있는 토큰으로서 밑줄 친 텍스트들을 추출할 수 있다. 그리고, 프로토타입 정의부(134)는 추출된 의미있는 토큰들 중 기능에 대한 토큰, 즉, 운전모드, 터보청정, 플라즈마웨이브, UV+ 안심제균을 다시 추출하여 프로토타입을 정의한다. 프로토콜 정의부(135)는 각 기능별로 정의된 프로토타입에 대해 다음 [표 4]와 같은 기능 제어 프로토콜을 정의한다.The prototype definition unit 134 may extract underlined text as a meaningful token as a result of performing command semantic learning on the result as shown in [Table 3]. In addition, the prototype defining unit 134 defines a prototype by extracting a token for a function among the extracted meaningful tokens, that is, a driving mode, a turbo clean, a plasma wave, and a UV + safe bacterium. The protocol defining unit 135 defines a function control protocol as shown in the following [Table 4] for the prototype defined for each function.

{
  "plasma_wave":"on",
  "uv":"on",
  "airflow":"1",
  "turbo":"on"
}
{
"plasma_wave": "on",
"uv": "on",
"airflow": "1",
"turbo": "on"
}

그리고, 프로토콜 정의부(135)는 [표 4]와 같은 기능 외에 신규 IOT 가전의 다른 기본 기능(예를 들어, 전원 온 오프)에 대해서도 기능 제어 프로토콜을 추가로 정의할 수 있다. 또는, 프로토콜 정의부(135)는 신규 IOT 가전과 동일한 회사에서 제조된 다른 IOT 가전의 기능에 대해 정의된 기능 제어 프로토콜들 중 기본 기능에 대해 정의된 기능 제어 프로토콜을 읽어와 신규 IOT 가전의 기능 제어 프로토콜로서 추가로 정의할 수 있다. AI DB(140)는 서버 프로세서(130)에 의해 정의된 기능 제어 프로토콜들을 IOT 가전의 종류와 모델명에 매핑저장할 수 있다. 또한, AI DB(140)는 정의된 기능 제어 프로토콜을 IOT 가전의 종류와 기능 별로 개별저장할 수도 있다. 후자의 경우, [표 3] 및 [표 4]를 참조하여 설명한 신규 IOT 가전의 기능 제어 프로토콜 등록 시 사용될 수 있다.The protocol defining unit 135 may further define a function control protocol for other basic functions (eg, power on and off) of the new IOT home appliance in addition to the functions as shown in [Table 4]. Alternatively, the protocol defining unit 135 reads the function control protocol defined for the basic function among the function control protocols defined for the function of another IOT home appliance manufactured by the same company as the new IOT home appliance to control the function of the new IOT home appliance. It can be further defined as a protocol. The AI DB 140 may map and store the function control protocols defined by the server processor 130 to the type and model name of the IOT home appliance. In addition, the AI DB 140 may individually store the defined function control protocol for each type and function of the IOT home appliance. In the latter case, it can be used when registering the function control protocol of the new IOT consumer described with reference to [Table 3] and [Table 4].

2. AI를 이용한 IOT 가전 시스템의 신규 IOT 가전 등록 동작2. Registering new IOT home appliances in the IOT home appliance system using AI

도 1을 참조하면, IF GW 서버(400)는 AI 스피커(210)로부터 텍스트로 변환된 등록 요청 정보(등록하기 위한 신규 IOT 가전의 모델명을 포함하는 정보)를 수신하면, 수신된 등록 요청 정보 중 모델명에 해당하는 기능 제어 프로토콜을 AI 서버(100)에게 요청하고, AI 서버(100)로부터 전송된 기능 제어 프로토콜을 이용하여 신규 IOT 가전을 등록할 수 있다.Referring to FIG. 1, when the IF GW server 400 receives registration request information (information including a model name of a new IOT home appliance for registration) converted from the AI speaker 210 into text, the received IF request information is received. The AI server 100 may request a function control protocol corresponding to the model name, and may register a new IOT home appliance using the function control protocol transmitted from the AI server 100.

자세히 설명하면, AI 스피커(210)는 등록 요청 정보를 사용자로부터 음성으로 입력받아 텍스트로 변환하고, AI 게이트웨이 플러그인 장치(310)는 텍스트로 변환된 등록 요청 정보를 로딩하여 IF GW 서버(400)로 전송한다.In detail, the AI speaker 210 receives registration request information as a voice from a user and converts the registration request information into text, and the AI gateway plug-in device 310 loads the registration request information converted into text to the IF GW server 400. send.

IF GW 서버(400)는 등록 요청 정보가 수신되면 가전 등록 프로그램을 실행하여 수신된 등록 요청 정보를 분석한다. 분석 결과, 신규 IOT 가전의 등록에 필요한 필수 정보가 누락된 경우, IF GW 서버(400)는 누락된 필수 정보를 AI 게이트웨이 플러그인 장치들(310)를 통해 AI 스피커(210)에게 요청할 수 있다. 필수 정보는 신규 IOT 가전의 모델명과 신규 IOT 가전이 사용할 WIFI의 SSID(Service Set IDentifier)를 포함할 수 있다.When the registration request information is received, the IF GW server 400 executes the home appliance registration program and analyzes the received registration request information. As a result of the analysis, when essential information necessary for registration of a new IOT home appliance is missing, the IF GW server 400 may request the AI speaker 210 through the AI gateway plug-in devices 310 for missing essential information. The essential information may include a model name of a new IOT appliance and a service set identifier (SSID) of WIFI to be used by the new IOT appliance.

예를 들어, 사용자가 AI 스피커(210)에게 '스피커야, 공기청정기 등록해 줘'라고 음성으로 요청하는 경우, IF GW 서버(400)는 '스피커야, 공기청정기 등록해 줘'라는 텍스트에 대해 어휘 및 구문 분석을 적용하여 필수 정보의 누락 여부를 판단하고, 누락된 필수 정보인 공기청정기의 모델명과 SSID를 요청할 수 있다.For example, if the user requests the AI speaker 210 with a voice, 'speaker, please register the air purifier', IF GW server 400 is about the text 'speaker, please register the air purifier' It is possible to determine whether the required information is missing by applying vocabulary and syntax analysis, and request the model name and SSID of the air purifier, which is missing required information.

AI 스피커(210)로부터 신규 IOT 가전의 필수 정보를 모두 포함하는 등록 요청 정보가 수신되면, IF GW 서버(400)는 등록 요청 정보 중 모델명에 해당하는 기능 제어 프로토콜을 AI 서버(100)에게 요청한다. 기능 제어 프로토콜 요청 시, IF GW 서버(400)는 신규 IOT 가전이 IOT 공기청정기인 경우, IOT 공기청정기를 제어하는 가전 제어 서버(예를 들어, 510)의 통신 주소도 AI 서버(100)에게 제공할 수 있다.If registration request information including all necessary information of the new IOT home appliance is received from the AI speaker 210, the IF GW server 400 requests the AI server 100 for a function control protocol corresponding to a model name from the registration request information. . When requesting a function control protocol, IF GW server 400 provides the AI server 100 with a communication address of a home appliance control server (eg, 510) that controls the IOT air purifier when the new IOT home appliance is an IOT air purifier. can do.

AI 서버(100)는 IF GW 서버(400)의 요청에 의해 모델명에 해당하는 기능 제어 프로토콜을 검색하여 IF GW 서버(400)와 가전 제어 서버(510)에게 전송할 수 있다. The AI server 100 may search for a function control protocol corresponding to the model name by the request of the IF GW server 400 and transmit the function control protocol to the IF GW server 400 and the home appliance control server 510.

또는, AI 서버(100)는 IF GW 서버(400)에게 기능 제어 프로토콜을 전송하면, IF GW 서버(400)가 신규 IOT 가전의 종류를 확인하고, 확인된 종류가 공기청정기인 경우, 가전 제어 서버(510)에게 기능 제어 프로토콜을 전달할 수도 있다.Alternatively, if the AI server 100 transmits a function control protocol to the IF GW server 400, the IF GW server 400 checks the type of the new IOT home appliance, and if the checked type is an air purifier, the home appliance control server The function control protocol may be communicated to 510.

그리고, IF GW 서버(400)와 가전 제어 서버(510)는 AI 서버(100)로부터 수신되는 기능 제어 프로토콜과 등록 요청 정보(IOT 가전의 종류, 모델명, SSID 등)를 기반으로 신규 IOT 가전을 등록하고, 기능 제어 프로토콜을 이용하여 신규 IOT 가전의 기능을 제어할 수 있다.The IF GW server 400 and the home appliance control server 510 register a new IOT home appliance based on the function control protocol and registration request information (type, IOT home appliance type, model name, SSID, etc.) received from the AI server 100. The function of the new IOT home appliance can be controlled using the function control protocol.

신규 IOT 가전의 등록이 완료되면, IF GW 서버(400)는 신규 IOT 가전(610)의 제어를 담당하는 가전 제어 서버(510)의 URL(Uniform Resource Locator)을 신규 IOT 가전(610)에 전달한다. 신규 IOT 가전(610)은 가전 제어 서버(510)의 URL을 설정하고, 이후 사용자가 신규 IOT 가전(610)에서 직접 기능을 제어할 경우, 제어된 기능에 따른 가전 상태 정보를 가전 제어 서버(510)에게 전송할 수 있다. 이로써, 사용자가 등록된 신규 IOT 가전(610)에서 직접 제어 시, 가전 제어 서버(510)는 신규 IOT 가전의 상태를 실시간으로 공유하고, 사용자의 단말기(10)로 변경된 가전 상태 정보를 통지할 수 있다.When the registration of the new IOT home appliance is completed, the IF GW server 400 transmits a Uniform Resource Locator (URL) of the home appliance control server 510 in charge of controlling the new IOT home appliance 610 to the new IOT home appliance 610. . The new IOT home appliance 610 sets the URL of the home appliance control server 510, and when the user directly controls the function in the new IOT home appliance 610, the home appliance control server 510 provides the home appliance state information according to the controlled function. ) Can be sent. Thus, when the user directly controls the registered new IOT home appliance 610, the home appliance control server 510 may share the state of the new IOT home appliance in real time, and notify the user terminal 10 of the changed home appliance state information. have.

3. AI를 이용한 IOT 가전 시스템의 IOT 가전 제어 동작3. IOT home appliance control operation of IOT home appliance system using AI

도 1을 참조하면, IF GW 서버(400)는 AI 스피커(210)로부터 텍스트로 변환된 IOT 가전의 동작을 제어하기 위한 명령을 수신하면, 수신된 텍스트 형태의 명령을 분석하여 사용자가 제어하기 위한 하나 이상의 IOT 가전을 검색하고, 사용자의 명령에 해당하는 기능을 수행하기 위한 기능 제어 프로토콜을 검색된 하나 이상의 IOT 가전을 제어하는 가전 제어 서버(예를 들어, 510)에게 전송할 수 있다.Referring to FIG. 1, when the IF GW server 400 receives a command for controlling an operation of an IOT home appliance converted into text from the AI speaker 210, the IF GW server 400 analyzes the received text form command to control the user. A function control protocol for searching for one or more IOT appliances and performing a function corresponding to a user's command may be transmitted to the appliance control server (for example, 510) that controls the searched one or more IOT appliances.

자세히 설명하면, AI 스피커(210)는 IOT 가전(610)의 동작을 제어하기 위한 명령(이하, '동작 제어 명령'이라 함)을 사용자로부터 음성으로 입력받아 텍스트로 변환하고, AI 게이트웨이 플러그인 장치(310)는 텍스트로 변환된 동작 제어 명령을 AI 스피커(210)로부터 로딩하여 IF GW 서버(400)로 전송한다. 로딩되는 동작 제어 명령은 AI 스피커(210)의 식별정보와 AI 스피커(210)에 등록된 사용자 계정을 포함한다.In detail, the AI speaker 210 receives a command for controlling the operation of the IOT home appliance 610 (hereinafter, referred to as an “operation control command”) as a voice from a user, converts it into text, and converts the AI gateway plug-in device ( 310 loads the motion control command converted into text from the AI speaker 210 and transmits it to the IF GW server 400. The operation control command to be loaded includes identification information of the AI speaker 210 and a user account registered to the AI speaker 210.

IF GW 서버(400)는 동작 제어 명령이 수신되면 가전 제어 프로그램을 실행하여 수신된 동작 제어 명령에 대해 어휘 및 구문 분석을 적용하고, 적용 결과로부터 사용자가 제어하고자 하는 IOT 가전의 종류와 제어를 원하는 동작이 무엇인지 검색한다. 그리고, IF GW 서버(400)는 제어를 원하는 동작을 위한 기능 제어 프로토콜과 IOT 가전(610)이 사용하는 SSID를 IOT 가전을 제어하는 가전 제어 서버(510)에게 전송한다.IF GW server 400 receives a motion control command and executes the home appliance control program to apply vocabulary and parsing to the received motion control command, and the user wants the type and control of the IOT home appliance that the user wants to control from the application result. Retrieve what the action is. The IF GW server 400 transmits a function control protocol for an operation desired to be controlled and an SSID used by the IOT home appliance 610 to the home appliance control server 510 controlling the IOT home appliance.

예를 들어, 사용자가 AI 스피커(210)에게 '공기청정기, 강한 바람으로 바꿔 줘'라고 음성으로 요청하는 경우, IF GW 서버(400)는 '공기청정기, 강한 바람으로 바꿔 줘'라는 텍스트에 대해 어휘 및 구문 분석을 적용하여 '공기청정기/강한바람/바꿔'라는 결과를 얻는다. 그리고, IF GW 서버(400)는 사용자 계정 또는 AI 스피커(210)의 식별정보에 매핑저장된 IOT 가전 목록에 공기청정기가 있는지 검색한다.For example, when the user requests the AI speaker 210 to voice the air cleaner, change the wind strong, IF GW server 400 for the text 'air cleaner, change the strong wind' for the text Applying vocabulary and syntax analysis results in 'air purifier / strong wind / change'. In addition, the IF GW server 400 searches for an air purifier in the list of IOT appliances stored in the user account or the identification information of the AI speaker 210.

하나의 공기청정기가 검색되면, IF GW 서버(400)는 공기청정기의 모델명에 해당하는 기능 제어 프로토콜 중 강한바람으로 바꾸는 기능 제어 프로토콜을 확인하고, 공기청정기가 사용하는 SSID와 함께 공기청정기를 제어하는 가전 제어 서버(510)에게 전송한다.If one air purifier is found, the IF GW server 400 checks the function control protocol that changes the strong wind among the function control protocols corresponding to the model name of the air purifier, and controls the air purifier together with the SSID used by the air purifier. Send to home appliance control server 510.

두개의 공기청정기가 검색되면, IF GW 서버(400)는 AI 스피커(210)에게 어느 공기청정기의 제어를 원하는지 질문할 수 있다. 예를 들어, IF GW 서버(400)는 '두 대의 공기청정기가 검색되었습니다. 원하는 공기청정기를 알려주세요'라고 질문할 수 있다. 만약, 두개의 공기청정기들마다 별명(예를 들어, 커피와 캔디)이 사전에 설정되어 IF GW 서버(400)에 저장되어 있는 경우, 사용자는 제어를 원하는 공기청정기의 별명(캔디, 강한바람으로 바꿔줘)을 음성으로 대답할 수 있다. 또는, IF GW 서버(400)가 두개의 별명을 AI 스피커(210)에게 직접 전송하면서 원하는 공기청정기가 무엇인지 질문할 수도 있다.If two air cleaners are found, the IF GW server 400 may ask the AI speaker 210 which air cleaners it wants to control. For example, IF GW Server (400) says, 'Two air purifiers were detected. Please tell me which air purifier you want. ' If aliases (for example, coffee and candy) are preset in each of the two air cleaners and stored in the IF GW server 400, the user may want to control the nicknames of the air cleaners (candy, strong wind). You can answer. Alternatively, the IF GW server 400 may send the two nicknames directly to the AI speaker 210 and ask what the desired air purifier is.

가전 제어 서버(510)는 IF GW 서버(400)로부터 수신한 기능 제어 프로토콜과 SSID를 이용하여 IOT 가전(610)의 동작을 제어한다.The home appliance control server 510 controls the operation of the IOT home appliance 610 using the SSID and the function control protocol received from the IF GW server 400.

IOT 가전은 가전 제어 서버(510)로부터 수신한 기능 제어 프로토콜에 따라 동작을 수행하고, 수행 결과를 가전 제어 서버(510)로 전송하며, 최종적으로 AI 스피커(210)를 통해 사용자에게 안내되도록 한다. The IOT home appliance performs an operation according to the function control protocol received from the home appliance control server 510, transmits the execution result to the home appliance control server 510, and finally is guided to the user through the AI speaker 210.

도 3은 본 발명의 실시 예에 따른 통합형 IF GW 서버(400)를 도시한 블록도이다.3 is a block diagram illustrating an integrated IF GW server 400 according to an embodiment of the present invention.

도 3을 참조하면, IF GW 서버(400)는 GW 통신부(410), GW 메모리(420), GW 프로세서(430) 및 GW DB(440)를 포함할 수 있다. Referring to FIG. 3, the IF GW server 400 may include a GW communication unit 410, a GW memory 420, a GW processor 430, and a GW DB 440.

GW 통신부(410)는 AI 서버(100), 다수의 AI 게이트웨이 플러그인 장치들(310, 320) 및 다수의 가전 제어 서버들(510, 520, 530)과 통신할 수 있다.The GW communication unit 410 may communicate with the AI server 100, the plurality of AI gateway plug-in devices 310 and 320, and the plurality of home appliance control servers 510, 520, and 530.

GW 메모리(420)에는 IF GW 서버(400)가 제공하는 동작, 기능 등을 구현 및/또는 제공하기 위하여, 구성요소들에 관계된 명령 또는 데이터, 하나 이상의 프로그램 및/또는 소프트웨어, 운영체제 등이 저장될 수 있다.The GW memory 420 may store instructions or data related to components, one or more programs and / or software, an operating system, etc. to implement and / or provide the operations, functions, and the like provided by the IF GW server 400. Can be.

예를 들어, GW 메모리(420)에는 AI 스피커들(210, 220)에 매핑된 사용자의 단말기와 통신가능한 정보(전화번호, 메신저 ID 등)와, AI 서버(100)와 다수의 가전 제어 서버들(510, 520, 530)과 통신할 수 있는 주소가 저장될 수 있다.For example, the GW memory 420 includes information (telephone number, messenger ID, etc.) that can communicate with a user's terminal mapped to the AI speakers 210 and 220, an AI server 100, and a plurality of home appliance control servers. Addresses that can communicate with 510, 520, and 530 may be stored.

또한, GW 메모리(420)에는 신규 IOT 가전의 등록을 위한 가전 등록 프로그램과, 기등록된 IOT 가전의 실제 동작을 제어하기 위한 가전 제어 프로그램이 저장될 수 있다. In addition, the GW memory 420 may store a home appliance registration program for registering a new IOT home appliance and a home appliance control program for controlling an actual operation of a pre-registered IOT home appliance.

GW 프로세서(430)는 GW 메모리(420)에 저장된 하나 이상의 프로그램을 실행하여 IF GW 서버(400)의 전반적인 동작을 제어한다. The GW processor 430 executes one or more programs stored in the GW memory 420 to control the overall operation of the IF GW server 400.

예를 들어, GW 프로세서(130)의 등록부(431)는 AI 스피커(210)로부터 등록 요청 정보가 수신되면, 가전 등록 프로그램을 실행하여 등록 요청 정보에 대해 어휘 및 구문 분석을 실행하고, 실행 결과로부터 등록에 필요한 필수 정보의 누락 여부를 판단한다. 필수 정보가 AI 스피커(210)를 통해 모두 수신되면, 등록부(431)는 신규 IOT 가전의 모델명에 해당하는 기능 제어 프로토콜을 AI 서버(100)로부터 제공받아, 기능 제어 프로토콜을 신규 IOT 가전의 모델명과 신규 IOT 가전을 제어하는 가전 제어 서버(510)의 정보에 매핑하여 GW DB(440)에 저장하여 신규 IOT 가전을 등록한다.For example, the registration unit 431 of the GW processor 130, when registration request information is received from the AI speaker 210, executes the home appliance registration program to execute the vocabulary and parsing of the registration request information, and from the execution result Determine whether the required information required for registration is missing. When all the necessary information is received through the AI speaker 210, the registration unit 431 receives a function control protocol corresponding to the model name of the new IOT home appliance from the AI server 100, and provides the function control protocol with the model name of the new IOT home appliance. The new IOT home appliance is registered by mapping the information to the information of the home appliance control server 510 controlling the new IOT home appliance in the GW DB 440.

또한, GW 프로세서(430)의 기능 제어부(432)는 AI 스피커(210)로부터 동작 제어 명령이 수신되면 가전 제어 프로그램을 실행하여 수신된 동작 제어 명령에 대해 어휘 및 구문 분석을 적용하고, 적용 결과로부터 사용자가 제어하고자 하는 IOT 가전의 모델명을 확인하다. 그리고, 기능 제어부(432)는 GW DB(440)로부터 IOT 가전의 모델명에 매핑 저장된 기능 제어 프로토콜이 가전 제어 서버(510)에게 전송되도록 한다.In addition, the function control unit 432 of the GW processor 430, when an operation control command is received from the AI speaker 210, executes the home appliance control program to apply vocabulary and syntax analysis to the received operation control command, and from the application result Check the model name of the IOT appliance you want to control. The function control unit 432 allows the function control protocol stored in the model name of the IOT home appliance to be transmitted from the GW DB 440 to the home appliance control server 510.

GW DB(440)에는 사용자 계정마다 등록된 IOT 가전들의 종류와 모델명, 제조사, 별명, 그리고, 각 IOT 가전의 동작을 무선으로 제어하는 가전 제어 서버들(510, 520, 530)의 주소가 저장된다. 또한, GW DB(440)에는 각 IOT 가전의 모델명마다 기능 제어 프로토콜들이 매핑저장된다. The GW DB 440 stores types and models of IOT appliances registered for each user account, a manufacturer, an alias, and addresses of the appliance control servers 510, 520, and 530 which wirelessly control the operation of each IOT appliance. . In addition, the function control protocols are mapped and stored for each model name of each IOT home appliance in the GW DB 440.

도 4는 본 발명의 실시 예에 따른 AI 서버(100)의 IOT 가전의 기능 제어 프로토콜 생성 방법을 설명하기 위한 흐름도이다.4 is a flowchart illustrating a method of generating a function control protocol of an IOT home appliance by the AI server 100 according to an exemplary embodiment of the present invention.

도 4를 참조하면, AI 서버(100)는 인터넷으로부터 웹페이지를 로딩하여 IOT 가전 정보를 수집한다(S405).Referring to FIG. 4, the AI server 100 loads a web page from the Internet and collects IOT home appliance information (S405).

AI 서버(100)는 수집된 웹페이지에 이미지가 존재하면(S410-Yes), 이미지에서 텍스트를 추출한다(S415).If the image exists in the collected web page (S410-Yes), the AI server 100 extracts text from the image (S415).

AI 서버(100)는 웹페이지의 html 페이지 소스와 이미지로부터 추출된 텍스트로부터 IOT 가전의 종류, 모델명 및 기능에 대한 정보를 검색한다(S420).The AI server 100 retrieves information on the type, model name, and function of the IOT home appliance from the text extracted from the html page source and the image of the web page (S420).

AI 서버(100)는 검색된 IOT 가전의 종류, 모델명 및 기능에 대한 정보를 학습하여 IOT 가전의 종류, 모델명 및 기능을 분류하고(S425), 분류된 IOT 가전의 모델명에 대한 기능 제어 프로토콜이 AI DB(140)에 존재하면(S430-Yes), 등록된 IOT 가전의 기능별 기능 제어 프로토콜을 취합하여 AI DB(140)에 등록한다(S435).The AI server 100 classifies the type, model name, and function of the IOT appliances by learning the information on the type, model name, and function of the found IOT appliances (S425), and the function control protocol for the classified IOT appliances model name is AI DB. If present at 140 (S430-Yes), the function control protocol for each function of the registered IOT home appliance is collected and registered in the AI DB 140 (S435).

반면, AI DB(140)에 존재하지 않으면(S430-No), AI 서버(100)는 S425단계에서 분류된 IOT 가전의 종류, 모델명 및 기능에 대한 정보를 텍스트화한 후(S440), 텍스트로부터 명령 의미 학습을 수행하여 의미있는 토큰들을 추출한다(S445).On the other hand, if it does not exist in the AI DB 140 (S430-No), the AI server 100 after textifying the information on the type, model name and function of the IOT appliances classified in step S425 (S440), from the text Command semantic learning is performed to extract meaningful tokens (S445).

AI 서버(100)는 추출된 의미있는 토큰에 따라 IOT 가전의 기능 별로 기능코드 및 설정값을 지정하는 프로토타입을 [표 1]과 같이 정의한다(S450).The AI server 100 defines a prototype for specifying a function code and a setting value for each function of the IOT home appliance according to the extracted meaningful token as shown in [Table 1] (S450).

그리고, AI 서버(100)는 S450단계에서 정의된 프로토타입에 기반하여 네트워크를 통해 통신가능한 형태의 기능 제어 프로토콜을 기능 별로 정의하고, IOT 가전의 모델명에 매핑하여 AI DB(140)에 저장한다(S455, S460).In addition, the AI server 100 defines a function control protocol in a form that can be communicated through a network based on the prototype defined in step S450 for each function, and maps the model name of the IOT home appliance to store in the AI DB 140 ( S455, S460).

도 5는 본 발명의 실시 예에 따른 신규 IOT 가전의 등록 방법을 설명하기 위한 흐름도이다.5 is a flowchart illustrating a registration method of a new IOT household appliance according to an embodiment of the present invention.

도 5를 참조하면, AI 스피커(210)는 IF GW 서버(400)에 등록하기 위한 신규 IOT 가전의 모델명을 포함하는 정보(즉, 등록 요청 정보)를 사용자로부터 음성으로 수신하면, 등록 요청 정보를 STT에 의해 텍스트로 변환하고, AI 게이트웨이 플러그인 장치들(310)를 통해 IF GW 서버(400)로 전송한다(S505~S520).Referring to FIG. 5, when the AI speaker 210 receives voice information (ie, registration request information) including a model name of a new IOT home appliance for registering to the IF GW server 400 from a user, the AI speaker 210 receives registration request information. The text is converted by STT and transmitted to the IF GW server 400 through the AI gateway plug-in devices 310 (S505 to S520).

IF GW 서버(400)는 수신된 등록 요청 정보를 분석하여 누락된 필수 정보를 확인하고, 필수 정보가 모두 포함되어 있으면(S525), AI 서버(100)에게 신규 IOT 가전의 모델명의 기능 제어 프로토콜을 요청한다(S530).IF GW server 400 analyzes the received registration request information to confirm missing essential information, and if all the necessary information is included (S525), to AI server 100 the function control protocol of the model name of the new IOT home appliance Request (S530).

AI 서버(100)는 신규 IOT 가전의 모델명에 매핑된 기능 제어 프로토콜을 검색하여 미등록된 경우 기능 제어 프로토콜을 생성한 후 IF GW 서버(400)와 가전 제어 서버(510)에게 전송한다(S535~S545). AI 서버(100)는 IF GW 서버(400)로부터 가전 제어 서버(510)의 주소를 제공받을 수 있다.The AI server 100 searches for a function control protocol mapped to the model name of the new IOT home appliance, generates a function control protocol when it is not registered, and transmits the generated function control protocol to the IF GW server 400 and the home appliance control server 510 (S535 to S545). ). The AI server 100 may receive an address of the home appliance control server 510 from the IF GW server 400.

IF GW 서버(400)와 가전 제어 서버(510)는 수신된 기능 제어 프로토콜을 저장함으로써 신규 IOT 가전을 등록한다(S550, S555).The IF GW server 400 and the home appliance control server 510 register the new IOT home appliance by storing the received function control protocol (S550 and S555).

이후, IF GW 서버(400)는 신규 IOT 가전을 제어할 가전 제어 서버(510)의 URL을 사용자의 단말기로 전송하여 설정하도록 한다. 이로써, 가전 제어 서버(510)와 사용자 단말기는 신규 IOT가전의 기능 상태를 실시간으로 공유하게 된다.Thereafter, the IF GW server 400 transmits and sets the URL of the home appliance control server 510 to control the new IOT home appliance to the user's terminal. Thus, the home appliance control server 510 and the user terminal share the functional state of the new IOT appliances in real time.

도 6은 본 발명의 실시 예에 따른 신규 IOT 가전의 동작 제어 방법을 설명하기 위한 흐름도이다.6 is a flowchart illustrating an operation control method of a new IOT household appliance according to an embodiment of the present invention.

도 6을 참조하면, AI 스피커(210)는 IOT 가전의 동작을 제어하기 위한 명령을 음성으로 수신하면, 수신된 명령을 STT에 의해 텍스트로 변환한다(S605, S610).Referring to FIG. 6, when the AI speaker 210 receives a command for controlling the operation of an IOT household appliance by voice, the AI speaker 210 converts the received command into text by STT (S605 and S610).

AI 게이트웨이 플러그인 장치들(310)는 텍스트 형태의 명령을 AI 스피커(210)로부터 로딩하여 IF GW 서버(400)로 전송한다(S615~S620).The AI gateway plug-in devices 310 load a text-type command from the AI speaker 210 and transmit it to the IF GW server 400 (S615 to S620).

IF GW 서버(400)는 수신된 텍스트 형태의 명령을 분석하여 제어할 IOT 가전을 검색하고, 사용자의 명령에 해당하는 기능을 수행하기 위한 기능 제어 프로토콜을 확인하여 가전 제어 서버(510)에게 전송한다(S625~S635).IF GW server 400 analyzes the received text-type command to search for the IOT home appliance to control, checks the function control protocol for performing a function corresponding to the user's command and transmits it to the home appliance control server 510 (S625-S635).

가전 제어 서버(510)는 수신된 기능 제어 프로토콜을 분석하여 사용자가 요청한 IOT 가전의 동작을 기능 제어 프로토콜을 이용하여 제어한다(S640).The home appliance control server 510 analyzes the received function control protocol and controls the operation of the IOT home appliance requested by the user using the function control protocol (S640).

이로써 IOT 가전(610)은 사용자가 S605단계에서 요청한 동작을 수행한다(S645).Thus, the IOT home appliance 610 performs the operation requested by the user in step S605 (S645).

한편, 이상으로 본 발명의 기술적 사상을 예시하기 위한 바람직한 실시 예와 관련하여 설명하고 도시하였지만, 본 발명은 이와 같이 도시되고 설명된 그대로의 구성 및 작용에만 국한되는 것이 아니며, 기술적 사상의 범주를 일탈함이 없이 본 발명에 대해 다수의 변경 및 수정 가능함을 당업자들은 잘 이해할 수 있을 것이다. 따라서, 그러한 모든 적절한 변경 및 수정과 균등물들도 본 발명의 범위에 속하는 것으로 간주하여야 할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.On the other hand, while described and illustrated in connection with a preferred embodiment for illustrating the technical idea of the present invention, the present invention is not limited to the configuration and operation as shown and described as described above, it deviates from the scope of the technical idea It will be apparent to those skilled in the art that many modifications and variations can be made to the invention without departing from the scope of the invention. Accordingly, all such suitable changes and modifications and equivalents should be considered to be within the scope of the present invention. Therefore, the true technical protection scope of the present invention will be defined by the technical spirit of the appended claims.

100: AI 서버 210, 220: AI 스피커
310, 320: AI 게이트웨이 플러그인 장치
400: 인터페이스 게이트웨이 서버(IF GW 서버)
510~530: 제어 서버
100: AI server 210, 220: AI speaker
310, 320: AI gateway plug-in device
400: Interface Gateway Server (IF GW Server)
510-530: control server

Claims (4)

다수의 IOT(IOT: Internet Of Things) 가전들의 종류 및 제조사 중 어느 하나의 기준에 따라 설치되고, 상기 다수의 IOT 가전들을 무선 통신에 의해 제어하는 다수의 가전 제어 서버들;
상기 다수의 IOT 가전들 중 하나 이상의 동작을 제어하기 위한 명령을 사용자로부터 음성으로 입력받아 텍스트로 변환하며, 상기 변환된 텍스트를 로딩하는 방식이 상이한 다수의 AI 스피커들;
상기 다수의 AI 스피커들 각각과 통신하며, 상기 AI 스피커들이 상기 텍스트 형태의 명령을 제공하는 방식을 고려하여 상기 텍스트 형태의 명령을 상기 AI 스피커들로부터 로딩하고, 상기 로딩된 텍스트 형태의 명령을 하기 인터페이스 게이트웨이 서버로 전송하는 다수의 게이트웨이 플러그인 장치들;
상기 다수의 게이트웨이 플러그인 장치들 중 하나로부터 수신되는 텍스트 형태의 명령을 분석하여 상기 사용자가 제어하기 위한 하나 이상의 IOT 가전을 검색하고, 상기 사용자의 명령에 해당하는 기능을 수행하기 위한 기능 제어 프로토콜을 상기 검색된 IOT 가전을 제어하는 가전 제어 서버로 전송하는 인터페이스 게이트웨이 서버; 및
상기 다수의 IOT 가전들과 관련된 정보를 인터넷으로부터 수집 및 학습하여 상기 IOT 가전들 각각의 종류, 모델명 및 기능을 분류하고, 상기 분류된 종류, 모델명 및 기능에 대한 정보를 학습하여 기능 별로 기능코드 및 설정값을 지정하는 프로토타입을 정의하고, 상기 정의된 프로토타입에 기반하여 기능 제어 프로토콜을 정의하여 DB에 저장하며, 상기 다수의 IOT 가전들의 모델명에 해당하는 기능 제어 프로토콜을 검색하여 상기 인터페이스 게이트웨이 서버 및 상기 가전 제어 서버에게 전송하는 AI 서버;를 포함하고,
상기 다수의 가전 제어 서버들 중 상기 인터페이스 게이트웨이 서버로부터 기능 제어 프로토콜을 수신한 가전 제어 서버는 상기 IOT 가전의 동작을 제어하는 것을 특징으로 하는 IOT 가전 제어 시스템.
A plurality of home appliance control servers installed according to any one of a type and manufacturer of a plurality of Internet of Things (IOT) home appliances and controlling the plurality of IOT home appliances by wireless communication;
A plurality of AI speakers that receive a command for controlling an operation of one or more of the plurality of IOT appliances from a user by voice and convert the text into text, and load the converted text;
Communicating with each of the plurality of AI speakers, loading the textual command from the AI speakers in consideration of the manner in which the AI speakers provide the textual command, and performing the loaded textual command A plurality of gateway plug-in devices for transmitting to the interface gateway server;
Analyzes a text-type command received from one of the plurality of gateway plug-in devices to search for one or more IOT appliances for control by the user, and provides a function control protocol for performing a function corresponding to the user's command An interface gateway server for transmitting the found IOT home appliance to a home appliance control server; And
Collect and learn information related to the plurality of IOT appliances from the Internet to classify the type, model name, and function of each of the IOT appliances, and learn the information about the classified type, model name, and function for each function code and Define a prototype specifying a set value, define a function control protocol based on the defined prototype and store it in a DB, search for a function control protocol corresponding to the model name of the plurality of IOT appliances the interface gateway server And an AI server for transmitting to the home appliance control server.
The home appliance control server which has received a function control protocol from the interface gateway server among the home appliance control servers controls the operation of the IOT home appliance.
제1항에 있어서,
상기 인터페이스 게이트웨이 서버는,
상기 사용자의 계정에 IOT 가전들의 종류와 모델명이 매핑된 사용자 테이블과, 상기 IOT 가전들의 종류마다 해당하는 가전 제어 서버의 주소가 매핑된 주소 테이블과, 상기 IOT 가전들의 기능들을 제어하기 위한 기능 제어 프로토콜들을 저장하고,
상기 텍스트 형태의 명령에 대해 어휘 및 구문 분석을 적용하여 상기 사용자가 제어하기 위한 가전 IOT를 상기 사용자 테이블로부터 하나 이상 검색하는 것을 특징으로 하는 IOT 가전 제어 시스템.
The method of claim 1,
The interface gateway server,
A user table in which the type and model name of IOT appliances are mapped to the user's account, an address table in which an address of the appliance control server corresponding to each type of IOT appliances is mapped, and a function control protocol for controlling the functions of the IOT appliances. Save them,
Applying at least one home appliance IOT for the user to control from the user table by applying vocabulary and syntax analysis to the command in text form.
삭제delete 삭제delete
KR1020180061838A 2018-05-30 2018-05-30 IOT device controlling system KR102042688B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180061838A KR102042688B1 (en) 2018-05-30 2018-05-30 IOT device controlling system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180061838A KR102042688B1 (en) 2018-05-30 2018-05-30 IOT device controlling system

Publications (1)

Publication Number Publication Date
KR102042688B1 true KR102042688B1 (en) 2019-11-08

Family

ID=68542343

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180061838A KR102042688B1 (en) 2018-05-30 2018-05-30 IOT device controlling system

Country Status (1)

Country Link
KR (1) KR102042688B1 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102227159B1 (en) * 2019-11-21 2021-03-11 주식회사 에스원 Smart Home Appliancee Control System and Method thereof
KR20210099772A (en) 2020-02-05 2021-08-13 주식회사 케이티 Method, apparatus, system and computer program for device control using camera image
EP4297344A1 (en) * 2022-06-20 2023-12-27 Mindwareworks Co.,Ltd. System for providing iot device integrated control service through ai server

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030034413A (en) * 2001-10-23 2003-05-09 한국전자통신연구원 Remote appliance control system and method
KR20140037519A (en) * 2012-09-19 2014-03-27 주식회사 케이티 Control station for remote control of home appliances by recognition of natural language based command and method thereof
KR101734398B1 (en) 2016-04-22 2017-05-12 주식회사소노위즈 Smart home service apparatus based on object position and spoken dialogue
KR20170111838A (en) * 2016-03-30 2017-10-12 전자부품연구원 Automatic Service Configuration Methods utilizing Thing Functions and Cloud Services
US20170345420A1 (en) * 2016-05-27 2017-11-30 Centurylink Intellectual Property Llc Internet of Things (IoT) Human Interface Apparatus, System, and Method

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030034413A (en) * 2001-10-23 2003-05-09 한국전자통신연구원 Remote appliance control system and method
KR20140037519A (en) * 2012-09-19 2014-03-27 주식회사 케이티 Control station for remote control of home appliances by recognition of natural language based command and method thereof
KR20170111838A (en) * 2016-03-30 2017-10-12 전자부품연구원 Automatic Service Configuration Methods utilizing Thing Functions and Cloud Services
KR101734398B1 (en) 2016-04-22 2017-05-12 주식회사소노위즈 Smart home service apparatus based on object position and spoken dialogue
US20170345420A1 (en) * 2016-05-27 2017-11-30 Centurylink Intellectual Property Llc Internet of Things (IoT) Human Interface Apparatus, System, and Method

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102227159B1 (en) * 2019-11-21 2021-03-11 주식회사 에스원 Smart Home Appliancee Control System and Method thereof
KR20210099772A (en) 2020-02-05 2021-08-13 주식회사 케이티 Method, apparatus, system and computer program for device control using camera image
EP4297344A1 (en) * 2022-06-20 2023-12-27 Mindwareworks Co.,Ltd. System for providing iot device integrated control service through ai server

Similar Documents

Publication Publication Date Title
KR102042689B1 (en) IOT device setting system
KR102042688B1 (en) IOT device controlling system
CN101690017B (en) Formtext method and apparatus for relaying communication between universal plug and play device and remote user interface client
KR102081273B1 (en) Cloud-AI server for generating function control protocols of IOT devices
CN106683674A (en) System and method for controlling intelligent home by aid of voice
CN110618614A (en) Control method and device for smart home, storage medium and robot
CN107749297B (en) Method for controlling intelligent hardware by voice
CN108228064B (en) Data monitoring control method, device and computer storage medium
JP2006238164A (en) Protocol converter, equipment to be accessed, program and method
CN109030975B (en) Electric appliance type inference method and device based on intelligent socket
KR20140037519A (en) Control station for remote control of home appliances by recognition of natural language based command and method thereof
CN113615141B (en) Account association method, device, system, server and storage medium
WO2021107444A1 (en) Knowledge graph-based marketing information analysis service provision method, and device therefor
KR20210063874A (en) A method and an apparatus for analyzing marketing information based on knowledge graphs
CN106547568A (en) Wallpaper replacing method, server and intelligent terminal
CN113990324A (en) Voice intelligent home control system
CN111212327A (en) Control method and device of playing equipment and storage medium
KR20210063882A (en) A method and an apparatus for analyzing marketing information based on knowledge graphs supporting efficient classifying documents processing
CN114595972A (en) Smart city management method applying virtual digital people
WO2012171399A1 (en) Information pushing method, network element and system
KR20220074574A (en) A method and an apparatus for analyzing real-time chat content of live stream
CN114584624A (en) Electronic device management method, system, server and computer-readable storage medium
CN1588968A (en) Method for searching information using mobile terminal short message service
KR20210063875A (en) Computer program and recording medium for analyzing marketing information
WO2018023518A1 (en) Smart terminal for voice interaction and recognition

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant