KR102042688B1 - IOT device controlling system - Google Patents
IOT device controlling system Download PDFInfo
- Publication number
- KR102042688B1 KR102042688B1 KR1020180061838A KR20180061838A KR102042688B1 KR 102042688 B1 KR102042688 B1 KR 102042688B1 KR 1020180061838 A KR1020180061838 A KR 1020180061838A KR 20180061838 A KR20180061838 A KR 20180061838A KR 102042688 B1 KR102042688 B1 KR 102042688B1
- Authority
- KR
- South Korea
- Prior art keywords
- home appliance
- iot
- server
- function
- appliances
- Prior art date
Links
- 238000004891 communication Methods 0.000 claims abstract description 10
- 230000006870 function Effects 0.000 claims description 129
- 238000000034 method Methods 0.000 claims description 8
- 238000011068 loading method Methods 0.000 claims description 7
- 238000004458 analytical method Methods 0.000 claims description 5
- 238000013473 artificial intelligence Methods 0.000 abstract description 124
- 238000010586 diagram Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 230000000844 anti-bacterial effect Effects 0.000 description 2
- 235000009508 confectionery Nutrition 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 206010003645 Atopy Diseases 0.000 description 1
- 241000894006 Bacteria Species 0.000 description 1
- 229910000831 Steel Inorganic materials 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000006260 foam Substances 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 239000010959 steel Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 238000005406 washing Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
- H04L12/2803—Home automation networks
- H04L12/2807—Exchanging configuration information on appliance services in a home automation network
- H04L12/2814—Exchanging control software or macros for controlling appliance services in a home automation network
-
- G06F17/271—
-
- G06F17/277—
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
- H04L12/2803—Home automation networks
- H04L12/2816—Controlling appliance services of a home automation network by calling their functionalities
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
- H04L12/2803—Home automation networks
- H04L12/283—Processing of data at an internetworking point of a home automation network
- H04L12/2834—Switching of information between an external network and a home network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
- H04L12/2803—Home automation networks
- H04L2012/284—Home automation networks characterised by the type of medium used
- H04L2012/2841—Wireless
Landscapes
- Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Computing Systems (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Selective Calling Equipment (AREA)
- Telephonic Communication Services (AREA)
Abstract
Description
본 발명은 IOT 가전 제어 시스템에 관한 것으로서, 보다 상세하게는, 통합형 인터페이스 게이트웨이와 다양한 AI 스피커를 이용하여 IOT 가전들을 제어할 수 있는 IOT 가전 제어 시스템에 관한 것이다.The present invention relates to an IOT home appliance control system, and more particularly, to an IOT home appliance control system capable of controlling IOT home appliances using an integrated interface gateway and various AI speakers.
최근 음악 감상이나 라디오 청취에 활용되던 스피커가 음성인식 기술과 만나 진화하고 있다. 즉, 기존의 스피커는 스마트폰에서 쉽게 접할 수 있는 음성인식 기술과 클라우드, 인공지능(AI: Artificial Intelligence) 기술을 활용해 단순하게 소리를 전달하는 도구에서 생각하고 관리하는 AI 스피커로 변신 중이다. 이미 아마존, 구글, 애플 등 글로벌 IT 기업이 이 AI 스피커와 관련된 기술 개발에 참여하고 있다. Recently, speakers used for listening to music or listening to radio are evolving with voice recognition technology. In other words, the existing speaker is transforming into an AI speaker that thinks and manages in a simple device that delivers sound using voice recognition technology, cloud, and artificial intelligence (AI) technology that can be easily accessed on a smartphone. Already, global IT companies such as Amazon, Google and Apple are participating in the technology development related to this AI speaker.
이를 위해 음성 기반 플랫폼이 만들어지면 스마트홈으로 가는 사물인터넷(IOT: Internet Of Thing) 시장을 손쉽게 선점할 수 있다. 스마트홈은 가전제품, 수도, 전기사용량 등을 무선통신에 의해 모니터링 및 제어할 수 있는 기능으로서, 이 기능의 핵심 중 하나가 AI 스피커이다. If a voice-based platform is created for this purpose, it is easy to preoccupy the Internet of Thing (IOT) market leading to the smart home. Smart home is a function that can monitor and control home appliances, water and electricity consumption by wireless communication, and one of the core of this function is AI speaker.
AI 스피커는 인공지능 알고리즘을 이용하여 사용자와 음성으로 의사소통을 한다. 따라서, AI 스피커를 이용하면 음성인식을 통해 집안의 IOT 기기를 목소리만으로 간편하게 제어하는 스마트홈 환경을 구축할 수 있다.AI speakers use artificial intelligence algorithms to communicate with the user by voice. Therefore, using AI speaker, it is possible to build a smart home environment that can simply control the IOT device in the house through voice recognition.
한편, 기존의 AI 스피커를 이용한 스마트폼 환경에서, IOT 가전을 제어하는 가전 제어 서버와 AI 스피커 간의 통신을 위해 인터페이스 게이트웨이가 사용되고 있다.Meanwhile, in a smart foam environment using existing AI speakers, an interface gateway is used for communication between the home appliance control server controlling the IOT home appliance and the AI speakers.
그러나, 기존의 인터페이스 게이트웨이는 AI 스피커의 제조사별로 구축되거나 AI 스피커의 모델마다 구축되고 있으므로, 인터페이스 게이트웨이 구축에 많은 시간과 비용이 소모된다. However, since existing interface gateways are built for each AI speaker manufacturer or for each AI speaker model, much time and cost are required to construct the interface gateway.
전술한 문제점을 해결하기 위하여 본 발명이 이루고자 하는 기술적 과제는, AI 스피커의 제조사와 상관없이 모든 AI 스피커와 통신가능한 통합형 인터페이스 게이트웨이를 이용하여 IOT 가전을 제어함으로써 인터페이스 게이트웨이 구축에 필요한 시간과 비용을 절약할 수 있는 IOT 가전 제어 시스템을 제시하는 데 있다.The technical problem to be solved by the present invention is to control the IOT home appliances using an integrated interface gateway that can communicate with all AI speakers regardless of the manufacturer of the AI speaker, saving time and cost required to build the interface gateway The present invention proposes an IOT home appliance control system.
본 발명의 해결과제는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 해결과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The problem of the present invention is not limited to those mentioned above, and other problems not mentioned will be clearly understood by those skilled in the art from the following description.
전술한 기술적 과제를 해결하기 위한 수단으로서, 본 발명의 실시 예에 따르면, IOT 가전 제어 시스템은, 다수의 IOT(IOT: Internet Of Things) 가전들을 무선 통신에 의해 제어하는 다수의 가전 제어 서버들; 상기 다수의 IOT 가전들 중 하나 이상의 동작을 제어하기 위한 명령을 사용자로부터 음성으로 입력받아 텍스트로 변환하는 다수의 AI 스피커들; 및 상기 다수의 AI 스피커들 중 하나로부터 수신되는 텍스트 형태의 명령을 분석하여 상기 사용자가 제어하기 위한 하나 이상의 IOT 가전을 검색하고, 상기 사용자의 명령에 해당하는 기능을 수행하기 위한 가전 제어 프로토콜을 이용하여 상기 검색된 IOT 가전을 제어하는 가전 제어 서버로 전송하는 인터페이스 게이트웨이 서버;를 포함하고, 상기 다수의 가전 제어 서버들 중 상기 가전 제어 프로토콜을 수신한 가전 제어 서버는 상기 IOT 가전의 동작을 제어한다.As a means for solving the above technical problem, according to an embodiment of the present invention, the IOT home appliance control system, a plurality of home appliance control server for controlling a plurality of Internet of Things (IOT) home appliances by wireless communication; A plurality of AI speakers that receive a command for controlling the operation of at least one of the plurality of IOT appliances from a user as a voice and convert it into text; And analyzing a text command received from one of the plurality of AI speakers to search for one or more IOT home appliances for the user to control, and to use a home appliance control protocol to perform a function corresponding to the user's command. And an interface gateway server for transmitting the retrieved IOT home appliance to a home appliance control server. The home appliance control server receiving the home appliance control protocol among the plurality of home appliance control servers controls the operation of the IOT home appliance.
상기 인터페이스 게이트웨이 서버는, 상기 사용자의 계정에 IOT 가전들의 종류와 모델명이 매핑된 사용자 테이블과, 상기 IOT 가전들의 종류마다 해당하는 가전 제어 서버의 주소가 매핑된 주소 테이블과, 상기 IOT 가전들의 기능들을 제어하기 위한 기능 제어 프로토콜들을 저장하고, 상기 텍스트 형태의 명령에 대해 어휘 및 구문 분석을 적용하여 상기 사용자가 제어하기 위한 가전 IOT를 상기 사용자 테이블로부터 하나 이상 검색한다.The interface gateway server may include a user table in which types and model names of IOT appliances are mapped to an account of the user, an address table in which an address of an appliance control server corresponding to each type of IOT appliances is mapped, and functions of the IOT appliances. Store function control protocols for control and retrieve one or more home appliance IOTs from the user table for control by the user by applying lexical and parsing to the textual command.
상기 다수의 AI 스피커들 각각과 통신하며, 상기 AI 스피커들이 상기 텍스트 형태의 명령을 제공하는 방식을 고려하여 상기 텍스트 형태의 명령을 로딩하고, 상기 로딩된 텍스트 형태의 명령을 상기 인터페이스 게이트웨이 서버로 전송하는 게이트웨이 플러그인 장치들;을 더 포함한다.Communicate with each of the plurality of AI speakers, load the textual command in consideration of the manner in which the AI speakers provide the textual command, and send the loaded textual command to the interface gateway server Gateway plug-in devices for further comprising;
상기 다수의 IOT 가전들과 관련된 정보를 인터넷으로부터 수집 및 학습하여 상기 IOT 가전들 각각의 종류, 모델명 및 기능을 분류하고, 상기 분류된 종류, 모델명 및 기능에 대한 정보를 학습하여 기능 별로 기능코드 및 설정값을 지정하는 프로토타입을 정의하고, 상기 정의된 프로토타입에 기반하여 기능 제어 프로토콜을 정의하여 DB에 저장하며, 상기 다수의 IOT 가전들의 모델명에 해당하는 기능 제어 프로토콜을 검색하여 상기 인터페이스 게이트웨이 서버 및 상기 가전 제어 서버에게 전송하는 AI 서버;를 더 포함한다.Collect and learn the information related to the plurality of IOT appliances from the Internet to classify the type, model name and function of each of the IOT appliances, and learn the information about the classified type, model name and function to function code and Define a prototype specifying a set value, define a function control protocol based on the defined prototype and store it in a DB, search for a function control protocol corresponding to the model name of the plurality of IOT appliances the interface gateway server And an AI server transmitting to the home appliance control server.
본 발명에 따르면, AI 스피커의 제조사와 상관없이 모든 AI 스피커와 통신가능한 통합형 인터페이스 게이트웨이를 이용하여 IOT 가전을 제어함으로써 인터페이스 게이트웨이 구축에 필요한 시간과 비용을 절약할 수 있다. According to the present invention, by controlling the IOT home appliance using an integrated interface gateway that can communicate with all AI speakers regardless of the manufacturer of the AI speaker, it is possible to save time and cost required to build the interface gateway.
본 발명의 효과는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The effects of the present invention are not limited to those mentioned above, and other effects not mentioned will be clearly understood by those skilled in the art from the following description.
도 1은 본 발명의 실시 예에 따른 AI 스피커를 이용한 IOT 가전 시스템을 도시한 도면,
도 2는 본 발명의 실시 예에 따른 IOT 가전의 기능 제어 프로토콜 생성을 위한 AI 서버를 도시한 블록도,
도 3은 본 발명의 실시 예에 따른 통합형 IF GW 서버를 도시한 블록도,
도 4는 본 발명의 실시 예에 따른 AI 서버의 IOT 가전의 기능 제어 프로토콜 생성 방법을 설명하기 위한 흐름도,
도 5는 본 발명의 실시 예에 따른 신규 IOT 가전의 등록 방법을 설명하기 위한 흐름도, 그리고,
도 6은 본 발명의 실시 예에 따른 IOT 가전의 동작 제어 방법을 설명하기 위한 흐름도이다.1 is a diagram illustrating an IOT home appliance system using an AI speaker according to an embodiment of the present invention;
2 is a block diagram illustrating an AI server for generating a function control protocol of an IOT consumer according to an embodiment of the present invention;
3 is a block diagram illustrating an integrated IF GW server according to an embodiment of the present invention;
4 is a flowchart illustrating a method for generating a function control protocol of an IOT home appliance of an AI server according to an embodiment of the present invention;
5 is a flowchart illustrating a method of registering a new IOT home appliance according to an embodiment of the present invention;
6 is a flowchart illustrating an operation control method of an IOT household appliance according to an exemplary embodiment of the present disclosure.
이상의 본 발명의 목적들, 다른 목적들, 특징들 및 이점들은 첨부된 도면과 관련된 이하의 바람직한 실시 예들을 통해서 쉽게 이해될 것이다. 그러나 본 발명은 여기서 설명되는 실시 예들에 한정되지 않고 다른 형태로 구체화될 수도 있다. 오히려, 여기서 소개되는 실시 예들은 개시된 내용이 철저하고 완전해질 수 있도록 그리고 당업자에게 본 발명의 사상이 충분히 전달될 수 있도록 하기 위해 제공되는 것이다.Objects, other objects, features and advantages of the present invention will be readily understood through the following preferred embodiments associated with the accompanying drawings. However, the present invention is not limited to the embodiments described herein and may be embodied in other forms. Rather, the embodiments introduced herein are provided so that the disclosure may be made thorough and complete, and to fully convey the spirit of the present invention to those skilled in the art.
본 명세서에서 제1, 제2 등의 용어가 구성요소들을 기술하기 위해서 사용된 경우, 이들 구성요소들이 이 같은 용어들에 의해서 한정되어서는 안 된다. 이들 용어들은 단지 어느 구성요소를 다른 구성요소와 구별시키기 위해서 사용되었을 뿐이다. 여기에 설명되고 예시되는 실시 예들은 그것의 상보적인 실시 예들도 포함한다.Where the terms first, second, etc. are used herein to describe the components, these components should not be limited by these terms. These terms are only used to distinguish one component from another. The embodiments described and illustrated herein also include complementary embodiments thereof.
또한, 제1 엘리먼트 (또는 구성요소)가 제2 엘리먼트(또는 구성요소) 상(ON)에서 동작 또는 실행된다고 언급될 때, 제1 엘리먼트(또는 구성요소)는 제2 엘리먼트(또는 구성요소)가 동작 또는 실행되는 환경에서 동작 또는 실행되거나 또는 제2 엘리먼트(또는 구성요소)와 직접 또는 간접적으로 상호 작용을 통해서 동작 또는 실행되는 것으로 이해되어야 할 것이다.In addition, when it is mentioned that a first element (or component) is operated or executed on a second element (or component), the first element (or component) is a second element (or component). It is to be understood that the operation or execution in the environment in which the operation or the execution is performed or the operation or execution is performed through direct or indirect interaction with the second element (or component).
어떤 엘리먼트, 구성요소, 장치, 또는 시스템이 프로그램 또는 소프트웨어로 이루어진 구성요소를 포함한다고 언급되는 경우, 명시적인 언급이 없더라도, 그 엘리먼트, 구성요소, 장치, 또는 시스템은 그 프로그램 또는 소프트웨어가 실행 또는 동작하는데 필요한 하드웨어(예를 들면, 메모리, CPU 등)나 다른 프로그램 또는 소프트웨어(예를 들면 운영체제나 하드웨어를 구동하는데 필요한 드라이버 등)를 포함하는 것으로 이해되어야 할 것이다.Where an element, component, device, or system is referred to as including a component made up of a program or software, even if no explicit mention is made, the element, component, device, or system may be executed or operated by the program or software. It should be understood to include the hardware necessary to run (eg, memory, CPU, etc.) or other programs or software (eg, an operating system or drivers needed to run the hardware, etc.).
또한, 어떤 엘리먼트(또는 구성요소)가 구현됨에 있어서 특별한 언급이 없다면, 그 엘리먼트(또는 구성요소)는 소프트웨어, 하드웨어, 또는 소프트웨어 및 하드웨어 어떤 형태로도 구현될 수 있는 것으로 이해되어야 할 것이다.In addition, it is to be understood that an element (or component) may be implemented in software, hardware, or any form of software and hardware, unless otherwise specified in the implementation of any element (or component).
또한, 본 명세서에서 사용된 용어는 실시 예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 '포함한다(comprises)' 및/또는 '포함하는(comprising)'은 언급된 구성요소는 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다.Also, the terminology used herein is for the purpose of describing particular embodiments only and is not intended to be limiting of the invention. In this specification, the singular also includes the plural unless specifically stated otherwise in the phrase. As used herein, the words 'comprises' and / or 'comprising' do not exclude the presence or addition of one or more other components.
이하, 도면을 참조하여 본 발명을 상세히 설명하도록 한다. 어떤 경우에는, 발명을 기술하는 데 있어서 흔히 알려졌으면서 발명과 크게 관련 없는 부분들은 본 발명을 설명하는 데 있어 별 이유 없이 혼돈이 오는 것을 막기 위해 기술하지 않음을 미리 언급해 둔다. Hereinafter, the present invention will be described in detail with reference to the accompanying drawings. In some cases, it is mentioned in advance that parts of the invention which are commonly known in the description of the invention and which are not highly related to the invention are not described in order to prevent confusion in explaining the invention without cause.
도 1에 도시된 IOT 가전의 기능 제어 프로토콜 생성을 위한 AI 서버(100)의 각각의 구성은 기능 및 논리적으로 분리될 수 있음을 나타내는 것이며, 반드시 각각의 구성이 별도의 물리적 장치로 구분되거나 별도의 코드로 작성됨을 의미하는 것은 아님을 본 발명의 기술분야의 평균적 전문가는 용이하게 추론할 수 있을 것이다. Each configuration of the
또한, 본 명세서에서 DB라 함은, 각각의 DB에 대응되는 정보를 저장하는 소프트웨어 및 하드웨어의 기능적 구조적 결합을 의미할 수 있다. DB는 적어도 하나의 테이블로 구현될 수도 있으며, 상기 DB에 저장된 정보를 검색, 저장, 및 관리하기 위한 별도의 DBMS(Database Management System)를 더 포함할 수도 있다. 또한, 링크드 리스트(linked-list), 트리(Tree), 관계형 DB의 형태 등 다양한 방식으로 구현될 수 있으며, 상기 DB에 대응되는 정보를 저장할 수 있는 모든 데이터 저장매체 및 데이터 구조를 포함한다.In addition, the term "DB" in the present specification may mean a functional structural combination of software and hardware that stores information corresponding to each DB. The DB may be implemented with at least one table, and may further include a separate DBMS (Database Management System) for searching, storing, and managing information stored in the DB. In addition, it may be implemented in various ways such as a linked-list, a tree, a relational DB, and includes all data storage media and data structures capable of storing information corresponding to the DB.
상기 IOT 가전의 기능 제어 프로토콜 생성을 위한 AI 서버(100)를 위한 프로그램은 소정의 데이터 프로세싱 장치에 설치되어 본 발명의 기술적 사상을 구현할 수 있다.The program for the
도 1은 본 발명의 실시 예에 따른 AI 스피커를 이용한 IOT 가전 시스템을 도시한 도면이다.1 is a diagram illustrating an IOT home appliance system using an AI speaker according to an exemplary embodiment of the present invention.
도 1을 참조하면, IOT 가전 시스템은 AI 서버(100), 다수의 AI 스피커들(210, 220), 다수의 AI 게이트웨이 플러그인 장치들(310, 320), 인터페이스 게이트웨이 서버(IF GW 서버, 400) 및 다수의 가전 제어 서버들(510, 520, 530)을 포함한다.Referring to FIG. 1, the IOT home appliance system includes an
AI 서버(100)는 IOT 가전에 대한 정보를 인터넷으로부터 수집하거나 AI 서버(100)의 관리자로부터 입력받아 IOT 가전의 기능 별로 기능 제어 프로토콜을 정의할 수 있다. 그리고, AI 서버(100)는 정의된 기능 제어 프로토콜을 IF GW 서버(400)와 IOT 가전을 제어하는 가전 제어 서버(510)에게 전달할 수 있다. The
AI 서버(100)는 클라우드 컴퓨팅 시스템으로 구현되어 동작하거나 클라우드에 접속하여 해당 동작을 수행할 수 있다. 예를 들어, AI 서버(100)는 인터넷을 통해 클라우드에 접속하여 클라우드에 취합 저장된 IOT 가전들의 정보(웹페이지, PDF 파일, 텍스트 명세 등 다양)를 수집하거나, IOT 가전의 모델명마다 생성된 기능 제어 프로토콜을 AI DB(140) 외 클라우드에 저장할 수도 있다.The
다수의 AI 스피커들(210, 220)은 와이파이와 같은 무선 인터넷 방식을 통해 사용자들로부터 IOT 가전들(610, 620, 630)의 동작(또는 기능)을 제어하기 위한 음성 명령을 수신하고, 수신된 음성 명령을 STT(Speech to Text) 모듈을 이용하여 텍스트로 변환한다. The plurality of
다수의 AI 게이트웨이 플러그인 장치들(310, 320)은 AI 스피커들(210, 220)의 제조사마다 STT(즉, 텍스트)를 가져오는 로딩 방식이 다르므로, 각 로딩 방식에 맞게 개발된 텍스트 로딩 플러그인을 실행하여 텍스트를 로딩할 수 있다. 예를 들어, AI 스피커(210)의 경우, Web App 형태로 텍스트를 로딩하기 위한 플러그인 프로그램이 AI 게이트웨이 플러그인 장치(310)에서 실행된다. 또한, AI 스피커(220)의 경우, 람다 형태로 텍스트를 로딩하기 위한 플러그인 프로그램이 AI 게이트웨이 플러그인 장치(320)에서 실행된다.Since many AI gateway plug-in
본 발명의 실시 예에서, 하나의 IF GW 서버(400)를 이용하여 통합형 IOT 가전 제어 서비스를 제공하기 위해 AI 스피커들(210, 220)의 제조사 별로 플러그인 프로그램이 개발되어 실행된다.In an embodiment of the present invention, a plug-in program is developed and executed for each manufacturer of
IF GW 서버(400)는 AI 스피커들(210, 220)의 제조사와 상관없이 모든 AI 스피커들(210, 220)로부터 텍스트로 변환된 음성 명령을 AI 게이트웨이 플러그인 장치들(310, 320)을 통해 수신하여 처리할 수 있는 통합형 서버이다. IF GW 서버(400)는 IOT 가전의 등록 및 제어를 위해 AI 서버(100)로부터 각 IOT 가전의 기능 제어 프로토콜을 수신하고, 이를 이용하여 IOT 가전들(610, 620, 630)을 등록하고, 각 동작을 제어할 수 있다.The
다수의 가전 제어 서버들(510, 520, 530)은 각각 다른 종류의 IOT 가전의 동작을 무선 통신으로 제어한다. 예를 들어, 가전 제어 서버(510)는 공기청정기를, 가전 제어 서버(520)는 IOT 세탁기를, 가전 제어 서버(530)는 TV를 제어한다. 다수의 가전 제어 서버들(510, 520, 530)은 IOT가전의 종류별로 설치되거나, IOT 가전의 제조사와 종류마다 설치될 수도 있다. The plurality of home
이하에서는 도 2 내지 도 6을 참조하여 본 발명의 실시 예에 따른 AI 스피커를 이용한 IOT 가전 시스템의 동작에 대해 자세히 설명한다.Hereinafter, an operation of an IOT home appliance system using an AI speaker according to an exemplary embodiment of the present disclosure will be described in detail with reference to FIGS. 2 to 6.
1. AI 서버(100)의 IOT 가전의 기능 제어 프로토콜 생성 동작1. Operation of generating a function control protocol of the IOT home appliance of the
도 2는 본 발명의 실시 예에 따른 IOT 가전의 기능 제어 프로토콜 생성을 위한 AI 서버(100)를 도시한 블록도이다.2 is a block diagram illustrating an
도 2를 참조하면, 본 발명의 실시 예에 따른 IOT 가전의 기능 제어 프로토콜 생성을 위한 AI 서버(100)는 서버 통신부(110), 서버 메모리(120), 서버 프로세서(130) 및 AI DB(Database)(140)를 포함할 수 있다.2, the
서버 통신부(110)는 IOT 가전을 무선으로 제어하는 가전 제어 서버(510)와, AI 스피커(210)로부터 IOT 가전의 동작 제어를 위한 사용자 음성 명령을 수신하여 가전 제어 서버(510)로 전송하는 IF GW 서버(400)와 통신할 수 있다.The
서버 메모리(120)는 휘발성 메모리 및/또는 비휘발성 메모리를 포함할 수 있다. 서버 메모리(120)에는 AI 서버(100)가 제공하는 동작, 기능 등을 구현 및/또는 제공하기 위하여, 구성요소들에 관계된 명령 또는 데이터, 하나 이상의 프로그램 및/또는 소프트웨어, 운영체제 등이 저장될 수 있다.The
예를 들어, 서버 메모리(120)에는 IF GW 서버(400)와 가전 제어 서버들(510, 520, 530)과 통신가능한 주소가 저장될 수 있다.For example, the
또한, 서버 메모리(120)에는 사물인터넷(IOT) 가전과 관련된 정보(이하, 'IOT 가전 정보'라 한다)를 학습하여 IOT 가전의 기능 제어를 위한 기능 제어 프로토콜을 생성하기 위한 프로토콜 생성 프로그램이 저장될 수 있다. In addition, the
서버 프로세서(130)는 서버 메모리(120)에 저장된 하나 이상의 프로그램을 실행하여 AI 서버(100)의 전반적인 동작을 제어한다. The
예를 들어, 서버 프로세서(130)는 서버 메모리(120)에 저장된 프로토콜 생성 프로그램을 실행하여 IOT 가전 정보를 수집 및 학습하여 IOT 가전의 종류, 모델명 및 기능을 분류하고, 분류된 종류, 모델명 및 기능에 대한 정보를 학습하여 기능 별로 기능코드 및 설정값을 지정하는 프로토타입을 정의하고, 정의된 프로토타입에 기반하여 기능 제어 프로토콜을 정의할 수 있다.For example, the
이를 위하여, 서버 프로세서(130)는 수집부(131), 검색부(132), 학습부(133), 프로토타입 정의부(134) 및 프로토콜 정의부(135)를 포함할 수 있다.To this end, the
수집부(131)는 인터넷에 공개된 웹페이지를 로딩하여 IOT 가전 정보를 수집할 수 있다. 수집부(131)는 예를 들어 IOT와 관련된 웹페이지를 검색하여 로딩하거나, AI 서버(100)의 관리자로부터 IOT 가전의 모델명을 입력받으면 입력된 모델명에 해당하는 웹페이지를 로딩할 수도 있다. 또는, 수집부(131)는 관리자로부터 IOT 가전 정보(예를 들어, PDF 파일, 텍스트로 작성된 문서 파일 등)를 직접 제공받을 수 있다.The
검색부(132)는 수집된 웹페이지의 이미지로부터 텍스트를 추출하고, 웹페이지의 html 페이지 소스와 이미지로부터 추출된 텍스트로부터 IOT 가전의 종류, 모델명 및 기능에 대한 정보를 검색할 수 있다.The
학습부(133)는 검색된 IOT 가전의 종류, 모델명 및 기능에 대한 정보를 학습하여 IOT 가전의 종류, 모델명 및 기능을 분류하고, 분류된 결과를 텍스트 형태로 프로토타입 정의부(134)로 전달할 수 있다. 예를 들어, 학습부(133)는 딥러닝이나 머신러닝을 통해 수집 및 검색된 정보를 학습할 수 있다. The
프로토타입 정의부(134)는 학습부(133)에서 분류된 IOT 가전에 대한 기능 제어 프로토콜이 AI DB(140)에 미저장되어 있으면, 분류된 IOT 가전의 종류, 모델명 및 기능에 대한 정보를 학습할 수 있다. 예를 들어, 프로토타입 정의부(134)는 학습부(133)로부터 수신한 텍스트 형태의 분류된 결과에서 IOT 가전의 종류 및 기능을 판단할 수 있는 의미있는 토큰이 어떤 것인지 판단하지 못하기 때문에, 딥러닝의 텍스트 마이닝 알고리즘을 사용하여 의미있는 토큰을 찾을 수 있다. 이를 명령 의미 학습이라 한다. 그리고, 프로토타입 정의부(134)는 명령 의미 학습 결과에 따라, 즉, 의미있는 토큰의 추출 결과에 따라 IOT 가전의 기능 별로 기능코드 및 설정값을 지정하는 프로토타입을 정의할 수 있다.The
[표 1]은 IOT 가습기에 대해 추출된 의미있는 토큰들 중 기능에 대해 정의된 프로토타입의 일 예를 보여준다.Table 1 shows an example of the prototype defined for the function among the meaningful tokens extracted for the IOT humidifier.
2: 중
3: 강0: stop 1: approx.
2: medium
3: steel
3: 4H
4: 8H
5: 1H1: OFF2: 2H
3: 4H
4: 8H
5: 1H
[표 1]을 참조하면, 일 예로 플라즈마 기능에 대한 기능코드는 'power'가 설정되고, 설정값으로서는 켜짐(on)과 꺼짐(off)이 설정되어 플라즈마에 대한 프로토타입이 정의된다.프로토콜 정의부(135)는 프로토타입 정의부(134)에서 기능마다 정의된 프로토타입에 기반하여 네트워크를 통해 통신가능한 형태의 기능 제어 프로토콜을 기능 별로 정의할 수 있다.Referring to [Table 1], as an example, the function code for the plasma function is set to 'power', and the set value is set to on and off to define a prototype for the plasma. The
[표 2]는 [표 1]의 프로토타입에 기반하여 정의된 기능 제어 프로토콜을 보여준다.Table 2 shows the function control protocols defined based on the prototypes in Table 1.
"power":"on",
"humidifyingAmt":"1",
"off_reservation_set":"1"
}{
"power": "on",
"humidifyingAmt": "1",
"off_reservation_set": "1"
}
[표 2]를 참조하면, 플라즈마 기능은 온, 가습량은 약(1), 꺼짐 예약 기능은 사용하지 않음(1)으로 정의된 기능 제어 프로토콜들이 IOT 가습기에 대해 정의된다.한편, 서버 프로세서(130)는 IF GW 서버(400)로부터 가전 제어 서버(510)에 등록하기 위한 신규 IOT 가전의 모델명이 수신되면, 신규 IOT 가전의 모델명에 해당하는 기능 제어 프로토콜을 AI DB(140)로부터 검색하여 IF GW 서버(400)로 전송하도록 처리할 수 있다.또한, 서버 프로세서(130)는 IF GW 서버(400)로부터 수신된 신규 IOT 가전의 모델명에 해당하는 기능 제어 프로토콜이 AI DB(140)에 등록되어 있지 않으면, 신규 IOT 가전에 대한 정보를 수집 및 학습하여 기능 제어 프로토콜을 생성한 후 IF GW 서버(400)로 전송하도록 처리할 수 있다.Referring to [Table 2], the function control protocols defined as the plasma function is on, the humidification amount is about (1), and the off reservation function is not used (1) are defined for the IOT humidifier. ) Receives a model name of a new IOT home appliance for registering to the home
예를 들어, 신규 IOT 가전의 모델명에 대한 정보를 인터넷으로부터 수집 및 학습한 결과, 즉, 학습부(133)에서 분류된 텍스트 형태의 결과가 [표 3]과 같다.For example, as a result of collecting and learning information on a model name of a new IOT home appliance from the Internet, that is, a text form classified by the
제품명 유비 공기청정기
모델명 AAA-111, BBB-222,
2018년 3월 31일, 2017년 9월 25일
제품사양
색상 화이트
사용면적 66㎡
에너지등급 1등급
정격전압 220V/60Hz
크기 370(W) X 370(D) X 795(H)mm
무게 14kg
청정시스템 4단계 마이크로 에어케어 시스템 / 양방향 2중 필터 적용
센서 스마트센서(먼지센서 / 냄새센서 / 조도센서)
인증/수상내역 CA인증, KAA 아토피 안심마크 / 핀업디자인어워드
A/S 2년(홈페이지내 제품등록시)
기능
플라즈마웨이브 2.0 안심제균 ○
스마트센서 ○
4단계 오염도 표시 ○
SMARTHOME™ ○
UV+ 안심제균 ○
6단계운전모드 ○
3D터보청정 ○
Basic Information
Ubi Air Purifier
Model Name AAA-111, BBB-222,
March 31, 2018, September 25, 2017
Specifications
Color white
Usage area 66㎡
Energy class 1 class
Rated voltage 220V / 60Hz
Size 370 (W) X 370 (D) X 795 (H) mm
14 kg
Clean system 4-stage micro air care system / Bi-directional dual filter
Sensor Smart Sensor (Dust Sensor / Odor Sensor / Ambient Light Sensor)
Certification / Awards CA Certification, KAA Atopy Safety Mark / Pinup Design Award
A / S 2 years (when product is registered on homepage)
function
Plasma Wave 2.0 Safe Antibacterial ○
Smart Sensor ○
4 levels of pollution degree ○
SMARTHOME ™ ○
UV + Antibacterial ○
6-step operation mode ○
3D Turbo Clean ○
프로토타입 정의부(134)는 [표 3]과 같은 결과에 대해 명령 의미 학습을 수행한 결과 의미있는 토큰으로서 밑줄 친 텍스트들을 추출할 수 있다. 그리고, 프로토타입 정의부(134)는 추출된 의미있는 토큰들 중 기능에 대한 토큰, 즉, 운전모드, 터보청정, 플라즈마웨이브, UV+ 안심제균을 다시 추출하여 프로토타입을 정의한다. 프로토콜 정의부(135)는 각 기능별로 정의된 프로토타입에 대해 다음 [표 4]와 같은 기능 제어 프로토콜을 정의한다.The
"plasma_wave":"on",
"uv":"on",
"airflow":"1",
"turbo":"on"
}{
"plasma_wave": "on",
"uv": "on",
"airflow": "1",
"turbo": "on"
}
그리고, 프로토콜 정의부(135)는 [표 4]와 같은 기능 외에 신규 IOT 가전의 다른 기본 기능(예를 들어, 전원 온 오프)에 대해서도 기능 제어 프로토콜을 추가로 정의할 수 있다. 또는, 프로토콜 정의부(135)는 신규 IOT 가전과 동일한 회사에서 제조된 다른 IOT 가전의 기능에 대해 정의된 기능 제어 프로토콜들 중 기본 기능에 대해 정의된 기능 제어 프로토콜을 읽어와 신규 IOT 가전의 기능 제어 프로토콜로서 추가로 정의할 수 있다. AI DB(140)는 서버 프로세서(130)에 의해 정의된 기능 제어 프로토콜들을 IOT 가전의 종류와 모델명에 매핑저장할 수 있다. 또한, AI DB(140)는 정의된 기능 제어 프로토콜을 IOT 가전의 종류와 기능 별로 개별저장할 수도 있다. 후자의 경우, [표 3] 및 [표 4]를 참조하여 설명한 신규 IOT 가전의 기능 제어 프로토콜 등록 시 사용될 수 있다.The
2. AI를 이용한 IOT 가전 시스템의 신규 IOT 가전 등록 동작2. Registering new IOT home appliances in the IOT home appliance system using AI
도 1을 참조하면, IF GW 서버(400)는 AI 스피커(210)로부터 텍스트로 변환된 등록 요청 정보(등록하기 위한 신규 IOT 가전의 모델명을 포함하는 정보)를 수신하면, 수신된 등록 요청 정보 중 모델명에 해당하는 기능 제어 프로토콜을 AI 서버(100)에게 요청하고, AI 서버(100)로부터 전송된 기능 제어 프로토콜을 이용하여 신규 IOT 가전을 등록할 수 있다.Referring to FIG. 1, when the
자세히 설명하면, AI 스피커(210)는 등록 요청 정보를 사용자로부터 음성으로 입력받아 텍스트로 변환하고, AI 게이트웨이 플러그인 장치(310)는 텍스트로 변환된 등록 요청 정보를 로딩하여 IF GW 서버(400)로 전송한다.In detail, the
IF GW 서버(400)는 등록 요청 정보가 수신되면 가전 등록 프로그램을 실행하여 수신된 등록 요청 정보를 분석한다. 분석 결과, 신규 IOT 가전의 등록에 필요한 필수 정보가 누락된 경우, IF GW 서버(400)는 누락된 필수 정보를 AI 게이트웨이 플러그인 장치들(310)를 통해 AI 스피커(210)에게 요청할 수 있다. 필수 정보는 신규 IOT 가전의 모델명과 신규 IOT 가전이 사용할 WIFI의 SSID(Service Set IDentifier)를 포함할 수 있다.When the registration request information is received, the
예를 들어, 사용자가 AI 스피커(210)에게 '스피커야, 공기청정기 등록해 줘'라고 음성으로 요청하는 경우, IF GW 서버(400)는 '스피커야, 공기청정기 등록해 줘'라는 텍스트에 대해 어휘 및 구문 분석을 적용하여 필수 정보의 누락 여부를 판단하고, 누락된 필수 정보인 공기청정기의 모델명과 SSID를 요청할 수 있다.For example, if the user requests the
AI 스피커(210)로부터 신규 IOT 가전의 필수 정보를 모두 포함하는 등록 요청 정보가 수신되면, IF GW 서버(400)는 등록 요청 정보 중 모델명에 해당하는 기능 제어 프로토콜을 AI 서버(100)에게 요청한다. 기능 제어 프로토콜 요청 시, IF GW 서버(400)는 신규 IOT 가전이 IOT 공기청정기인 경우, IOT 공기청정기를 제어하는 가전 제어 서버(예를 들어, 510)의 통신 주소도 AI 서버(100)에게 제공할 수 있다.If registration request information including all necessary information of the new IOT home appliance is received from the
AI 서버(100)는 IF GW 서버(400)의 요청에 의해 모델명에 해당하는 기능 제어 프로토콜을 검색하여 IF GW 서버(400)와 가전 제어 서버(510)에게 전송할 수 있다. The
또는, AI 서버(100)는 IF GW 서버(400)에게 기능 제어 프로토콜을 전송하면, IF GW 서버(400)가 신규 IOT 가전의 종류를 확인하고, 확인된 종류가 공기청정기인 경우, 가전 제어 서버(510)에게 기능 제어 프로토콜을 전달할 수도 있다.Alternatively, if the
그리고, IF GW 서버(400)와 가전 제어 서버(510)는 AI 서버(100)로부터 수신되는 기능 제어 프로토콜과 등록 요청 정보(IOT 가전의 종류, 모델명, SSID 등)를 기반으로 신규 IOT 가전을 등록하고, 기능 제어 프로토콜을 이용하여 신규 IOT 가전의 기능을 제어할 수 있다.The
신규 IOT 가전의 등록이 완료되면, IF GW 서버(400)는 신규 IOT 가전(610)의 제어를 담당하는 가전 제어 서버(510)의 URL(Uniform Resource Locator)을 신규 IOT 가전(610)에 전달한다. 신규 IOT 가전(610)은 가전 제어 서버(510)의 URL을 설정하고, 이후 사용자가 신규 IOT 가전(610)에서 직접 기능을 제어할 경우, 제어된 기능에 따른 가전 상태 정보를 가전 제어 서버(510)에게 전송할 수 있다. 이로써, 사용자가 등록된 신규 IOT 가전(610)에서 직접 제어 시, 가전 제어 서버(510)는 신규 IOT 가전의 상태를 실시간으로 공유하고, 사용자의 단말기(10)로 변경된 가전 상태 정보를 통지할 수 있다.When the registration of the new IOT home appliance is completed, the
3. AI를 이용한 IOT 가전 시스템의 IOT 가전 제어 동작3. IOT home appliance control operation of IOT home appliance system using AI
도 1을 참조하면, IF GW 서버(400)는 AI 스피커(210)로부터 텍스트로 변환된 IOT 가전의 동작을 제어하기 위한 명령을 수신하면, 수신된 텍스트 형태의 명령을 분석하여 사용자가 제어하기 위한 하나 이상의 IOT 가전을 검색하고, 사용자의 명령에 해당하는 기능을 수행하기 위한 기능 제어 프로토콜을 검색된 하나 이상의 IOT 가전을 제어하는 가전 제어 서버(예를 들어, 510)에게 전송할 수 있다.Referring to FIG. 1, when the
자세히 설명하면, AI 스피커(210)는 IOT 가전(610)의 동작을 제어하기 위한 명령(이하, '동작 제어 명령'이라 함)을 사용자로부터 음성으로 입력받아 텍스트로 변환하고, AI 게이트웨이 플러그인 장치(310)는 텍스트로 변환된 동작 제어 명령을 AI 스피커(210)로부터 로딩하여 IF GW 서버(400)로 전송한다. 로딩되는 동작 제어 명령은 AI 스피커(210)의 식별정보와 AI 스피커(210)에 등록된 사용자 계정을 포함한다.In detail, the
IF GW 서버(400)는 동작 제어 명령이 수신되면 가전 제어 프로그램을 실행하여 수신된 동작 제어 명령에 대해 어휘 및 구문 분석을 적용하고, 적용 결과로부터 사용자가 제어하고자 하는 IOT 가전의 종류와 제어를 원하는 동작이 무엇인지 검색한다. 그리고, IF GW 서버(400)는 제어를 원하는 동작을 위한 기능 제어 프로토콜과 IOT 가전(610)이 사용하는 SSID를 IOT 가전을 제어하는 가전 제어 서버(510)에게 전송한다.IF
예를 들어, 사용자가 AI 스피커(210)에게 '공기청정기, 강한 바람으로 바꿔 줘'라고 음성으로 요청하는 경우, IF GW 서버(400)는 '공기청정기, 강한 바람으로 바꿔 줘'라는 텍스트에 대해 어휘 및 구문 분석을 적용하여 '공기청정기/강한바람/바꿔'라는 결과를 얻는다. 그리고, IF GW 서버(400)는 사용자 계정 또는 AI 스피커(210)의 식별정보에 매핑저장된 IOT 가전 목록에 공기청정기가 있는지 검색한다.For example, when the user requests the
하나의 공기청정기가 검색되면, IF GW 서버(400)는 공기청정기의 모델명에 해당하는 기능 제어 프로토콜 중 강한바람으로 바꾸는 기능 제어 프로토콜을 확인하고, 공기청정기가 사용하는 SSID와 함께 공기청정기를 제어하는 가전 제어 서버(510)에게 전송한다.If one air purifier is found, the
두개의 공기청정기가 검색되면, IF GW 서버(400)는 AI 스피커(210)에게 어느 공기청정기의 제어를 원하는지 질문할 수 있다. 예를 들어, IF GW 서버(400)는 '두 대의 공기청정기가 검색되었습니다. 원하는 공기청정기를 알려주세요'라고 질문할 수 있다. 만약, 두개의 공기청정기들마다 별명(예를 들어, 커피와 캔디)이 사전에 설정되어 IF GW 서버(400)에 저장되어 있는 경우, 사용자는 제어를 원하는 공기청정기의 별명(캔디, 강한바람으로 바꿔줘)을 음성으로 대답할 수 있다. 또는, IF GW 서버(400)가 두개의 별명을 AI 스피커(210)에게 직접 전송하면서 원하는 공기청정기가 무엇인지 질문할 수도 있다.If two air cleaners are found, the
가전 제어 서버(510)는 IF GW 서버(400)로부터 수신한 기능 제어 프로토콜과 SSID를 이용하여 IOT 가전(610)의 동작을 제어한다.The home
IOT 가전은 가전 제어 서버(510)로부터 수신한 기능 제어 프로토콜에 따라 동작을 수행하고, 수행 결과를 가전 제어 서버(510)로 전송하며, 최종적으로 AI 스피커(210)를 통해 사용자에게 안내되도록 한다. The IOT home appliance performs an operation according to the function control protocol received from the home
도 3은 본 발명의 실시 예에 따른 통합형 IF GW 서버(400)를 도시한 블록도이다.3 is a block diagram illustrating an integrated IF
도 3을 참조하면, IF GW 서버(400)는 GW 통신부(410), GW 메모리(420), GW 프로세서(430) 및 GW DB(440)를 포함할 수 있다. Referring to FIG. 3, the
GW 통신부(410)는 AI 서버(100), 다수의 AI 게이트웨이 플러그인 장치들(310, 320) 및 다수의 가전 제어 서버들(510, 520, 530)과 통신할 수 있다.The
GW 메모리(420)에는 IF GW 서버(400)가 제공하는 동작, 기능 등을 구현 및/또는 제공하기 위하여, 구성요소들에 관계된 명령 또는 데이터, 하나 이상의 프로그램 및/또는 소프트웨어, 운영체제 등이 저장될 수 있다.The
예를 들어, GW 메모리(420)에는 AI 스피커들(210, 220)에 매핑된 사용자의 단말기와 통신가능한 정보(전화번호, 메신저 ID 등)와, AI 서버(100)와 다수의 가전 제어 서버들(510, 520, 530)과 통신할 수 있는 주소가 저장될 수 있다.For example, the
또한, GW 메모리(420)에는 신규 IOT 가전의 등록을 위한 가전 등록 프로그램과, 기등록된 IOT 가전의 실제 동작을 제어하기 위한 가전 제어 프로그램이 저장될 수 있다. In addition, the
GW 프로세서(430)는 GW 메모리(420)에 저장된 하나 이상의 프로그램을 실행하여 IF GW 서버(400)의 전반적인 동작을 제어한다. The
예를 들어, GW 프로세서(130)의 등록부(431)는 AI 스피커(210)로부터 등록 요청 정보가 수신되면, 가전 등록 프로그램을 실행하여 등록 요청 정보에 대해 어휘 및 구문 분석을 실행하고, 실행 결과로부터 등록에 필요한 필수 정보의 누락 여부를 판단한다. 필수 정보가 AI 스피커(210)를 통해 모두 수신되면, 등록부(431)는 신규 IOT 가전의 모델명에 해당하는 기능 제어 프로토콜을 AI 서버(100)로부터 제공받아, 기능 제어 프로토콜을 신규 IOT 가전의 모델명과 신규 IOT 가전을 제어하는 가전 제어 서버(510)의 정보에 매핑하여 GW DB(440)에 저장하여 신규 IOT 가전을 등록한다.For example, the
또한, GW 프로세서(430)의 기능 제어부(432)는 AI 스피커(210)로부터 동작 제어 명령이 수신되면 가전 제어 프로그램을 실행하여 수신된 동작 제어 명령에 대해 어휘 및 구문 분석을 적용하고, 적용 결과로부터 사용자가 제어하고자 하는 IOT 가전의 모델명을 확인하다. 그리고, 기능 제어부(432)는 GW DB(440)로부터 IOT 가전의 모델명에 매핑 저장된 기능 제어 프로토콜이 가전 제어 서버(510)에게 전송되도록 한다.In addition, the
GW DB(440)에는 사용자 계정마다 등록된 IOT 가전들의 종류와 모델명, 제조사, 별명, 그리고, 각 IOT 가전의 동작을 무선으로 제어하는 가전 제어 서버들(510, 520, 530)의 주소가 저장된다. 또한, GW DB(440)에는 각 IOT 가전의 모델명마다 기능 제어 프로토콜들이 매핑저장된다. The
도 4는 본 발명의 실시 예에 따른 AI 서버(100)의 IOT 가전의 기능 제어 프로토콜 생성 방법을 설명하기 위한 흐름도이다.4 is a flowchart illustrating a method of generating a function control protocol of an IOT home appliance by the
도 4를 참조하면, AI 서버(100)는 인터넷으로부터 웹페이지를 로딩하여 IOT 가전 정보를 수집한다(S405).Referring to FIG. 4, the
AI 서버(100)는 수집된 웹페이지에 이미지가 존재하면(S410-Yes), 이미지에서 텍스트를 추출한다(S415).If the image exists in the collected web page (S410-Yes), the
AI 서버(100)는 웹페이지의 html 페이지 소스와 이미지로부터 추출된 텍스트로부터 IOT 가전의 종류, 모델명 및 기능에 대한 정보를 검색한다(S420).The
AI 서버(100)는 검색된 IOT 가전의 종류, 모델명 및 기능에 대한 정보를 학습하여 IOT 가전의 종류, 모델명 및 기능을 분류하고(S425), 분류된 IOT 가전의 모델명에 대한 기능 제어 프로토콜이 AI DB(140)에 존재하면(S430-Yes), 등록된 IOT 가전의 기능별 기능 제어 프로토콜을 취합하여 AI DB(140)에 등록한다(S435).The
반면, AI DB(140)에 존재하지 않으면(S430-No), AI 서버(100)는 S425단계에서 분류된 IOT 가전의 종류, 모델명 및 기능에 대한 정보를 텍스트화한 후(S440), 텍스트로부터 명령 의미 학습을 수행하여 의미있는 토큰들을 추출한다(S445).On the other hand, if it does not exist in the AI DB 140 (S430-No), the
AI 서버(100)는 추출된 의미있는 토큰에 따라 IOT 가전의 기능 별로 기능코드 및 설정값을 지정하는 프로토타입을 [표 1]과 같이 정의한다(S450).The
그리고, AI 서버(100)는 S450단계에서 정의된 프로토타입에 기반하여 네트워크를 통해 통신가능한 형태의 기능 제어 프로토콜을 기능 별로 정의하고, IOT 가전의 모델명에 매핑하여 AI DB(140)에 저장한다(S455, S460).In addition, the
도 5는 본 발명의 실시 예에 따른 신규 IOT 가전의 등록 방법을 설명하기 위한 흐름도이다.5 is a flowchart illustrating a registration method of a new IOT household appliance according to an embodiment of the present invention.
도 5를 참조하면, AI 스피커(210)는 IF GW 서버(400)에 등록하기 위한 신규 IOT 가전의 모델명을 포함하는 정보(즉, 등록 요청 정보)를 사용자로부터 음성으로 수신하면, 등록 요청 정보를 STT에 의해 텍스트로 변환하고, AI 게이트웨이 플러그인 장치들(310)를 통해 IF GW 서버(400)로 전송한다(S505~S520).Referring to FIG. 5, when the
IF GW 서버(400)는 수신된 등록 요청 정보를 분석하여 누락된 필수 정보를 확인하고, 필수 정보가 모두 포함되어 있으면(S525), AI 서버(100)에게 신규 IOT 가전의 모델명의 기능 제어 프로토콜을 요청한다(S530).IF
AI 서버(100)는 신규 IOT 가전의 모델명에 매핑된 기능 제어 프로토콜을 검색하여 미등록된 경우 기능 제어 프로토콜을 생성한 후 IF GW 서버(400)와 가전 제어 서버(510)에게 전송한다(S535~S545). AI 서버(100)는 IF GW 서버(400)로부터 가전 제어 서버(510)의 주소를 제공받을 수 있다.The
IF GW 서버(400)와 가전 제어 서버(510)는 수신된 기능 제어 프로토콜을 저장함으로써 신규 IOT 가전을 등록한다(S550, S555).The
이후, IF GW 서버(400)는 신규 IOT 가전을 제어할 가전 제어 서버(510)의 URL을 사용자의 단말기로 전송하여 설정하도록 한다. 이로써, 가전 제어 서버(510)와 사용자 단말기는 신규 IOT가전의 기능 상태를 실시간으로 공유하게 된다.Thereafter, the
도 6은 본 발명의 실시 예에 따른 신규 IOT 가전의 동작 제어 방법을 설명하기 위한 흐름도이다.6 is a flowchart illustrating an operation control method of a new IOT household appliance according to an embodiment of the present invention.
도 6을 참조하면, AI 스피커(210)는 IOT 가전의 동작을 제어하기 위한 명령을 음성으로 수신하면, 수신된 명령을 STT에 의해 텍스트로 변환한다(S605, S610).Referring to FIG. 6, when the
AI 게이트웨이 플러그인 장치들(310)는 텍스트 형태의 명령을 AI 스피커(210)로부터 로딩하여 IF GW 서버(400)로 전송한다(S615~S620).The AI gateway plug-in
IF GW 서버(400)는 수신된 텍스트 형태의 명령을 분석하여 제어할 IOT 가전을 검색하고, 사용자의 명령에 해당하는 기능을 수행하기 위한 기능 제어 프로토콜을 확인하여 가전 제어 서버(510)에게 전송한다(S625~S635).IF
가전 제어 서버(510)는 수신된 기능 제어 프로토콜을 분석하여 사용자가 요청한 IOT 가전의 동작을 기능 제어 프로토콜을 이용하여 제어한다(S640).The home
이로써 IOT 가전(610)은 사용자가 S605단계에서 요청한 동작을 수행한다(S645).Thus, the
한편, 이상으로 본 발명의 기술적 사상을 예시하기 위한 바람직한 실시 예와 관련하여 설명하고 도시하였지만, 본 발명은 이와 같이 도시되고 설명된 그대로의 구성 및 작용에만 국한되는 것이 아니며, 기술적 사상의 범주를 일탈함이 없이 본 발명에 대해 다수의 변경 및 수정 가능함을 당업자들은 잘 이해할 수 있을 것이다. 따라서, 그러한 모든 적절한 변경 및 수정과 균등물들도 본 발명의 범위에 속하는 것으로 간주하여야 할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.On the other hand, while described and illustrated in connection with a preferred embodiment for illustrating the technical idea of the present invention, the present invention is not limited to the configuration and operation as shown and described as described above, it deviates from the scope of the technical idea It will be apparent to those skilled in the art that many modifications and variations can be made to the invention without departing from the scope of the invention. Accordingly, all such suitable changes and modifications and equivalents should be considered to be within the scope of the present invention. Therefore, the true technical protection scope of the present invention will be defined by the technical spirit of the appended claims.
100: AI 서버 210, 220: AI 스피커
310, 320: AI 게이트웨이 플러그인 장치
400: 인터페이스 게이트웨이 서버(IF GW 서버)
510~530: 제어 서버100:
310, 320: AI gateway plug-in device
400: Interface Gateway Server (IF GW Server)
510-530: control server
Claims (4)
상기 다수의 IOT 가전들 중 하나 이상의 동작을 제어하기 위한 명령을 사용자로부터 음성으로 입력받아 텍스트로 변환하며, 상기 변환된 텍스트를 로딩하는 방식이 상이한 다수의 AI 스피커들;
상기 다수의 AI 스피커들 각각과 통신하며, 상기 AI 스피커들이 상기 텍스트 형태의 명령을 제공하는 방식을 고려하여 상기 텍스트 형태의 명령을 상기 AI 스피커들로부터 로딩하고, 상기 로딩된 텍스트 형태의 명령을 하기 인터페이스 게이트웨이 서버로 전송하는 다수의 게이트웨이 플러그인 장치들;
상기 다수의 게이트웨이 플러그인 장치들 중 하나로부터 수신되는 텍스트 형태의 명령을 분석하여 상기 사용자가 제어하기 위한 하나 이상의 IOT 가전을 검색하고, 상기 사용자의 명령에 해당하는 기능을 수행하기 위한 기능 제어 프로토콜을 상기 검색된 IOT 가전을 제어하는 가전 제어 서버로 전송하는 인터페이스 게이트웨이 서버; 및
상기 다수의 IOT 가전들과 관련된 정보를 인터넷으로부터 수집 및 학습하여 상기 IOT 가전들 각각의 종류, 모델명 및 기능을 분류하고, 상기 분류된 종류, 모델명 및 기능에 대한 정보를 학습하여 기능 별로 기능코드 및 설정값을 지정하는 프로토타입을 정의하고, 상기 정의된 프로토타입에 기반하여 기능 제어 프로토콜을 정의하여 DB에 저장하며, 상기 다수의 IOT 가전들의 모델명에 해당하는 기능 제어 프로토콜을 검색하여 상기 인터페이스 게이트웨이 서버 및 상기 가전 제어 서버에게 전송하는 AI 서버;를 포함하고,
상기 다수의 가전 제어 서버들 중 상기 인터페이스 게이트웨이 서버로부터 기능 제어 프로토콜을 수신한 가전 제어 서버는 상기 IOT 가전의 동작을 제어하는 것을 특징으로 하는 IOT 가전 제어 시스템.
A plurality of home appliance control servers installed according to any one of a type and manufacturer of a plurality of Internet of Things (IOT) home appliances and controlling the plurality of IOT home appliances by wireless communication;
A plurality of AI speakers that receive a command for controlling an operation of one or more of the plurality of IOT appliances from a user by voice and convert the text into text, and load the converted text;
Communicating with each of the plurality of AI speakers, loading the textual command from the AI speakers in consideration of the manner in which the AI speakers provide the textual command, and performing the loaded textual command A plurality of gateway plug-in devices for transmitting to the interface gateway server;
Analyzes a text-type command received from one of the plurality of gateway plug-in devices to search for one or more IOT appliances for control by the user, and provides a function control protocol for performing a function corresponding to the user's command An interface gateway server for transmitting the found IOT home appliance to a home appliance control server; And
Collect and learn information related to the plurality of IOT appliances from the Internet to classify the type, model name, and function of each of the IOT appliances, and learn the information about the classified type, model name, and function for each function code and Define a prototype specifying a set value, define a function control protocol based on the defined prototype and store it in a DB, search for a function control protocol corresponding to the model name of the plurality of IOT appliances the interface gateway server And an AI server for transmitting to the home appliance control server.
The home appliance control server which has received a function control protocol from the interface gateway server among the home appliance control servers controls the operation of the IOT home appliance.
상기 인터페이스 게이트웨이 서버는,
상기 사용자의 계정에 IOT 가전들의 종류와 모델명이 매핑된 사용자 테이블과, 상기 IOT 가전들의 종류마다 해당하는 가전 제어 서버의 주소가 매핑된 주소 테이블과, 상기 IOT 가전들의 기능들을 제어하기 위한 기능 제어 프로토콜들을 저장하고,
상기 텍스트 형태의 명령에 대해 어휘 및 구문 분석을 적용하여 상기 사용자가 제어하기 위한 가전 IOT를 상기 사용자 테이블로부터 하나 이상 검색하는 것을 특징으로 하는 IOT 가전 제어 시스템.
The method of claim 1,
The interface gateway server,
A user table in which the type and model name of IOT appliances are mapped to the user's account, an address table in which an address of the appliance control server corresponding to each type of IOT appliances is mapped, and a function control protocol for controlling the functions of the IOT appliances. Save them,
Applying at least one home appliance IOT for the user to control from the user table by applying vocabulary and syntax analysis to the command in text form.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020180061838A KR102042688B1 (en) | 2018-05-30 | 2018-05-30 | IOT device controlling system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020180061838A KR102042688B1 (en) | 2018-05-30 | 2018-05-30 | IOT device controlling system |
Publications (1)
Publication Number | Publication Date |
---|---|
KR102042688B1 true KR102042688B1 (en) | 2019-11-08 |
Family
ID=68542343
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020180061838A KR102042688B1 (en) | 2018-05-30 | 2018-05-30 | IOT device controlling system |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102042688B1 (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102227159B1 (en) * | 2019-11-21 | 2021-03-11 | 주식회사 에스원 | Smart Home Appliancee Control System and Method thereof |
KR20210099772A (en) | 2020-02-05 | 2021-08-13 | 주식회사 케이티 | Method, apparatus, system and computer program for device control using camera image |
EP4297344A1 (en) * | 2022-06-20 | 2023-12-27 | Mindwareworks Co.,Ltd. | System for providing iot device integrated control service through ai server |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20030034413A (en) * | 2001-10-23 | 2003-05-09 | 한국전자통신연구원 | Remote appliance control system and method |
KR20140037519A (en) * | 2012-09-19 | 2014-03-27 | 주식회사 케이티 | Control station for remote control of home appliances by recognition of natural language based command and method thereof |
KR101734398B1 (en) | 2016-04-22 | 2017-05-12 | 주식회사소노위즈 | Smart home service apparatus based on object position and spoken dialogue |
KR20170111838A (en) * | 2016-03-30 | 2017-10-12 | 전자부품연구원 | Automatic Service Configuration Methods utilizing Thing Functions and Cloud Services |
US20170345420A1 (en) * | 2016-05-27 | 2017-11-30 | Centurylink Intellectual Property Llc | Internet of Things (IoT) Human Interface Apparatus, System, and Method |
-
2018
- 2018-05-30 KR KR1020180061838A patent/KR102042688B1/en active IP Right Grant
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20030034413A (en) * | 2001-10-23 | 2003-05-09 | 한국전자통신연구원 | Remote appliance control system and method |
KR20140037519A (en) * | 2012-09-19 | 2014-03-27 | 주식회사 케이티 | Control station for remote control of home appliances by recognition of natural language based command and method thereof |
KR20170111838A (en) * | 2016-03-30 | 2017-10-12 | 전자부품연구원 | Automatic Service Configuration Methods utilizing Thing Functions and Cloud Services |
KR101734398B1 (en) | 2016-04-22 | 2017-05-12 | 주식회사소노위즈 | Smart home service apparatus based on object position and spoken dialogue |
US20170345420A1 (en) * | 2016-05-27 | 2017-11-30 | Centurylink Intellectual Property Llc | Internet of Things (IoT) Human Interface Apparatus, System, and Method |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102227159B1 (en) * | 2019-11-21 | 2021-03-11 | 주식회사 에스원 | Smart Home Appliancee Control System and Method thereof |
KR20210099772A (en) | 2020-02-05 | 2021-08-13 | 주식회사 케이티 | Method, apparatus, system and computer program for device control using camera image |
EP4297344A1 (en) * | 2022-06-20 | 2023-12-27 | Mindwareworks Co.,Ltd. | System for providing iot device integrated control service through ai server |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102042689B1 (en) | IOT device setting system | |
KR102042688B1 (en) | IOT device controlling system | |
CN101690017B (en) | Formtext method and apparatus for relaying communication between universal plug and play device and remote user interface client | |
KR102081273B1 (en) | Cloud-AI server for generating function control protocols of IOT devices | |
CN106683674A (en) | System and method for controlling intelligent home by aid of voice | |
CN110618614A (en) | Control method and device for smart home, storage medium and robot | |
CN107749297B (en) | Method for controlling intelligent hardware by voice | |
CN108228064B (en) | Data monitoring control method, device and computer storage medium | |
JP2006238164A (en) | Protocol converter, equipment to be accessed, program and method | |
CN109030975B (en) | Electric appliance type inference method and device based on intelligent socket | |
KR20140037519A (en) | Control station for remote control of home appliances by recognition of natural language based command and method thereof | |
CN113615141B (en) | Account association method, device, system, server and storage medium | |
WO2021107444A1 (en) | Knowledge graph-based marketing information analysis service provision method, and device therefor | |
KR20210063874A (en) | A method and an apparatus for analyzing marketing information based on knowledge graphs | |
CN106547568A (en) | Wallpaper replacing method, server and intelligent terminal | |
CN113990324A (en) | Voice intelligent home control system | |
CN111212327A (en) | Control method and device of playing equipment and storage medium | |
KR20210063882A (en) | A method and an apparatus for analyzing marketing information based on knowledge graphs supporting efficient classifying documents processing | |
CN114595972A (en) | Smart city management method applying virtual digital people | |
WO2012171399A1 (en) | Information pushing method, network element and system | |
KR20220074574A (en) | A method and an apparatus for analyzing real-time chat content of live stream | |
CN114584624A (en) | Electronic device management method, system, server and computer-readable storage medium | |
CN1588968A (en) | Method for searching information using mobile terminal short message service | |
KR20210063875A (en) | Computer program and recording medium for analyzing marketing information | |
WO2018023518A1 (en) | Smart terminal for voice interaction and recognition |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |