WO2020241911A1 - Iot 기기 제어 장치 및 그 장치의 제어 방법 - Google Patents

Iot 기기 제어 장치 및 그 장치의 제어 방법 Download PDF

Info

Publication number
WO2020241911A1
WO2020241911A1 PCT/KR2019/006358 KR2019006358W WO2020241911A1 WO 2020241911 A1 WO2020241911 A1 WO 2020241911A1 KR 2019006358 W KR2019006358 W KR 2019006358W WO 2020241911 A1 WO2020241911 A1 WO 2020241911A1
Authority
WO
WIPO (PCT)
Prior art keywords
command
iot
control
received
unit
Prior art date
Application number
PCT/KR2019/006358
Other languages
English (en)
French (fr)
Inventor
서강희
권혁민
마지영
박영미
최성범
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to PCT/KR2019/006358 priority Critical patent/WO2020241911A1/ko
Publication of WO2020241911A1 publication Critical patent/WO2020241911A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/40—Network security protocols
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]

Definitions

  • the present invention relates to an apparatus for controlling an IOT device and a control method of the apparatus.
  • IOT Internet of Things
  • IOT devices can exchange data with each other, so they can have a higher synergy effect when linked with AI (Artificial Intelligence) technology. That is, when a plurality of IOT devices are connected to a device to which AI technology is applied (hereinafter, referred to as AI device), a user can control at least one IOT device through the AI device without having to directly control a specific device. Therefore, it is usually formed so that a number of IOT devices are controlled through AI devices.
  • AI Artificial Intelligence
  • IOT devices communication and data exchange with each other is possible according to the IOT function, so that the IOT device can be controlled without using the AI function.
  • IOT devices according to the standards specified by the Open Connectivity Foundation (OCF) are appearing in order to expand the base of various IOT technologies and related technologies and expand the IOT technology.
  • an AI device when an AI device is used, only IOT devices that use the same protocol as the specific AI device or have the same platform are formed to be able to connect to the specific AI device. For example, when the manufacturers are the same, or even if the manufacturers are different, they have the same or compatible protocol, or have the same platform (eg, processor models and operating systems). AI devices and IOT devices may be connected to each other. Therefore, if the manufacturers are different or have different platforms, the AI device and the IOT device may not be connected to each other. Therefore, when IOT devices are controlled using AI devices, there is a problem that the number and types of devices that can be controlled are limited.
  • An object of the present invention is to solve the above-described problems and other problems, and to provide an IOT device control device and a control method of the device that enable IOT devices to be connected and controlled without using an AI device.
  • another object of the present invention is an IOT device capable of controlling not only IOT devices connected to the AI device but also IOT devices not connected to the AI device according to a result of analyzing the received command when a command is received from a user. It is to provide a control device and a method of controlling the device.
  • an IOT device control apparatus includes first Internet Of Things (IOT) devices that can be connected to an AI (Artificial Intelligence) device.
  • IOT Internet Of Things
  • AI Artificial Intelligence
  • a first device linking unit that is linked a second device linking unit that is linked to second IOT devices that are not connected to the AI device, keywords related to the names of a plurality of IOT devices, and executed by each of the plurality of IOT devices
  • an AI interworking unit interlocked with the AI device, the command analysis unit, the received command, a designator for specifying the target device and a control command for specifying the function to be performed
  • the execution command is transmitted to the first device linking unit or the second device linking unit, or the received command is transmitted to the AI linking unit, and the It is characterized in that it processes the received command.
  • the command analysis unit when the received command does not include the designated word and the control command, detects whether the received command includes a preset keyword, and detects the preset keyword. Depending on whether or not included, a function built into the IOT device control device is executed, or the received command is transmitted to the AI interworking unit to be processed through the AI device.
  • the preset keyword corresponds to a plurality of preset devices and a plurality of functions respectively designated for the plurality of devices
  • the command analysis unit includes the received command including the preset keyword.
  • the plurality of devices specified as the target device are directly controlled to specify the plurality of preset devices as target devices, and to perform each of a plurality of functions corresponding to the keyword.
  • the command analysis unit further determines whether or not there are a plurality of devices corresponding to the designated word when both the control command and the designated word are included in the received command, and the IOT device corresponding to the designated word is In the case of a plurality, search for an IOT device capable of performing a function corresponding to the control command among IOT devices corresponding to the designated word, and among the first device linkage unit and the second device linkage unit linked with the searched IOT device In at least one, the execution command is transmitted.
  • the command analysis unit when the searched IOT device is plural, selects a part according to a preset condition and interlocks with the selected part of the IOT device, among the first device linkage unit and the second device linkage unit In at least one, the execution command is transmitted.
  • the command analysis unit performs a function corresponding to the control command among the plurality of searched IOT devices, based on at least one of a priority set in each IOT device or location information included in a received command. It is characterized by selecting a part to do.
  • the priority set for each IOT device is changed according to time
  • the command analysis unit includes the plurality of searched IOT devices according to the priority of each IOT device corresponding to the time at which the command is received. Among them, at least one device to perform a function corresponding to the control command is selected.
  • keywords related to the name of the IOT device include a similar name of each IOT device, and the similar name is a name from which some of the names of each IOT device are deleted, or for each IOT device. It is characterized by including a name that is used conventionally.
  • the command analysis unit when a command is received from a user, extracts words from the received command based on spaces, and among the extracted words, a keyword related to the name of the IOT device and the IOT device respectively A designation word for specifying the target device and a control command for specifying the function to be performed are detected according to a first detection method for detecting words matching keywords related to executable functions.
  • the command analysis unit when a command is received from a user, ignores spaces and connects each character included in the command, and extracts words by sequentially combining the connected words, and among the extracted words Specifying a designator for specifying the target device and the function to be performed according to a second detection method for detecting keywords related to the name of the IOT device and keywords related to functions that can be performed in each of the IOT devices It characterized in that it detects the control command for.
  • the command analysis unit when a command is received from a user, detects the designated word and the control command through the first detection method, and the designated word and the control command through the second detection method according to the detection result. It is characterized in that the control command is detected again.
  • the command analysis unit determines whether the command analysis unit is a command analysis unit.
  • words are extracted based on spaces, and the designated word and the control command are detected according to either the first detection method or the second detection method according to the number of extracted words. To do.
  • the first IOT devices are IOT devices that use a protocol compatible with the AI device or have the same platform, and the second IOT devices use a protocol different from that of the AI device, or They are IOT devices having different platforms.
  • a control method of an IOT device control apparatus when a command is received from a user, analyzes the received command to obtain at least one word
  • the plurality of IOT devices include first IOT devices that can be connected to an AI device, and second IOT devices that are not connected to the AI device, and the fourth step includes: Executing a function corresponding to the control command to at least one of a first device linking unit linked to the first IOT devices and a second device linking unit linked to the second IOT devices according to a corresponding target device Step 4-1 of transmitting an execution command for and the execution command to at least one of the first IOT devices and the second IOT devices through at least one of the first device linking unit and the second device linking unit It characterized in that it comprises a 4-2 step of transmitting.
  • the plurality of IOT devices include first IOT devices that can be connected to the AI device, and second IOT devices that are not connected to the AI device, and the fifth step includes the AI Step 5-1 of transmitting the received command to the AI device through an AI interlocking unit interlocked with the device, and step 5-2 of receiving an analysis result of the AI device in response to the received command; and 5th, which transmits an execution command for executing a function corresponding to the control command to at least one of the first IOT devices according to the analysis result through a first device linkage unit interlocked with the first IOT devices It characterized in that it includes three steps.
  • the first IOT devices are IOT devices that use a protocol compatible with the AI device or have the same platform, and the second IOT devices use a protocol different from that of the AI device, or It features IOT devices having different platforms.
  • the present invention analyzes the received command, and when the function according to the command does not require the function of the AI device, the AI device is directly controlled according to the analysis result of the command.
  • the present invention controls an IOT device that is not connected to an AI device by controlling an IOT device specified according to the received command without passing through the AI device according to the result of analyzing the received command. Even a device can be controlled according to a user's voice command.
  • FIG. 1 is a conceptual diagram illustrating a concept in which an IOT control apparatus according to an embodiment of the present invention receives a voice command from a user and controls a plurality of IOT devices according to the received command.
  • FIG. 2 is a block diagram illustrating the structure of an IOT device control apparatus according to an embodiment of the present invention.
  • FIG. 3 is a flowchart illustrating an operation process of controlling IOT devices based on analysis results and analysis of a command received from the device for controlling an IOT device according to an embodiment of the present invention.
  • FIG. 4 is a detailed flowchart illustrating a process of determining whether a target device and a function can be specified from a currently received command during the process of FIG. 3 by the IOT device control apparatus according to an embodiment of the present invention.
  • FIG. 5 is a flowchart illustrating an operation process of controlling a specified target device so that an IOT device control device according to an embodiment of the present invention performs a function specified from a received command.
  • FIG. 6 is a flowchart illustrating an operation process of controlling only some target devices to perform a function specified from a received command when the device for controlling an IOT device according to an embodiment of the present invention includes a plurality of specified target devices.
  • FIGS. 7A and 7B are diagrams illustrating a flow in which a command is transmitted and a response corresponding thereto when a command that can be executed by itself is received by the IOT device control apparatus according to an embodiment of the present invention.
  • FIGS. 8A and 8B are diagrams illustrating a flow in which a command is transmitted to an AI device and a response according thereto when a command related to an AI function is received by the IOT device control apparatus according to an embodiment of the present invention.
  • FIGS. 9A and 9B show that, when a command related to a device not connected to an AI device is received to the IOT device control device according to an embodiment of the present invention, a control command is transmitted to a second device not connected to the AI device.
  • FIGS. 9A and 9B show that, when a command related to a device not connected to an AI device is received to the IOT device control device according to an embodiment of the present invention, a control command is transmitted to a second device not connected to the AI device.
  • 10A and 10B are flow diagrams illustrating a flow of a control command being transmitted to a first device interworking with the AI device when a command related to a device interworking with an AI device is received by the IOT device control device according to an embodiment of the present invention. These are diagrams showing a flow through which a response is transmitted.
  • 11A and 11B illustrate a flow of control commands transmitted to each device and a response according to the flow of control commands to each device when a batch control command related to both the first device and the second device is received in the IOT device control device according to an embodiment of the present invention. These are drawings showing the delivered flow.
  • FIG. 1 is a conceptual diagram illustrating a concept in which an IOT device control apparatus 10 according to an embodiment of the present invention receives a voice command from a user and controls a plurality of IOT devices according to the received command.
  • the IOT device control apparatus 10 may be connected to a plurality of IOT devices through wireless communication.
  • a plurality of IOT devices are air conditioners 31, washing machines 32, lights 41, and televisions 42
  • the IOT device control device 10 includes the air conditioners 31, It may be connected to the washing machine 32, the lamp 41, and the television 42, respectively.
  • the IOT device control device 10 may be connected to the AI device 15.
  • the plurality of IOT devices may be connected to the AI device 15 as well as the IOT device control device 10 according to an embodiment of the present invention.
  • the air conditioner 31 and the washing machine 32 among a plurality of IOT devices may be connected to the AI device 15.
  • the user can control the air conditioner 31 and the washing machine 32 through the AI device 15.
  • some of the plurality of IOT devices may not be connected to the AI device 15.
  • the manufacturer of the light 41 and the television 42 and the manufacturer of the AI device 15 use protocols that are incompatible with each other, or when the IOT platform is different, the light 41 and the television 42 and the AI device 15 may not be connected to each other. In this case, the user cannot control the lamp 33 and the television 42 through the AI device 15.
  • IOT devices that use a protocol compatible with the AI device 15 or are formed based on the same IOT platform and can be connected to the AI device 15 will be referred to as a first device 30.
  • IOT devices that use a protocol incompatible with the AI device 15 or are formed based on a different IOT platform and are not connected to the AI device 15 will be referred to as a second device 40.
  • the IOT device control device 10 is a linking unit for interworking with the AI device 15 and devices (first device 30) connected to the AI device 15 (hereinafter referred to as 1 device linkage unit) and an linkage unit for linking with the second device 40 (hereinafter, a second device linkage unit) may be provided.
  • the second device 40 is not connected to the AI device 15, but may be connected to the IOT device control device 10 according to an embodiment of the present invention through the second device linking unit.
  • the second device 40 may be an IOT device using a protocol compatible with the OCF standard or an IOT device formed based on an open platform according to the OCF standard.
  • the second device linkage unit may be a framework according to the OCF standard. Accordingly, the second device 40 may be interlocked with the second device interworking unit through a protocol conforming to the OCF standard, and may be connected to the IOT device control device 10 according to an embodiment of the present invention.
  • the IOT device control apparatus 10 may receive a user's voice command through the mobile terminal 20 or receive the voice command through the user's 22 detected through a microphone. have.
  • at least one of a plurality of IOT devices connected to the IOT device control apparatus 10 may be controlled according to a received or input voice command.
  • the IOT device control apparatus 10 may analyze a received voice command, that is, a command, and specify a target device and a control command included in the command according to the analyzed result. Further, the specified target device may be controlled according to the specified control command. Therefore, when the function of an AI device, for example, a natural language processing function according to artificial intelligence, is not required, the designated IOT device can be controlled without interlocking with the AI device. Therefore, even an IOT device not connected to the AI device 15, such as the second device 40, can be controlled through a user's voice command.
  • a received voice command that is, a command
  • the specified target device may be controlled according to the specified control command. Therefore, when the function of an AI device, for example, a natural language processing function according to artificial intelligence, is not required, the designated IOT device can be controlled without interlocking with the AI device. Therefore, even an IOT device not connected to the AI device 15, such as the second device 40, can be controlled through a user's voice command.
  • the IOT device control apparatus 10 may determine whether or not the received command is for controlling the IOT device through analysis of the received voice command, that is, the command.
  • the received command is a command for controlling the IOT device
  • it may be determined whether the target device and the function to be performed can be specified from the received command.
  • the specified target device may be directly controlled to perform the specified function.
  • FIG. 2 is a block diagram for explaining the structure of the IOT device control apparatus 10 according to an embodiment of the present invention.
  • the IOT device control device 10 includes a command analysis unit 100, a memory 110, a driving unit 120, an AI linking unit 130, and a first device interworking.
  • the unit 140, the second device linking unit 150, the input/output unit 160, and the communication unit 170 may be included.
  • the components shown in FIG. 2 are not essential in implementing the IOT device control device 10, so the IOT device control device 10 described in the present specification has more or less components than the components listed above. It can have elements.
  • the communication unit 170 may perform wireless communication with at least one other device.
  • the communication unit 170 may perform wireless communication with a preset user's mobile terminal 20.
  • the communication unit 170 may receive a user's voice signal or character string input through the mobile terminal 20 as a user input applied to the IOT device control device 10.
  • the input/output unit 160 may include at least one input unit through which a user's command is input.
  • the input/output unit 160 may include a microphone for inputting an audio signal.
  • the input/output unit 130 may include a camera for inputting an image signal.
  • the voice data or image data collected by the input/output unit 130 may be analyzed and processed as a user's input.
  • the input/output unit 160 may include at least one component for generating an output related to visual or audio.
  • the input/output unit 160 outputs the received user's command analysis result or at least one target device specified according to the analysis result of the command and the control result of the target device as an acoustic signal or outputs a visual signal. Can be printed.
  • the memory 110 stores data supporting various functions of the IOT device control device 10.
  • the memory 110 may store a plurality of application programs or applications driven by the IOT device control device 10, data for operation of the IOT device control device 10, and commands.
  • the memory 110 may store data related to a function for analyzing the received command.
  • information related to a plurality of IOT devices currently connected to the IOT device control apparatus 10 may be stored.
  • the information related to the plurality of IOT devices may include information on a name, identification information (eg, ID), type or type of each IOT device.
  • information on the platform of the IOT device may be included.
  • the information related to each IOT device may include information on a similar name of each IOT device.
  • the similar name may include a name from which some of the names of each IOT device has been deleted, or a name that is conventionally used. For example, when the IOT device is a “microwave oven”, a similar name may include “range” in which “electronic” is omitted.
  • the information related to each IOT device may include information on the current location of each IOT device.
  • information on the name, similar names, and location of each IOT device may be included in information related to each IOT device as a keyword corresponding to each IOT device.
  • information related to each IOT device may include information on functions that can be performed by each IOT device.
  • information related to each IOT device may include functions that can be performed and keywords corresponding to each function.
  • the included keywords may include information on unique functions that can be performed in each IOT device (e.g., a boiler, heater, or air conditioner-'up','down', TV-'turn on', 'Turn', device common-'On','Off', etc.).
  • functions that can be performed by each IOT device and keywords corresponding to each function may be included in information related to each IOT device as keywords corresponding to each IOT device.
  • Such information related to IOT devices may form a database based on device identification information (eg, ID).
  • ID device identification information
  • the information related to the IOT device may be received from the IOT device or downloaded from a preset server (eg, a server of the IOT device manufacturer or an external server).
  • a database including information related to IOT devices will be referred to as a device database 112.
  • the command analysis unit 100 may recognize a user's command input by voice through the communication unit 170 or the input/output unit 160 or extract the user's command from the input character string. And it is possible to analyze the recognized or extracted user command.
  • the command analysis unit 100 may extract words based on spaces from the recognized or extracted user command. To this end, the command analysis unit 100 may classify words based on spaces from the entire command string of the user and extract the separated words. In addition, among the extracted words, words corresponding to keywords stored in the device database 112 may be detected.
  • the keyword stored in the device database 112 is a keyword corresponding to each IOT device, and may be a name and similar name of each IOT device, or one of functions that can be performed in each IOT device and a keyword corresponding to each function. I can.
  • the command analysis unit 100 may distinguish words such as “light”, “some”, and “off” from the received command.
  • words such as'lighten' and'turn off' may be extracted as important words according to the keyword comparison result.
  • a method of extracting important words in the command analysis unit 100 as described above will be referred to as a first extraction method.
  • the command analysis unit 100 may extract important words in another way.
  • the command analysis unit 100 may connect each character included in the command, ignoring spaces for the entire command. Further, words are generated by sequentially combining the letters with respect to the connected letters, and important words may be extracted according to the matching result of the generated words and keywords stored in the device database 112.
  • the command analysis unit 100 ignores spaces and sequentially combines all the characters in the received command to “E”, “U”, “KON”, “ You can first extract words such as “turn on”, “air”, “air conditioner”, “turn on”, “air conditioner”, “turn on air”, and “turn on air conditioner”.
  • the words “air conditioner” and “on” may be extracted as important words.
  • a method of extracting the important words in the command analysis unit 100 will be referred to as a second extraction method.
  • the command analysis unit 100 may extract important words from the received command according to at least one of the first extraction method and the second extraction method. For example, the command analysis unit 100 may first try to extract important words through the first extraction method and extract important words through the second extraction method only when the important words are not extracted. Alternatively, the command analysis unit 100 may extract important words according to either the first extraction method or the second extraction method according to the number of extracted words as a result of extracting words included in the received command based on spaces. . For example, when the number of words extracted through spaces is plural, important words may be extracted according to the first extraction method, and when the number of extracted words is one, important words may be extracted according to the second extraction method.
  • the command analysis unit 100 may specify an IOT device to be controlled, that is, a target device, based on the extracted important words. Also, a function to be executed in the target device may be specified based on the extracted important words.
  • the command analysis unit 100 may determine whether a keyword corresponding to an IOT device name or a similar name is included among the extracted important words.
  • at least one IOT device may be specified according to the keyword matching the important word.
  • the above-described location information may also be extracted as the important word.
  • the location information may be used to specify at least one IOT device, together with an important word matching a keyword corresponding to the IOT device name or similar name. That is, the IOT device control apparatus 10 according to an embodiment of the present invention matches a keyword corresponding to an IOT device name or a similar name among the extracted important words, or among connected IOT devices based on an important word corresponding to a specific location. At least one can be specified.
  • an important word capable of specifying at least one IOT device among the important words included in the command will be referred to as a “designated word” capable of specifying a target device.
  • the command analysis unit 100 may determine whether among the extracted important words, functions that can be performed by each IOT device and important words matching a keyword corresponding to each function are included. In addition, when an important word matching a keyword corresponding to each function is included among the extracted important words, a function to be executed in the target device may be specified according to the keyword matching the important word.
  • a control command an important word capable of specifying a command for controlling a target device in order to perform a specific function.
  • the command analysis unit 100 may determine whether or not both the target device and the function to be performed can be specified based on the currently received command. This may be determined according to whether both the designated word and the control command are included in the important words extracted from the currently received command.
  • a control command may be transmitted to at least one IOT device (directly controlled) or controlled in conjunction with an AI device.
  • the command analysis unit 100 may determine the at least one target device through the device linking unit 140 or 150 linked to the specified at least one target device. A control command may be transmitted to perform the specified function. However, if any one of the target device or function is not specified, the command analysis unit 100 receives at least one IOT device through interworking with the AI device, so that the AI interworking unit interworking with the AI device performs the appropriate function. You can send commands.
  • controlling a specific device to execute a specific function includes the meaning of transmitting a command for executing the specific function to the specific device.
  • the IOT device control apparatus 10 may include a first device linking unit 140 for interworking with the first device 30.
  • the first device linking unit 140 may be a component for linking with IOT devices that may be connected to the AI device 15.
  • the first device linking unit 140 may include a protocol compatible with the AI device 15 or a framework according to the same IOT platform as the IOT platform of the AI device 15.
  • the IOT device control apparatus 10 may include a second device linking unit 150 for interworking with the second device 40.
  • the second device interworking unit 150 may include a framework conforming to the OCF standard, and may be interlocked with IOT devices conforming to the OCF standard. I can.
  • the IOT device control device 10 may include an AI linking unit 130 for interworking with the AI device 15.
  • the AI linking unit 130 may process the received voice and transmit the processed voice to the linked AI device. And it can be formed to be able to process a variety of information received from the AI device.
  • the IOT device control apparatus 10 may include a driving unit 120 for controlling connected IOT devices.
  • the driving unit 120 includes a first device driving unit 120 capable of processing and controlling functions related to the first device 30 and a second device driving unit 120 capable of processing and controlling functions related to the second device 40. It may include a device driver 120.
  • the first device driving unit 120 and the second device driving unit 120 each include information and data related to the functions of the first device 30 and the second device 40, and are analyzed by the command analysis unit 100 Depending on the result, a command for executing a specific function may be transmitted to one of the first device 30 and the second device 40.
  • the command transmitted from the driving unit 120 is transmitted to the first device linking unit 140 and/or the second device linking unit 150, and the first device linking unit 140 and/or the second device linking. It may be transmitted to the first device 30 and/or the second device 40 through the unit 150.
  • the driving unit 120 may include information on functions that can be processed internally by the IOT device control device 10 and perform functions that can be processed internally. For example, if the command received from the user is a command that can be processed internally by the IOT device control apparatus 10, the driver 120 may perform a function according to the received command and output the result as a response. Then, the outputted response may be output through the communication unit 170 or the input/output unit 160.
  • FIG. 3 is a flowchart illustrating an operation process of analyzing a command received by the command analysis unit 100 in the IOT device control apparatus 10 according to an embodiment of the present invention and controlling the IOT devices according to the analyzed result.
  • the IOT device control apparatus 10 receives a user's voice command through the input/output unit 160 and recognizes the input voice command as a command, or the user's mobile terminal 20 It has been mentioned that a command can be received through or a voice command received through the mobile terminal 20 can be recognized as a command. In the following description, the case where the command is input by voice or the case where the command is received as a string will be described as'when the command is received'.
  • the command analysis unit 100 of the IOT device control apparatus 10 may classify and analyze the received command ( S300).
  • the step S300 may be a step of extracting important words from a user's command received according to the first extraction method and/or the second extraction method described above.
  • the command analysis unit 100 classifies words based on the spacing method of the received command, and is important through either the first extraction method or the second extraction method according to the number of the separated words. You can extract words.
  • the command analysis unit 100 may determine whether the currently received command is a command for controlling a specific IOT device (S302). For example, the command analysis unit 100 may determine whether at least one important word is included in the currently received command.
  • the important word may be a word (designated word) for specifying a target device or a word (control command) for specifying a function to be performed.
  • the designated word may be a word that matches at least one of the name of the IOT device or similar name keywords included in the device database 112, and may be a word corresponding to a specific location.
  • the control command may be a word matching at least one of functions that can be performed by each IOT device included in the device database 112 and keywords corresponding to each function.
  • the command analysis unit 100 may determine whether a preset keyword is included.
  • the preset keyword may be a keyword corresponding to at least one IOT device and functions to be performed by the at least one IOT device.
  • the command analysis unit 100 may determine that the currently received command is not a command for controlling a specific IOT device. . Then, the command analysis unit 100 may determine whether the currently received command is related to a function built in the IOT device control apparatus 10 (S304).
  • the command analysis unit 100 may determine whether at least a part of the name of a function built into the IOT device control device 10 is included in the currently received command. And, if at least a part of the name of the function built in the IOT device control device 10 is included in the currently received command, the currently received command (eg, usage guide) is included in the function built in the IOT device control device 10. It can be determined as related. Then, the command analysis unit 100 may execute a built-in function of the IOT device control device 10 corresponding to the currently received command through the driving unit 120. Further, the execution result may be output through the input/output unit 160 or may be transmitted to the preset mobile terminal 20 through the communication unit 170 (S308). For example, when the received command is to drive a camera provided in the input/output unit 160, the driving unit 120 controls the camera according to the analysis result of the command analysis unit 100, and The image may be output through the input/output unit 160 or the communication unit 170.
  • step S304 if the currently received command is not related to the function built in the IOT device control device 10, the command analysis unit 100 converts the received command to the AI connected to the IOT device control device 10. It can be transmitted to the device 15. In this case, the received command may be transmitted to the AI device through the AI interworking unit 130. In addition, the AI device 15 may perform a function according to a result of analyzing the received command. That is, when the received command is not related to a function built in the IOT device control device 10, the command analysis unit 100 transmits the command to the AI device 15 so that the AI device 15 responds to the received command. It is possible to perform the following function (S306).
  • the command analysis unit 100 may determine that the target device specification and control command cannot be specified from the received command (step S302). In addition, it may be determined that the IOT device control device 10 is not a function that can be provided internally (step S304). Then, the command analysis unit 100 may proceed to step S306 to transmit the received command to the AI device 15, and the AI device 15 may process the received command. Thus, the AI device can output today's weather in response to the received command.
  • the command analysis unit 100 when at least one important word is included in the received command, or when a preset keyword is included, the command analysis unit 100 indicates that the currently received command is a command for controlling a specific IOT device. I can judge. Then, the command analysis unit 100 may determine whether all of the target device and the function to be performed can be specified from the received command (S310).
  • the command analysis unit 100 may first determine whether at least one designator for specifying a target device is included among important words included in the command. In addition, it may be determined whether at least one control command for specifying a function to be performed is included among important words included in the command.
  • the designated word may be a word matching at least one of the name of the IOT device or similar name keywords. Also, the designated word may be a word corresponding to a specific location.
  • the control command may be a word matching at least one of functions that can be performed in each IOT device and keywords corresponding to each function.
  • step S310 when the received command includes both a designated word and a control command, at least one of the IOT devices currently connected to the IOT device control device 10 is transmitted to the received command based on the designated word. It can be specified as a corresponding target device. In addition, the specified target device may be controlled to perform a function corresponding to the control command (S312).
  • the command analysis unit 100 may transmit a control command to the target device through the first device linking unit 140.
  • the command analysis unit 100 may transmit a control command to the target device through the second device linking unit 150.
  • the IOT device control apparatus 10 may control to perform a function according to the control command by transmitting a control command to the IOT device not connected to the AI device 15.
  • step S312 if there are a plurality of devices matching the designated word, a plurality of devices may be specified as target devices.
  • the command analysis unit 100 may control only IOT devices having a function capable of performing a function corresponding to the control command among a plurality of specified target devices to perform a function corresponding to the control command.
  • the command analysis unit 100 may extract the words "fire” and “fall down” from the received command as important words. Then,'light fixture' and'boiler' can be specified as target devices by the important word (designator) of'fire'. In addition, only the'boiler' capable of executing the control command'down' can be controlled to lower the set temperature according to the control command by the important word'down' (control command). In this case, the'boiler' can be controlled through direct control of the IOT device control device 10 without interlocking with the AI device.
  • the command analysis unit 100 may determine that both the target device and the function to be performed are capable of specifying according to the keyword included in the currently received command.
  • at least one target device may be specified according to the preset keyword, and the specified at least one device may be controlled to perform a function specified by the preset keyword.
  • the specified at least one target device is specified based on the received command and the specified function is performed according to the keyword according to the included keyword.
  • the operation of step S310 of controlling at least one target device will be described in detail with reference to FIG. 4 below.
  • step S310 when the received command includes only one of a designator for specifying a target device and a control command for specifying a control command, the command analysis unit 100 It can be determined that specifying any one of the functions is impossible.
  • the command analysis unit 100 may search for an IOT device corresponding to a designated word or control command included in the received command.
  • an AI device related to the searched IOT device may be searched (S314).
  • the command analysis unit 100 may search for the AI device 15 related to the IOT device corresponding to the designated word.
  • the command analysis unit 100 may detect an IOT device capable of performing a function corresponding to the control command from the device database 112. In addition, AI devices related to the detected IOT devices can be searched.
  • the command analysis unit 100 may transmit the currently received command to the searched AI device 15 through the AI interworking unit 130. Then, the AI device 15 may transmit a result of analyzing the command in response to the transmitted command. Then, the AI interworking unit 130 may search for at least one device corresponding to the analysis result received from devices (first devices 40) connected to the AI device 15. In addition, a control command for executing a function according to the analysis result received from the AI device 15 may be transmitted to the searched device. That is, the command analysis unit 100 may interwork with the AI device 15 to perform a function according to the currently received command, and at least one device may be configured to perform a function according to the analysis result of the AI device 15. It can be controlled (S316).
  • FIG. 4 shows the process of step S310 in which the IOT device control apparatus 10 according to an embodiment of the present invention determines whether a target device and an executable function can be specified from a currently received command during the process of FIG. 3. This is a detailed flowchart.
  • the IOT device control apparatus 10 determines that the received command is a command for controlling a specific device as a result of the determination in step S308, a designated word in the currently received command And, it may be determined whether all of the control commands are included (S400).
  • the command analysis unit 100 may check whether a preset keyword is included (S402).
  • the preset keyword may be a keyword corresponding to at least one IOT device and functions to be performed by the at least one IOT device.
  • a keyword corresponding to at least one IOT device and functions to be performed by the at least one IOT device will be referred to as a “batch control keyword”.
  • the user may designate a'outing mode' as the collective control keyword.
  • the keyword ‘out mode’ may be a keyword for specifying all IOT devices connected to the IOT device control apparatus 10 as target devices.
  • the keyword “outside mode” may be a keyword that specifies a function of turning off the power of all specified target devices.
  • the command analysis unit 100 may check whether or not the batch control keyword is included if the designated word or the control command is not included in the currently received command. And, if the batch control keyword is included, the command analysis unit 100 provides a designation word for specifying a plurality of devices corresponding to the batch control keyword and a control command for specifying a function to be performed by each of the plurality of devices. It may be determined that it is included in the received command (S404).
  • the command analysis unit 100 proceeds to step S312 of FIG. 3 to perform a function of each control command corresponding to the batch control keyword.
  • Each of the plurality of devices may be controlled to be performed by the device.
  • the command analysis unit 100 controls at least one first device 30 through the first device linking unit 140, and at least one second device ( 40) can be controlled.
  • the command analysis unit 100 may determine that it is impossible to specify any one of the target device or the function to be performed. (S406).
  • the command analysis unit 100 may proceed to step S314 of FIG. 3 to search for an IOT device corresponding to one of a designated word and a control command, and search for an AI device related to the searched IOT device.
  • the at least one IOT device may be controlled so that the at least one IOT device performs a function according to the determination of the linked AI device.
  • step S400 if the received command includes both the designated word and the control command, the command analysis unit 100 performs a function corresponding to the control command by the target device specified by the designated word. Whether or not it can be determined (S408).
  • step S408 if the specified target device can perform the function corresponding to the control command, the target device and the function to be performed are specified according to the designated word and control command included in the currently received command. It can be determined that this is possible (S410).
  • the command analysis unit 100 may proceed to step S312 of FIG. 3 to control the target device specified by the designated word to perform a function corresponding to the control command.
  • the specified target device may be the first device 30 or the second device 40, and in the case of the first device 30, the command analysis unit 100, through the first device linking unit 140, In the case of the second device 40, the first device 30 or the second device 40 may be controlled by transmitting a control command extracted from the command currently received through the second device linking unit 150. .
  • step S408 if the target device specified by the designated word cannot perform the function corresponding to the control command, the command analysis unit 100 may perform any one of the target device or the function to be performed. It can be determined that the specification of is impossible (S406).
  • the command analysis unit 100 may proceed to step S314 of FIG. 3 to search for an IOT device corresponding to any one of a designated word and a control command, and search for an AI device related to the found IOT device.
  • the at least one IOT device may be controlled so that the at least one IOT device performs a function according to the determination of the linked AI device.
  • the at least one IOT device may be the first device 30 connectable to the AI device.
  • FIG. 5 is a more detailed illustration of the operation process of step S312 in which the IOT device control apparatus 10 according to an embodiment of the present invention controls a target device specified from a received command to perform a function according to a control command. It is a flow chart.
  • the device database 112 of the IOT device control apparatus 10 includes not only the name of the IOT device but also the similar name of each IOT device as a keyword corresponding to each IOT device. I mentioned that it can be done.
  • the similar name may include a name from which some of the names of each IOT device have been deleted, or that are commonly used. Accordingly, there may be different IOT devices corresponding to the same keyword (eg “fire”-the common name for both “light” and “boiler”).
  • the command analysis unit 100 may specify one or a plurality of IOT devices as target devices based on the designated word extracted from the command. In this case, the command analysis unit 100 may first determine whether there are a plurality of target devices specified according to the designated word extracted from the command (S500).
  • step S500 when the target device specified according to the designated word is one device, the command analysis unit 100 identifies the currently specified target device by a control command included in the received command. It can be controlled to perform a function (S506).
  • the command analysis unit 100 performs a function specified by a control command included in the received command among the specified target devices.
  • a capable device can be searched (S502).
  • the searched at least one device may be controlled to perform a function specified by the control command (S504).
  • information on the searched device and an execution command for executing the specified function may be transmitted to at least one of the first device linking unit 140 and the second device linking unit 150 linked to the searched device.
  • the command analysis unit 100 includes a linkage unit (eg, the first device linkage unit 140) linked to the “boiler” and a linkage linkage to the “light”. All of the execution commands may be transmitted to a unit (eg, the second device interworking unit 150). Accordingly, an execution command is transmitted to the boiler and the lamp interlocked with the first device linking unit 140 and the second device linking unit 150, respectively, and accordingly, power of the boiler and the lamp may be turned on.
  • the command analysis unit 100 allows only some devices to perform the control command according to a preset condition. You can also control it.
  • the command analysis unit 100 of the IOT device control device 10 can perform a function corresponding to a specified control command in step S504 of FIG. 5, the Among a plurality of target devices, only some target devices according to a preset condition may be controlled to perform a function corresponding to the control command.
  • the preset condition may be variously set.
  • the preset condition may be a preset priority.
  • the command analysis unit 100 is a currently specified control command only one device with the highest priority for a plurality of currently specified target devices (a plurality of target devices capable of performing a function according to a specific control command). It can be controlled to perform the function according to.
  • the priority may be a priority set in advance by a user according to the type or location of each IOT device, or a user's preference.
  • the priorities may be set differently according to time.
  • the command analysis unit 100 may detect the priority of each IOT device based on the time the command is received, and any one target to execute the function specified by the control command according to the detected priority. You can decide the device. In this case, if the time at which the command is received is different, different target devices may be selected even when the received command is the same, and another selected IOT device may execute a specified function according to the control command.
  • the preset condition may be'location'.
  • the command analysis unit 100 of the IOT device control apparatus 10 may detect a'location' among designated words included in the command. And, among a plurality of currently specified target devices (a plurality of target devices capable of performing a function according to a specific control command), some target devices corresponding to the detected location are selected, and the selected part of target devices responds to the control command. It can be controlled to perform a function specified accordingly.
  • FIG. 6 illustrates an operation process in which the IOT device control apparatus 10 according to an embodiment of the present invention controls only some target devices to perform a function according to the control command in this case, when there are a plurality of specified target devices. It is a flow chart shown.
  • the command analysis unit 100 of the IOT device control apparatus 10 may detect a word indicating a specific location among important words extracted from the first received command. Yes (S600).
  • a word indicating the specific location may be detected as a designated word for specifying a target device.
  • the command analysis unit 100 may check whether there is a device disposed at a location corresponding to the detected word among the currently specified target devices (S602). And, if there is a device disposed at a location corresponding to the detected word among the currently specified target devices, the command analysis unit 100 determines the devices disposed at the location corresponding to the detected word according to the currently specified control command. It can be controlled to perform a function.
  • the command analysis unit 100 detects a preset priority for each of the currently specified target devices It can be done (S606).
  • the priority may be set by the user.
  • the IOT device control apparatus 10 may be preset at the time of shipment.
  • the priority may be set differently for each IOT device according to time. That is, the priority set for each IOT may change over time.
  • the memory 110 may include information on a plurality of priorities, and the information on the plurality of priorities may correspond to different time periods, respectively.
  • the information on different priorities may be information in which priorities set for each IOT device are set differently.
  • the command analysis unit 100 may detect any one priority information based on the time at which the command is received. And, according to the detected priority information, the priority for each currently specified target device may be determined.
  • the command analysis unit 100 may select any one target device according to the determined priority. As an example, the command analysis unit 100 may select any one target device having the highest priority. In addition, the selected target device may be controlled to perform a function according to the currently specified control command (S608).
  • the command analysis unit 100 may determine that there is no device disposed at a position corresponding to the detected word in step S602. In this case, the command analysis unit 100 proceeds to steps S606 and S608 and controls any one device with the highest priority among the currently specified target devices to perform a function according to the currently specified control command. can do.
  • the preset condition may be the user's current location.
  • the command analysis unit 100 of the IOT device control device 10 detects the location where the command is input or the location of the user's mobile terminal 20 to which the command is transmitted. I can.
  • the command analysis unit 100 may receive a current position detected from the mobile terminal 20 and detect which of the indoor places the user is in. Alternatively, the command analysis unit 100 may determine the location where the user's voice command is received as the location where the command is input. Alternatively, the command analysis unit 100 may detect where the user is currently located in the room, based on data collected from a plurality of IOT devices arranged at different places in the room.
  • the detected location of the user may be used as location information detected in step S600.
  • the command analysis unit 100 may determine whether there is a device corresponding to the user's current location among currently specified target devices. And, according to the determination result, the process proceeds to step S604 to control at least one device corresponding to the user's current location so that at least one device corresponding to the user's current location performs a function according to the currently specified control command. I can.
  • FIGS. 7A and 7B are diagrams illustrating a flow in which a received command is transmitted and a response corresponding thereto when a command that can be executed by itself is received to the IOT device control apparatus 10 according to an embodiment of the present invention. admit.
  • FIG. 7A shows an example of inputting a command 700 from a user through the mobile terminal 20.
  • the user's command may be received 701 through the communication unit 170 and may be analyzed through the command analysis unit 100.
  • the command analysis unit 100 may extract words “use”, “guide”, and “use guide” from the received command. Then, the command analysis unit 100 may match keywords stored in the device database 112 with the extracted words, and as a result, determine that a word matching the keyword has not been extracted. Then, the command analysis unit 100 may match the extracted words with keywords related to built-in functions of the IOT device control device 10.
  • the command analysis unit 100 may determine that the currently received command is for executing the built-in function'use guide' according to the currently received command. have. Accordingly, the command analysis unit 100 may transmit the analyzed command to the driving unit 120 (702), and accordingly, the driving unit 120 may execute a function corresponding to the received command.
  • the execution result may be output.
  • the execution result may be output as response information for the received command.
  • the execution result of the driving unit that is, response information
  • the command analysis unit 100 may be transmitted to the command analysis unit 100 (703), and from the command analysis unit 100 to the communication unit 170 (704). Then, the response information may be output to the user's mobile terminal 20 through the communication unit 170 (705).
  • FIG. 7B shows the flow of FIG. 7A in time series.
  • a command that can be processed by the IOT device control device 10 itself may be received from the user 22 or the mobile terminal 20 (700). Then, the text extracted from the command received through the input/output unit 160 or the communication unit 170 may be input to the command analysis unit 100 (701). And it can be analyzed through the command analysis unit 100.
  • the command analysis unit 100 performs the control command detected from the extracted text to the driving unit 120 You can enter as Then, the driving unit 120 may execute a built-in function of the IOT device control device 10 according to the input control command and transmit a response corresponding thereto to the command analysis unit 100 (703).
  • the response may include a result of executing a function performed by the driver 120.
  • a response including the execution result may be input to the input/output unit 160 or the communication unit 170 through the command analysis unit 100 (704), and the input/output unit 160 or the communication unit 170 It can be output through (705).
  • FIGS. 8A and 8B illustrate a flow in which a command is transmitted to the AI device 15 and a response corresponding thereto when a command related to an AI function is received by the IOT device control device 10 according to an embodiment of the present invention. These are the drawings shown.
  • FIG. 8A shows an example in which a command is input 800 from a user through the mobile terminal 20.
  • the user's command may be received 801 through the communication unit 170 and may be analyzed through the command analysis unit 100.
  • the received command may include a command related to the AI function. For example, when the received command is “what is the weather today?”, the command analysis unit 100 may extract words “today” and “what is the weather?” from the received command. In this case, as a result of matching the extracted words with keywords stored in the device database 112, the command analysis unit 100 may determine that a word matching the keyword has not been extracted. Then, the command analysis unit 100 may determine that the currently received command is not for controlling any one of the IOT devices connected to the IOT device control device 10.
  • the command analysis unit 100 determines whether the received command is a command related to the internal function of the IOT device control device 10 I can judge. In this case, the command analysis unit 100 may match words extracted from the received command with keywords related to the built-in function, as described with reference to FIGS. 7A and 7B. In addition, it may be determined whether the received command is a command related to an internal function of the IOT device control apparatus 10 according to whether there are words matching the keyword related to the embedded function as a result of the matching.
  • the command analysis unit 100 receives the extracted words based on the matching result of the keywords related to the built-in function of the IOT device control device 10 It can be determined that the created command is not a command for executing the built-in function.
  • the command analysis unit 100 may input the received command to the AI interworking unit 130 for interworking with the AI device 15 (802 ). Then, the command currently received through the AI interworking unit 130 may be input to the AI device 15 and may be processed through the AI device 15. And the processing result may be received through the AI interworking unit 130 (804).
  • the AI interworking unit 130 may transmit the received processing result in response to the received command. Accordingly, the processing result may be transmitted to the command analysis unit 100 (805) and may be transferred from the command analysis unit 100 to the communication unit 170 (806 ). Then, the response information may be output to the user's mobile terminal 20 through the communication unit 170 (807).
  • FIG. 8B shows the flow of FIG. 8A in time series.
  • a command related to an AI function (eg,'what is the weather today?') may be received from the user 22 or the mobile terminal 20 (800). Then, the text extracted from the command received through the input/output unit 160 or the communication unit 170 may be input to the command analysis unit 100 (801). And it can be analyzed through the command analysis unit 100.
  • an AI function eg,'what is the weather today?'
  • the command analysis unit 100 when the received command is for controlling a specific device or is not a function built into the IOT device control device 10, the command analysis unit 100 It can be judged by commands related to AI functions.
  • the command analysis unit 100 may input the determined AI command to the AI interworking unit 130 (802). Then, the AI interworking unit 130 may transmit the input AI command to the AI device 15.
  • the AI device 15 may perform a function according to the received command. Accordingly, the AI device 15 may collect weather information in response to a command “what is the weather today?” and output it as a processing result.
  • the processing result may be output as a response to the AI command received by the AI device 15.
  • the AI interworking unit 130 may receive the processing result from the AI device 15 (805). Then, the processing result may be input to the input/output unit 160 or the communication unit 170 through the command analysis unit 100 (806), and may be output through the input/output unit 160 or the communication unit 170 (807). ).
  • FIGS. 9A and 9B illustrate a second device 40 not connected to the AI device when a command related to a device not connected to an AI device is received by the IOT device control device 10 according to an embodiment of the present invention. These are diagrams showing a flow through which a control command is transmitted and a response accordingly.
  • FIG. 9A shows an example in which a command is input 900 from a user through the mobile terminal 20.
  • the user's command may be received 901 through the communication unit 170 and may be analyzed through the command analysis unit 100.
  • the command analysis unit 100 may determine whether the received command includes both a designator for specifying a target device and a control command for specifying a function to be performed.
  • the control command may be input differently depending on whether the target device according to the designated word is the first device 30 or the second device 40.
  • the command analysis unit 100 interlocks with the second device through the driving unit 120 as shown in FIG. 9A.
  • a control command may be transmitted to the unit 150 (903).
  • the control command may be transmitted to the second device 40 through the second device linking unit 150, and a function corresponding to the control command may be executed by the second device 40.
  • the result of executing the function of the second device 40 may be received from the second device 40 to the second device linking unit 150 in response to the control command (905).
  • the execution result received by the second device linking unit 150 may be received by the command analysis unit 100 (906, 907). Then, the execution result may be transmitted from the command analysis unit 100 to the communication unit 170 (908) and output to the user's mobile terminal 20 through the communication unit 170 (909).
  • the command analysis unit 100 transmits a control command to the first device linking unit 140 through the driving unit 120. I can. Then, the control command may be transmitted to the first device 30 through the first device linking unit 140, and a function corresponding to the control command may be executed by the first device 30. In addition, the execution result may be received from the first device 30 to the first device interworking unit 140 in response to the control command. In addition, the result of executing the function of the first device 30 may be output to the user's mobile terminal 20 through the command analysis unit 100 and the communication unit 170.
  • FIG. 9B shows the flow of FIG. 9A in time series.
  • a command including both a designator for specifying a target device and a control command for specifying a function to be performed may be received (900 ). Then, the text extracted from the received command may be input to the command analysis unit 100 through the input/output unit 160 or the communication unit 170 (901). In addition, a target device and a function to be performed may be analyzed through the command analysis unit 100.
  • the command analysis unit 100 may transmit a command related to a specific device to the first device linking unit 140 or the second device linking unit 150 according to the specified target device.
  • the command analysis unit 100 may transmit a command related to a specific device to the first device linking unit 140 or the second device linking unit 150 according to the specified target device.
  • the target device is the first device 30
  • the command analysis unit 100 is connected to the first device linking unit 140
  • the target device is the second device 40
  • the second device linking unit 150 A command related to the specific device may be transmitted to.
  • the command analysis unit 100 sends the command analysis unit 100 to the second device linking unit 150 through the driving unit 120 to a specific second device (a specific target device).
  • the related command may be transmitted (904).
  • the command related to the specific device may include a command related to the specified target device and a function to be performed.
  • the second device 40 that has received a command related to a specific device may perform a function according to the received command. And the execution result can be transmitted in response to the received command.
  • the second device linking unit 150 may receive the execution result of the function performed by the second device from the second device 40 (905), and the command analysis unit 100 through the driving unit 120 Can be transmitted (907). Then, the execution result may be transmitted from the command analysis unit 100 to the input/output unit 160 or the communication unit 170 (908), and may be output through the input/output unit 160 or the communication unit 170 (909).
  • 10A and 10B are flow charts of a control command being transmitted to a first device interlocked with the AI device when a command related to a device interworking with an AI device is received by the IOT device control device according to an embodiment of the present invention. These are diagrams showing a flow through which a response is transmitted.
  • FIG. 10A shows an example in which a command is input 1000 from a user through the mobile terminal 20.
  • the user's command may be received 1001 through the communication unit 170 and may be analyzed through the command analysis unit 100.
  • the command analysis unit 100 may determine whether the received command includes both a designator for specifying a target device and a control command for specifying a function to be performed. In addition, when neither the designated word nor the control command is included, a function corresponding to the received command may be executed by interworking with the AI device.
  • the command analysis unit 100 may input the received command to the AI interworking unit 130 for interworking with the AI device 15, as shown in FIG. 10A (1002). Then, the command currently received through the AI interworking unit 130 may be input to the AI device 15 (1003), and may be analyzed through the AI device 15. And the analysis result may be received through the AI interworking unit 130 (1004).
  • the AI interworking unit 130 may search for a device corresponding to the result analyzed through the AI device 15.
  • a command related to the searched device may be transmitted to the first device linking unit 140 (1005).
  • a command related to the searched device may be transmitted to the searched first device 30 through the first device linking unit 140, and a function corresponding to the received command may be executed.
  • the result of execution of the function performed by the searched first device 30 may be received by the first device linking unit 140 in response to a received command (1007). Then, the received execution result may be transmitted to the AI interworking unit 130 through the first device interworking unit 140, and transmitted to the command analysis unit 100 through the AI interworking unit 130. In addition, the execution result transmitted from the first device 30 through the command analysis unit 100 and the communication unit 170 may be output to the user's mobile terminal 20.
  • FIG. 10B shows the flow of FIG. 10A in time series.
  • a command including both a designator for specifying a target device and a control command for specifying a function to be performed may be received through the user or the mobile terminal 20 (1000 ). Then, the text extracted from the received command may be input to the command analysis unit 100 through the input/output unit 160 or the communication unit 170 (1001). In addition, a target device and a function to be performed may be analyzed through the command analysis unit 100.
  • the command analysis unit 100 may determine that interworking with the AI device is required. Accordingly, the command analysis unit 100 may input the extracted text into the AI linking unit 130 for interworking with the AI device (1002).
  • the AI interworking unit 130 may transmit the input text to the connected AI device (1003). Then, the AI device can analyze the input text to analyze the device corresponding to the received command and the control command related to the function to be executed by the device. Further, the analysis result, that is, a specific device and a command for controlling the device may be transmitted to the AI interworking unit 130 (1004).
  • the AI interworking unit 130 receiving the command analysis result may transmit a command according to the analysis result to an interworking unit for controlling a device according to the received analysis result. That is, the AI linking unit 130 may transmit a device control command according to the analysis result to the first device linking unit 140 (1005), and a device corresponding to the analysis result through the first device linking unit 140 To, a control command corresponding to the analysis result may be transmitted (1006). Accordingly, the first device 30 corresponding to the analysis result may perform a function corresponding to the device control command received from the first device linking unit 140.
  • the first device 30 may transmit the execution result of the performed function to the first device interworking unit 140 (S1007). Then, the first device linking unit 140 may transmit the received execution result to the AI linking unit 130 (1008), and the AI linking unit 130 may transmit the received execution result to the command analysis unit 100. (1009). Then, the execution result may be transmitted from the command analysis unit 100 to the input/output unit 160 or the communication unit 170 (1010), and may be output through the input/output unit 160 or the communication unit 170 (1011).
  • 11A and 11B illustrate a flow of control commands transmitted to each device and a response according to the flow of control commands to each device when a batch control command related to both the first device and the second device is received in the IOT device control device according to an embodiment of the present invention. These are drawings showing the delivered flow.
  • FIG. 11A shows an example in which a command is input 1100 from a user through the mobile terminal 20.
  • the user's command may be received 1101 through the communication unit 170 and may be analyzed through the command analysis unit 100.
  • the command analysis unit 100 may determine whether the received command includes a preset keyword.
  • the preset keyword may be a batch control keyword for collectively controlling a plurality of devices connected to the IOT device control device 10.
  • the plurality of devices may include both the first device 30 and the second device 40.
  • the command analysis unit 100 transmits the control command to the first device 30 according to the batch control keyword, as shown in FIG. 11A, to the first device linking unit 140 with the batch control keyword. It is possible to input a control command according to (1103). Then, a control command according to the collective control keyword may be transmitted to at least one first device 30 through the first device linking unit 140 (1104). Then, in each of the at least one first device 30, a function according to the transmitted control command may be performed, and an execution result (first execution result) of the performed function is received by the first device linking unit 140 Can be (1105). And it may be transmitted to the driving unit 120 (1106).
  • the command analysis unit 100 inputs a control command according to the collective control keyword to the first device interlocking unit 140 and simultaneously sends a control command according to the collective control keyword to the second device interlocking unit 150.
  • a control command according to the collective control keyword may be transmitted to at least one second device 40 through the second device linking unit 150 (1108).
  • each of the at least one second device 40 may perform a function according to the transmitted control command, and an execution result of the performed function (a second execution result) is received by the second device linking unit 150 Can be (1109). And it may be transmitted to the driving unit 120 (1110).
  • the command analysis unit 100 may receive the first execution result and the second execution result from the driving unit 120 (1111).
  • the received execution result may be transmitted to the communication unit 170 in response to the received command (1112).
  • the communication unit 170 may receive a result of performing a function for a plurality of different devices, and the result of performing the function received by the communication unit 170 may be output to the mobile terminal 20 (1113).
  • FIG. 11B shows the flow of FIG. 11A in time series.
  • a command including a preset keyword may be received through the user or the mobile terminal 20 (1000 ). Then, the text extracted from the received command may be input to the command analysis unit 100 through the input/output unit 160 or the communication unit 170 (1001).
  • a batch control keyword is extracted through the command analysis unit 100, and devices and corresponding functions corresponding to the batch control keyword may be specified, respectively.
  • devices corresponding to the collective control keyword may include at least one first device 30 and at least one second device 40. Accordingly, a command for executing a function corresponding to the collective control keyword for at least one first device 30 and at least one second device 40 may be transmitted to the driving unit 120 (1102 ).
  • the driving unit 120 transmits commands related to the first device 30 to the first device linking unit 140 (1103), and transmits commands related to the second device 40 to the second device linking unit 150. Can (1107).
  • the first device interworking unit 140 may transmit a control command for performing a function according to the collective control keyword to the first device 30 corresponding to the received command (1104). Then, the first device 30 receiving the control command may perform a function according to the control command and transmit the execution result of the function performed in response to the first device linking unit 140 (1105 ). In addition, the first device linking unit 140 may transmit a response received from the first device 30 to the driving unit 120 (1106).
  • the second device interworking unit 150 may transmit a control command for performing a function according to the collective control keyword to the second device 40 corresponding to the received command (1108). Then, the second device 40 receiving the control command may perform a function according to the control command and transmit a result of executing the function performed in response to the second device linking unit 150 (1109 ). In addition, the second device linking unit 150 may transmit a response received from the second device 40 to the driving unit 120 (1110 ).
  • the driving unit 120 executes the received plurality of devices.
  • the result may be transmitted to the command analysis unit 100 (1111).
  • the command analysis unit 100 may transmit the received execution results of the plurality of devices to the input/output unit 160 or the communication unit 170 in response to the currently received command (1112).
  • the execution result of the plurality of devices received from the command analysis unit 100 may be output through the input/output unit 160 or the communication unit 170 (1113).
  • the present invention described above can be implemented as a computer-readable code in a medium on which a program is recorded.
  • the computer-readable medium includes all types of recording devices storing data that can be read by a computer system. Examples of computer-readable media include HDD (Hard Disk Drive), SSD (Solid State Disk), SDD (Silicon Disk Drive), ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage device, etc. There is also a carrier wave (eg, transmission over the Internet).
  • the computer may include the control unit 100 of the IOT device control device 10. Therefore, the detailed description above should not be construed as restrictive in all respects and should be considered as illustrative. The scope of the present invention should be determined by reasonable interpretation of the appended claims, and all changes within the equivalent scope of the present invention are included in the scope of the present invention.

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Selective Calling Equipment (AREA)

Abstract

본 발명은 IOT(Internet Of Things) 기기를 제어하기 위한 장치 및 그 장치의 제어 방법에 대한 것으로, AI(Artificial Intelligence) 기기와 연결이 가능한 제1 IOT(Internet Of Things) 기기들과 연동되는 제1 기기 연동부와, 상기 AI 기기와 연결되지 않는 제2 IOT 기기들과 연동되는 제2 기기 연동부와, 복수의 IOT 기기의 명칭에 관련된 키워드들과 상기 복수의 IOT 기기 각각에서 수행 가능한 기능들에 관련된 키워드들이 저장된 메모리 및, 사용자로부터 명령어가 수신되면, 상기 키워드들에 근거하여 상기 수신된 명령어로부터 대상 기기 및 수행될 기능을 특정하며, 상기 특정된 기능을 실행시키기 위한 실행 명령이 상기 AI 기기와 연결이 가능한 제1 IOT 기기 또는 상기 AI 기기와 연결이 되지 않는 제2 IOT 기기에 전송되도록, 상기 특정된 대상 기기에 따라 상기 제1 기기 연동부 또는 제2 기기 연동부에 상기 실행 명령을 전송하는 명령어 분석부를 포함하는 것을 특징으로 한다.

Description

IOT 기기 제어 장치 및 그 장치의 제어 방법
본 발명은 IOT 기기를 제어하기 위한 장치 및 그 장치의 제어 방법에 대한 것이다.
현재는 무선 통신 및 기반 기술의 발달로 다수의 기기들이 서로 간에 무선 통신을 수행하는 IOT(Internet Of Things, 사물 인터넷) 기술이 적용된 기기들이 다수 등장하고 있는 추세이다. 이러한 IOT 기기들은 서로 간에 무선 통신이 가능하므로, 어느 하나의 기기에 전송되거나 수집된 데이터를 다른 기기로 전송할 수 있으며, 반대로 다른 기기에서 수집되거나 획득된 데이터를 수신할 수도 있다.
이처럼 IOT 기기들은 서로 간에 데이터의 교환이 가능하므로 AI(Artificial Intelligence) 기술와 연계될 때 보다 높은 시너지 효과를 가질 수 있다. 즉 AI 기술이 적용된 기기(이하 AI 기기)에 다수의 IOT 기기가 연결되는 경우, 사용자는 특정 기기를 직접 제어할 필요없이 AI 기기를 통해 적어도 하나의 IOT 기기를 제어할 수 있다. 이에 통상적으로는 현재 AI 기기를 통해 다수의 IOT 기기가 제어되도록 형성된다.
그런데 현재의 IOT 기기의 경우, 상기 IOT 기능에 따라 서로 간에 통신 및 데이터 교환이 가능하므로 AI 기능을 사용하지 않고서도 IOT 기기의 제어가 가능한 구조를 가진다. 또한 현재는 보다 다양한 IOT 기술 및 그와 관련된 기술의 저변 확대 및 보다 IOT 기술의 확장성을 위해 OCF(Open Connectivity Foundation)에서 지정된 표준에 따른 IOT 기기들이 등장하고 있는 추세이다.
반면 AI 기기를 이용하는 경우, 특정 AI 기기와 동일한 프로토콜을 사용하거나 또는 동일한 플랫폼을 가지는 IOT 기기만 상기 특정 AI 기기에 연결이 가능하도록 형성된다. 일 예로 제조사가 동일한 경우 또는 제조사가 다르더라도 동일 또는 호환되는 프로토콜을 가지는 경우 또는 같은 플랫폼(platform)을 가지는 경우(예 : 프로세서 모델 및 운영체제가 같은 경우) AI 기기와 IOT 기기가 서로 연결될 수 있다. 이에 제조사가 서로 다르거나, 서로 다른 플랫폼을 가지는 경우 AI 기기와 IOT 기기는 서로 연결되지 않을 수 있다. 따라서 AI 기기를 이용하여 IOT 기기들을 제어하는 경우 제어 가능한 기기의 수 및 종류에 한계가 있다는 문제가 있다.
이에 상기 OCF 표준에 따른 IOT 기기들 뿐만 아니라 AI 기기에 연결된 IOT 기기들을 통합적으로 제어할 수 있는 방안이 활발하게 연구중인 실정이다. 또한 AI 기기를 경유하지 않고서도 다수의 IOT 기기들을 제어할 수 있는 방안이 활발하게 연구중인 실정이다.
본 발명은 전술한 문제 및 다른 문제를 해결하는 것을 목적으로 하는 것으로, AI 기기를 이용하지 않고서도 IOT 기기들을 접속 및 제어할 수 있도록 하는 IOT 기기 제어 장치 및 그 장치의 제어 방법을 제공하는 것이다.
또한 본 발명의 다른 목적은, 사용자로부터 명령어가 수신되는 경우 수신된 명령어를 분석한 결과에 따라 AI 기기에 연결된 IOT 기기들 뿐만 아니라 상기 AI 기기에 연결되지 않은 IOT 기기들까지도 제어할 수 있는 IOT 기기 제어 장치 및 그 장치의 제어 방법을 제공하는 것이다.
상기 또는 다른 목적을 달성하기 위해 본 발명의 일 측면에 따르면, 본 발명의 실시 예에 따른 IOT 기기 제어 장치는, AI(Artificial Intelligence) 기기와 연결이 가능한 제1 IOT(Internet Of Things) 기기들과 연동되는 제1 기기 연동부와, 상기 AI 기기와 연결되지 않는 제2 IOT 기기들과 연동되는 제2 기기 연동부와, 복수의 IOT 기기의 명칭에 관련된 키워드들과 상기 복수의 IOT 기기 각각에서 수행 가능한 기능들에 관련된 키워드들이 저장된 메모리 및, 사용자로부터 명령어가 수신되면, 상기 키워드들에 근거하여 상기 수신된 명령어로부터 대상 기기 및 수행될 기능을 특정하며, 상기 특정된 기능을 실행시키기 위한 실행 명령이 상기 AI 기기와 연결이 가능한 제1 IOT 기기 또는 상기 AI 기기와 연결이 되지 않는 제2 IOT 기기에 전송되도록, 상기 특정된 대상 기기에 따라 상기 제1 기기 연동부 또는 제2 기기 연동부에 상기 실행 명령을 전송하는 명령어 분석부를 포함하는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 AI 기기와 연동되는 AI 연동부를 더 포함하고, 상기 명령어 분석부는, 상기 수신된 명령어가, 상기 대상 기기를 특정하기 위한 지정어 및 상기 수행될 기능을 특정하기 위한 제어 명령을 모두 포함하는지 또는 어느 하나만 포함하는지 여부에 따라 상기 실행 명령을 상기 제1 기기 연동부나 제2 기기 연동부에 전송하거나, 또는 수신된 명령어를 상기 AI 연동부에 전송하여 상기 AI 기기와 연동을 통해 상기 수신된 명령어를 처리하는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 명령어 분석부는, 상기 수신된 명령어가, 상기 지정어 및 제어 명령을 포함하지 않는 경우, 상기 수신된 명령어가 기 설정된 키워드를 포함하고 있는지 여부를 검출하고, 상기 기 설정된 키워드를 포함하고 있는지 여부에 따라 상기 IOT 기기 제어 장치에 내장된 기능을 실행하거나, 상기 수신된 명령어를 상기 AI 연동부에 전송하여 상기 AI 기기를 통해 처리하는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 기 설정된 키워드는, 기 설정된 복수의 기기와 상기 복수의 기기에 각각 지정된 복수의 기능에 대응하며, 상기 명령어 분석부는, 상기 수신된 명령어가, 상기 기 설정된 키워드를 포함하는 경우, 상기 기 설정된 복수의 기기를 대상 기기로 특정하고, 상기 키워드에 대응하는 따른 복수의 기능 각각을 수행하도록 상기 대상 기기로 특정된 복수의 기기를 직접 제어하는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 명령어 분석부는, 상기 수신된 명령어에 상기 제어 명령과 지정어가 모두 포함된 경우, 상기 지정어에 대응하는 기기가 복수인지 여부를 더 판단하고, 상기 지정어에 대응하는 IOT 기기가 복수인 경우, 상기 지정어에 대응하는 IOT 기기 중 상기 제어 명령에 대응하는 기능을 수행할 수 있는 IOT 기기를 검색하며, 상기 검색된 IOT 기기와 연동되는 상기 제1 기기 연동부 및 제2 기기 연동부 중 적어도 하나에, 상기 실행 명령을 전송하는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 명령어 분석부는, 상기 검색된 IOT 기기가 복수인 경우, 기 설정된 조건에 따라 일부를 선택하고 선택된 일부의 IOT 기기와 연동되는 상기 제1 기기 연동부 및 제2 기기 연동부 중 적어도 하나에, 상기 실행 명령을 전송하는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 명령어 분석부는, 각 IOT 기기에 설정된 우선순위 또는 수신된 명령어에 포함된 위치 정보 중 적어도 하나에 근거하여, 상기 복수의 검색된 IOT 기기 중 상기 제어 명령에 대응하는 기능을 수행할 일부를 선택하는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 각 IOT 기기에 설정된 우선순위는, 시간에 따라 변경되며, 상기 명령어 분석부는, 상기 명령어가 수신된 시간에 대응하는 각 IOT 기기의 우선순위에 따라 상기 복수의 검색된 IOT 기기 중 상기 제어 명령에 대응하는 기능을 수행할 적어도 하나의 기기를 선택하는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 IOT 기기의 명칭에 관련된 키워드들은, 각 IOT 기기의 유사 명칭을 포함하며, 상기 유사 명칭은, 각 IOT 기기의 명칭 중 일부가 삭제된 명칭이거나, 또는 각 IOT 기기에 대해 관용적으로 쓰이는 명칭을 포함하는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 명령어 분석부는, 사용자로부터 명령어가 수신되면, 수신된 명령어로부터 띄어쓰기를 기준으로 단어들을 추출하고, 추출된 단어들 중 상기 IOT 기기의 명칭에 관련된 키워드 및 상기 IOT 기기 각각에서 수행 가능한 기능들에 관련된 키워드에 매칭되는 단어들을 검출하는 제1 검출 방법에 따라 상기 대상 기기를 특정하기 위한 지정어 및 상기 수행될 기능을 특정하기 위한 제어 명령을 검출하는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 명령어 분석부는, 사용자로부터 명령어가 수신되면, 띄어쓰기를 무시하고 상기 명령어에 포함된 각 문자를 연결 및, 연결된 단어를 순차적으로 조합하여 단어들을 추출하며, 추출된 단어들 중 상기 IOT 기기의 명칭에 관련된 키워드 및 상기 IOT 기기 각각에서 수행 가능한 기능들에 관련된 키워드에 매칭되는 단어들을 검출하는 제2 검출 방법에 따라 상기 대상 기기를 특정하기 위한 지정어 및 상기 수행될 기능을 특정하기 위한 제어 명령 검출하는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 명령어 분석부는, 사용자로부터 명령어가 수신되면, 상기 제1 검출 방법을 통해 상기 지정어 및 상기 제어 명령을 검출하고, 검출 결과에 따라 상기 제2 검출 방법을 통해 상기 지정어 및 상기 제어 명령을 다시 검출하는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 명령어 분석부는,
사용자로부터 명령어가 수신되면, 띄어쓰기를 기준으로 단어들을 추출하고, 추출된 단어들의 개수에 따라 상기 제1 검출 방법 또는 상기 제2 검출 방법 중 어느 하나에 따라 상기 지정어 및 상기 제어 명령을 검출하는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 제1 IOT 기기들은, 상기 AI 기기와 호환되는 프로토콜을 사용하거나 또는 동일한 플랫폼을 가지는 IOT 기기들이며, 상기 제2 IOT 기기들은, 상기 AI 기기와 서로 다른 프로토콜을 사용하거나 또는 서로 다른 플랫폼을 가지는 IOT 기기들임을 특징으로 한다.
상기 또는 다른 목적을 달성하기 위해 본 발명의 일 측면에 따르면, 본 발명의 실시 예에 따른 IOT 기기 제어 장치의 제어 방법은, 사용자로부터 명령어가 수신되는 경우, 수신된 명령어를 분석하여 적어도 하나의 단어를 추출하는 제1 단계와, 상기 추출된 단어들과, 상기 복수의 IOT(Internet Of Things) 기기의 명칭에 관련된 제1 키워드들 및 상기 복수의 IOT 기기 각각에서 수행 가능한 기능들에 관련된 제2 키워드들을 매칭한 결과에 근거하여 상기 수신된 명령어가 기기 제어를 위한 명령인지 여부를 판단하는 제2 단계와, 상기 수신된 명령어가 기기 제어를 위한 명령인 경우, 상기 수신된 명령어에 대상 기기를 특정하기 위한 지정어 및 수행될 기능을 특정하기 위한 제어 명령이 모두 포함되어 있는지를 판단하는 제3 단계, 및 상기 수신된 명령어가 상기 지정어 및 제어 명령을 모두 포함하는 경우, 상기 지정어에 따라 특정된 적어도 하나의 IOT 기기를 상기 제어 명령에 따른 기능을 수행하도록 직접 제어하는 제4 단계와, 상기 수신된 명령어가 상기 지정어 및 제어 명령 중 어느 하나만을 포함하는 경우, 적어도 하나의 AI(Artificial Intelligence) 기기와 연동하여 상기 수신된 명령어에 따른 기능을 수행하도록 적어도 하나의 IOT 기기를 제어하는 제5 단계를 포함하는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 복수의 IOT 기기는, AI기기와 연결이 가능한 제1 IOT기기들과, 상기 AI 기기와 연결되지 않는 제2 IOT 기기들을 포함하며, 상기 제4 단계는, 상기 지정어에 대응하는 대상 기기에 따라 상기 제1 IOT기기들과 연동되는 제1 기기 연동부 및, 상기 제2 IOT 기기들과 연동되는 제2 기기 연동부 중 적어도 하나에 상기 제어 명령에 대응하는 기능을 실행하기 위한 실행 명령을 전송하는 제4-1 단계 및, 상기 제1 기기 연동부 및 제2 기기 연동부 중 적어도 하나를 통해 상기 제1 IOT 기기들 및 상기 제2 IOT 기기들 중 적어도 하나에 상기 실행 명령을 전송하는 제4-2 단계를 포함하는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 복수의 IOT 기기는, 상기 AI 기기와 연결이 가능한 제1 IOT 기기들과, 상기 AI 기기와 연결되지 않는 제2 IOT 기기들을 포함하며, 상기 제5 단계는, 상기 AI 기기와 연동되는 AI 연동부를 통해 상기 AI 기기에 상기 수신된 명령어를 전송하는 제5-1 단계와, 상기 수신된 명령어에 대한 응답으로 상기 AI 기기의 분석 결과를 수신하는 제5-2 단계 및, 상기 제1 IOT 기기들과 연동되는 제1 기기 연동부를 통해, 상기 분석 결과에 따른 상기 제1 IOT기기들 중 적어도 하나에 상기 제어 명령에 대응하는 기능을 실행하기 위한 실행 명령을 전송하는 제5-3 단계를 포함하는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 제1 IOT 기기들은, 상기 AI 기기와 호환되는 프로토콜을 사용하거나 또는 동일한 플랫폼을 가지는 IOT 기기들이며, 상기 제2 IOT 기기들은, 상기 AI 기기와 서로 다른 프로토콜을 사용하거나 또는 서로 다른 플랫폼을 가지는 IOT 기기들임을 특징으로 한다.
본 발명의 실시 예들 중 적어도 하나에 의하면, 본 발명은 수신된 명령어를 분석하고, 명령어에 따른 기능이 AI 기기의 기능이 필요하지 않은 경우 상기 명령어의 분석 결과에 따른 IOT 기기를 직접 제어함으로써 AI 기기를 경유하지 않고서도 적어도 하나의 IOT 기기를 제어할 수 있도록 한다는 장점이 있다.
또한 본 발명의 실시 예들 중 적어도 하나에 의하면, 본 발명은 수신된 명령어를 분석한 결과에 따라 AI 기기를 경유하지 않고 수신된 명령어에 따라 특정된 IOT 기기를 제어함으로써, AI 기기에 연결되지 않은 IOT 기기라도 사용자의 음성 명령에 따라 제어할 수 있다는 효과가 있다.
도 1은 본 발명의 실시 예에 따른 IOT 제어 장치가, 사용자로부터 음성 명령을 수신 및 수신된 명령어에 따라 복수의 IOT 기기들을 제어하는 개념을 설명하기 위한 개념도이다.
도 2는 본 발명의 실시 예에 따른 IOT 기기 제어 장치의 구조를 설명하기 위한 블록도이다.
도 3은 본 발명의 실시 예에 따른 IOT 기기 제어 장치에서 수신된 명령어를 분석 및 분석된 결과에 따라 IOT 기기들을 제어하는 동작 과정을 도시한 흐름도이다.
도 4는 본 발명의 실시 예에 따른 IOT 기기 제어 장치가, 상기 도 3의 과정 중, 현재 수신된 명령어로부터 대상 기기 및 기능이 특정 가능한지 여부를 판단하는 과정을 보다 자세히 도시한 흐름도이다.
도 5는 본 발명의 실시 예에 따른 IOT 기기 제어 장치가, 수신된 명령어로부터 특정된 기능을 수행하도록, 특정된 대상 기기를 제어하는 동작 과정을 보다 자세히 도시한 흐름도이다.
도 6은 본 발명의 실시 예에 따른 IOT 기기 제어 장치가, 특정된 대상 기기가 복수인 경우, 수신된 명령어로부터 특정된 기능을 수행하도록 일부의 대상 기기만 제어하는 동작 과정을 도시한 흐름도이다.
도 7a 및 도 7b는 본 발명의 실시 예에 따른 IOT 기기 제어 장치에 자체적으로 수행 가능한 명령이 수신되는 경우 명령어가 전달되는 흐름 및 그에 따른 응답이 전달되는 흐름을 도시한 도면들이다.
도 8a 및 도 8b는 본 발명의 실시 예에 따른 IOT 기기 제어 장치에 AI 기능에 관련된 명령이 수신되는 경우 명령어가 AI 기기로 전달되는 흐름 및 그에 따른 응답이 전달되는 흐름을 도시한 도면들이다.
도 9a 및 도 9b는 본 발명의 실시 예에 따른 IOT 기기 제어 장치에, AI 기기와 연결되지 않은 기기에 관련된 명령어가 수신되는 경우, 상기 AI 기기에 연결되지 않은 제2 기기로 제어 명령이 전달되는 흐름 및 그에 따른 응답이 전달되는 흐름을 도시한 도면들이다.
도 10a 및 도 10b는 본 발명의 실시 예에 따른 IOT 기기 제어 장치에, AI 기기와 연동되는 기기에 관련된 명령어가 수신되는 경우, 상기 AI 기기와 연동되는 제1 기기로 제어 명령이 전달되는 흐름 및 그에 따른 응답이 전달되는 흐름을 도시한 도면들이다.
도 11a 및 도 11b는 본 발명의 실시 얘에 따른 IOT 기기 제어 장치에, 제1 기기 및 제2 기기 모두에 관련된 일괄 제어 명령이 수신되는 경우 각 기기에 제어 명령이 전달되는 흐름 및 그에 따른 응답이 전달되는 흐름을 도시한 도면들이다.
본 명세서에서 사용되는 기술적 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아님을 유의해야 한다. 또한, 본 명세서에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "구성된다." 또는 "포함한다." 등의 용어는 명세서상에 기재된 여러 구성 요소들, 또는 여러 단계를 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.
또한, 본 명세서에 개시된 기술을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 기술의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예들을 상세히 설명하도록 한다.
먼저 도 1은 본 발명의 실시 예에 따른 IOT 기기 제어 장치(10)가, 사용자로부터 음성 명령을 수신 및 수신된 명령어에 따라 복수의 IOT 기기들을 제어하는 개념을 설명하기 위한 개념도이다.
도 1을 참조하여 살펴보면, 본 발명의 실시 예에 따른 IOT 기기 제어 장치(10)는 복수의 IOT 기기와 무선 통신을 통해 연결될 수 있다. 일 예로 도 1에서 보이고 있는 바와 같이 복수의 IOT 기기가 에어컨(31), 세탁기(32), 전등(41), 텔레비전(42)인 경우, IOT 기기 제어 장치(10)는 상기 에어컨(31), 세탁기(32), 전등(41), 텔레비전(42)에 각각 연결될 수 있다. 또한 IOT 기기 제어 장치(10)는 AI 기기(15)에 연결될 수 있다.
한편 상기 복수의 IOT 기기 중 일부는 본 발명의 실시 예에 따른 IOT 기기 제어 장치(10) 뿐만 아니라 AI 기기(15)에도 연결될 수 있다. 일 예로 복수의 IOT 기기 중 에어컨(31)과 세탁기(32)는 AI 기기(15)에 연결될 수 있다. 이 경우 사용자는 AI 기기(15)를 통해 에어컨(31)과 세탁기(32)를 제어할 수 있다.
그러나 상기 복수의 IOT 기기 중 일부는 상기 AI 기기(15)와 연결이 이루어지지 않을 수 있다. 일 예로 전등(41) 및 텔레비전(42)의 제조사와 AI 기기(15)의 제조사가 서로 호환되지 않는 프로토콜을 사용하는 경우, 또는 IOT 플랫폼(platform)이 서로 다른 경우, 상기 전등(41) 및 텔레비전(42)과 AI 기기(15)는 서로 연결되지 않을 수 있다. 이 경우 사용자는 AI 기기(15)를 통해 전등(33) 및 텔레비전(42)을 제어할 수 없다.
이하 AI 기기(15)와 호환되는 프로토콜을 사용하거나 또는 같은 IOT 플랫폼을 기반으로 형성되어, 상기 AI 기기(15)와 연결될 수 있는 IOT 기기들을 제1 기기(30)라고 칭하기로 한다. 반면 상기 AI 기기(15)와 호환되지 않는 프로토콜을 사용하거나 또는 상이한 IOT 플랫폼을 기반으로 형성되어, 상기 AI 기기(15)와 연결되지 않는 IOT 기기들을 제2 기기(40)라고 칭하기로 한다.
한편 본 발명의 실시 예에 따른 IOT 기기 제어 장치(10)는 상기 AI 기기(15) 및 AI 기기(15)와 연결되는 기기들(제1 기기(30))과 연동을 위한 연동부(이하 제1 기기 연동부) 및 상기 제2 기기(40)와 연동을 위한 연동부(이하 제2 기기 연동부)를 각각 구비할 수 있다. 그러면 제2 기기(40)는 AI 기기(15)와는 연결되지 않으나, 상기 제2 기기 연동부를 통해 본 발명의 실시 예에 따른 IOT 기기 제어 장치(10)에 연결될 수 있다.
일 예로 상기 제2 기기(40)는 OCF 표준에 따라 호환가능한 프로토콜을 사용하는 IOT 기기 또는 OCF 표준에 따른 오픈 플랫폼에 기반하여 형성된 IOT 기기일 수 있다. 이 경우 상기 제2 기기 연동부는 OCF 표준에 따른 프레임워크(Framework)일 수 있다. 따라서 상기 제2 기기(40)는 OCF 표준 규격에 따른 프로토콜을 통해 상기 제2 기기 연동부와 연동될 수 있으며, 본 발명의 실시 예에 따른 IOT 기기 제어 장치(10)와 연결될 수 있다.
한편 본 발명의 실시 예에 따른 IOT 기기 제어 장치(10)는 이동 단말기(20)를 통해 사용자의 음성 명령을 수신하거나 마이크를 통해 감지되는 사용자(22)의 음성을 통해 상기 음성 명령을 입력받을 수 있다. 그리고 수신 또는 입력된 음성 명령에 따라 IOT 기기 제어 장치(10)에 연결된 복수의 IOT 기기 중 적어도 하나를 제어할 수 있다.
여기서 본 발명의 실시 예에 따른 IOT 기기 제어 장치(10)는 수신된 음성 명령, 즉 명령어를 분석하고 분석된 결과에 따라 명령어에 포함된 대상 기기 및 제어 명령을 특정할 수 있다. 그리고 특정된 대상 기기를, 상기 특정된 제어 명령에 따라 제어할 수 있다. 따라서 AI 기기의 기능, 예를 들어 인공지능에 따른 자연 언어 처리 기능 등이 필요하지 않은 경우, AI 기기와의 연동 없이도 지정된 IOT 기기가 제어되도록 할 수 있다. 그러므로 상기 제2 기기(40)와 같이 AI 기기(15)에 연결되지 않는 IOT 기기인 경우라도 사용자의 음성 명령을 통해 제어될 수 있다.
이를 위해 본 발명의 실시 예에 따른 IOT 기기 제어 장치(10)는 수신된 음성 명령, 즉 명령어의 분석을 통해 수신된 명령어가 IOT 기기를 제어하기 위한 것인지 여부를 판단할 수 있다. 그리고 수신된 명령어가 IOT 기기를 제어하기 위한 명령인 경우, 수신된 명령어로부터 대상 기기 및 수행하고자 하는 기능의 특정이 가능한지 여부를 판단할 수 있다. 그리고 대상 기기 및 기능의 특정이 가능한 경우, 상기 특정된 대상 기기가 상기 특정된 기능을 수행하도록 직접 제어할 수 있다.
도 2는 이러한 본 발명의 실시 예에 따른 IOT 기기 제어 장치(10)의 구조를 설명하기 위한 블록도이다.
도 2를 참조하여 살펴보면, 본 발명의 실시 예에 따른 IOT 기기 제어 장치(10)는 명령어 분석부(100), 메모리(110), 구동부(120), AI 연동부(130), 제1 기기 연동부(140), 제2 기기 연동부(150), 입출력부(160) 및 통신부(170)를 포함하여 구성될 수 있다. 도 2에 도시된 구성요소들은 IOT 기기 제어 장치(10)를 구현하는데 있어서 필수적인 것은 아니어서, 본 명세서 상에서 설명되는 IOT 기기 제어 장치(10)는 위에서 열거된 구성요소들 보다 많거나, 또는 적은 구성요소들을 가질 수 있다.
먼저 통신부(170)는 적어도 하나의 다른 기기들과 무선 통신을 수행할 수 있다. 예를 들어 통신부(170)는 기 설정된 사용자의 이동 단말기(20)와 무선 통신을 수행할 수 있다. 이 경우 통신부(170)는 상기 이동 단말기(20)를 통해 입력된 사용자의 음성 신호 또는 문자열을, IOT 기기 제어 장치(10)로 인가되는 사용자의 입력으로써 수신할 수 있다.
한편 입출력부(160)는 사용자의 명령어를 입력받을 수 있는 적어도 하나의 입력부를 포함할 수 있다. 예를 들어 상기 입출력부(160)는 오디오 신호 입력을 위한 마이크로폰(microphone)을 포함할 수 있다. 또는 상기 입출력부(130)는 영상 신호의 입력을 위한 카메라를 포함할 수 있다. 그리고 입출력부(130)에서 수집된 음성 데이터 또는 이미지 데이터는 분석되어 사용자의 입력으로 처리될 수 있다.
그리고 입출력부(160)는 시각 또는 청각과 관련된 출력을 발생시키기 위한 구성부를 적어도 하나 포함할 수 있다. 일 예로 입출력부(160)는 수신된 사용자의 명령어 분석 결과를 출력하거나 또는 상기 명령어의 분석 결과에 따라 특정된 적어도 하나의 대상 기기 및 상기 대상 기기를 제어한 결과를 음향 신호로 출력하거나 시각적 신호를 출력할 수 있다.
한편 메모리(110)는 IOT 기기 제어 장치(10)의 다양한 기능을 지원하는 데이터를 저장한다. 메모리(110)는 IOT 기기 제어 장치(10)에서 구동되는 다수의 응용 프로그램(application program 또는 애플리케이션(application)), IOT 기기 제어 장치(10)의 동작을 위한 데이터들, 명령어들을 저장할 수 있다.
일 예로 메모리(110)는 명령어가 수신되는 경우 수신된 명령어를 분석하기 위한 기능과 관련된 데이터를 저장할 수 있다. 또한 현재 IOT 기기 제어 장치(10)에 연결된 복수의 IOT 기기에 관련된 정보들을 저장할 수 있다. 여기서 상기 복수의 IOT 기기에 관련된 정보는, 각 IOT 기기의 이름, 식별정보(예 : ID), 종류 또는 타입에 대한 정보를 포함할 수 있다. 또는 IOT 기기의 플랫폼에 대한 정보를 포함할 수 있다.
여기서 상기 각 IOT 기기에 관련된 정보들은, 각 IOT 기기의 유사 명칭에 대한 정보를 포함할 수 있다. 여기서 유사 명칭은, 각 IOT 기기의 명칭 중 일부가 삭제된 명칭이거나, 또는 관용적으로 쓰이는 명칭을 포함할 수 있다. 일 예로 IOT 기기가 ‘전자렌지’의 경우, 유사 명칭은 ‘전자’가 생략된‘렌지’를 포함할 수 있다. 또한 IOT 기기가 ‘전등’의 경우, 유사 명칭은 ‘전’이 생략된‘등’을 포함하거나, 관용적으로 ‘전등’을 의미할 수 있는 ‘불’을 포함할 수 있다(예 : “불 켜줘”= “전등 켜줘”). 또한 IOT 기기가 ‘보일러’의 경우, 유사 명칭으로 ‘보일’또는 ‘일러’를 포함할 수 있으며, 관용적으로 ‘보일러’를 의미할 수 있는 ‘불’을 포함할 수 있다(예 : “불 올려 줘” = “(보일러) 온도 올려줘” ).
또한 여기서 상기 각 IOT 기기에 관련된 정보들은, 각 IOT 기기의 현재 위치에 대한 정보를 포함할 수 있다. 그리고 각 IOT 기기의 명칭 및 유사 명칭들, 그리고 위치에 대한 정보들은, 각 IOT 기기에 대응하는 키워드로서 상기 각 IOT 기기에 관련된 정보들에 포함될 수 있다.
한편 각 IOT 기기에 관련된 정보들은, 각 IOT 기기에서 수행 가능한 기능들에 대한 정보를 포함할 수 있다. 일 예로 각 IOT 기기에 관련된 정보들은 수행 가능한 기능들 및 각 기능에 대응하는 키워드들을 포함할 수 있다. 이 경우 포함된 키워드들은 각 IOT 기기에서 수행될 수 있는 고유한 기능들에 대한 정보를 포함할 수 있다(예 : 보일러, 히터, 또는 에어컨 - ‘올려’, ‘내려’, TV - ‘틀어’, ‘돌려’, 기기 공통 - ‘켜’, ‘꺼’ 등). 그리고 각 IOT 기기에서 수행 가능한 기능들 및 각 기능에 대응하는 키워드들은, 각 IOT 기기에 대응하는 키워드로서 상기 각 IOT 기기에 관련된 정보들에 포함될 수 있다.
한편 이러한 IOT 기기 관련 정보들은 기기 식별 정보(예를 들어 ID)를 기준으로 데이터베이스를 형성할 수 있다. 이러한 IOT 기기 관련 정보들은 IOT 기기가 연결되는 경우, 상기 IOT 기기로부터 수신되거나 또는 기 설정된 서버(예 : 상기 IOT 기기 제조사의 서버나 외부 서버)로부터 다운로드될 수 있다. 이하 이처럼 IOT 기기 관련 정보들을 포함하는 데이터베이스를 기기 데이터베이스(112)라고 하기로 한다.
한편 명령어 분석부(100)는 통신부(170) 또는 입출력부(160)를 통해 음성으로 입력된 사용자의 명령을 인식하거나 입력된 문자열로부터 사용자의 명령어를 추출할 수 있다. 그리고 인식 또는 추출된 사용자의 명령어를 분석할 수 있다.
명령어 분석부(100)는 인식 또는 추출된 사용자의 명령어로부터, 띄어쓰기를 기준으로 단어들을 추출할 수 있다. 이를 위해 명령어 분석부(100)는 사용자의 명령어 전체 문자열로부터 띄어쓰기를 기준으로 단어를 구분하고 구분된 단어들을 추출할 수 있다. 그리고 추출된 단어들 중 기기 데이터베이스(112)에 저장된 키워드에 대응하는 단어들을 검출할 수 있다. 여기서 상기 기기 데이터베이스(112)에 저장된 키워드는, 각 IOT 기기에 대응하는 키워드로서, 각 IOT 기기의 명칭 및 유사 명칭이거나 또는 각 IOT 기기에서 수행 가능한 기능들 및 각 기능에 대응하는 키워드 중 어느 하나일 수 있다.
따라서 만약 사용자로부터 수신된 명령어가 “전등 좀 꺼줘”인 경우, 명령어 분석부(100)는 수신된 명령어로부터 ‘전등’, ‘좀’, ‘꺼줘’ 라는 단어들을 구분할 수 있다. 그리고 상기 키워드 비교 결과에 따라 ‘전등’ 및 ‘꺼줘’라는 단어들을 중요 단어로서 추출할 수 있다. 이하 명령어 분석부(100)에서 이와 같이 중요 단어를 추출하는 방법을 제1 추출 방법이라고 하기로 한다.
한편 명령어 분석부(100)는 다른 방법으로 중요 단어들을 추출할 수 있다. 예를 들어 명령어 분석부(100)는 명령어 전체에 대해 띄어쓰기를 무시하고 명령어에 포함된 각 문자를 연결할 수 있다. 그리고 연결된 문자들에 대해 순차적으로 문자를 조합하여 단어들을 생성하며, 생성된 단어들과 기기 데이터베이스(112)에 저장된 키워드들의 매칭 결과에 따라 중요 단어들을 추출할 수 있다.
일 예로 사용자로부터 수신된 명령어가 “에어컨켜”인 경우, 명령어 분석부(100)는 수신된 명령어를 띄어쓰기를 무시하고 모든 글자를 순차적으로 조합하여 “에”, “어”, “컨”, “켜”, “에어”, “어컨”, “컨켜”, “에어컨”, “어컨켜”, “에어컨켜” 라는 단어들을 1차 추출할 수 있다. 그리고 1차 추출된 단어들과 상기 키워드 비교 결과에 따라, ‘에어컨’ 및 ‘켜’라는 단어들을 중요 단어로서 추출할 수 있다. 이하 명령어 분석부(100)에서 이와 같이 중요 단어를 추출하는 방법을 제2 추출 방법이라고 하기로 한다.
명령어 분석부(100)는 상기 제1 추출 방법 및 제2 추출 방법 중 적어도 어느 하나에 따라 수신된 명령어로부터 중요 단어들을 추출할 수 있다. 일 예로 명령어 분석부(100)는 먼저 제1 추출 방법을 통해 중요 단어들의 추출을 시도하고 중요 단어들이 추출되지 않은 경우에 한하여 제2 추출 방법으로 중요 단어들을 추출할 수 있다. 또는 명령어 분석부(100)는 수신된 명령어에 포함된 단어들을 띄어쓰기를 기준으로 추출한 결과 추출된 단어의 개수에 따라 제1 추출 방법 또는 제2 추출 방법 중 어느 하나에 따라 중요 단어들을 추출할 수도 있다. 일 예로 띄어쓰기를 통해 추출된 단어의 개수가 복수개인 경우 제1 추출 방법에 따라 중요 단어들을 추출하고, 추출된 단어의 개수가 1개인 경우 제2 추출 방법에 따라 중요 단어들을 추출할 수도 있다.
한편 명령어 분석부(100)의 분석에 따라, 수신된 명령어로부터 중요 단어들이 추출되면 명령어 분석부(100)는 추출된 중요 단어들에 근거하여 제어할 IOT 기기, 즉 대상 기기를 특정할 수 있다. 또한 추출된 중요 단어들에 근거하여 상기 대상 기기에서 실행할 기능을 특정할 수 있다.
일 예로 명령어 분석부(100)는 추출된 중요 단어 중, IOT 기기 명칭 또는 유사 명칭에 대응하는 키워드가 포함되어 있는지 여부를 판단할 수 있다. 그리고 추출된 중요 단어 중 IOT 기기 명칭 또는 유사 명칭에 대응하는 키워드에 매칭되는 중요 단어가 포함된 경우, 상기 중요 단어에 매칭되는 키워드에 따라 적어도 하나의 IOT 기기를 특정할 수 있다.
한편 상술한 위치 정보 역시 상기 중요 단어로서 추출될 수 있다. 이 경우 위치 정보는 상기 IOT 기기 명칭 또는 유사 명칭에 대응하는 키워드에 매칭되는 중요 단어와 함께, 적어도 하나의 IOT 기기를 특정하기 위해 이용될 수 있다. 즉, 본 발명의 실시 예에 따른 IOT 기기 제어 장치(10)는 추출된 중요 단어 중 IOT 기기 명칭 또는 유사 명칭에 대응하는 키워드에 매칭되거나, 특정 위치에 대응하는 중요 단어에 근거하여 연결된 IOT 기기 중 적어도 하나를 특정할 수 있다. 이하 이처럼 명령어에 포함된 중요 단어들 중 적어도 하나의 IOT 기기를 특정할 수 있는 중요 단어를, 대상 기기를 특정할 수 있는 ‘지정어’라고 하기로 한다.
또한 명령어 분석부(100)는 추출된 중요 단어 중, 각 IOT 기기에서 수행 가능한 기능들 및 각 기능에 대응하는 키워드에 매칭되는 중요 단어가 포함되어 있는지 여부를 판단할 수 있다. 그리고 추출된 중요 단어 중 각 기능에 대응하는 키워드에 매칭되는 중요 단어가 포함된 경우, 상기 중요 단어에 매칭되는 키워드에 따라 대상 기기에서 실행하고자 하는 기능을 특정할 수 있다. 이하 이처럼 명령어에 포함된 중요 단어들 중 특정 기능의 수행을 위해 대상 기기의 제어를 위한 명령을 특정할 수 있는 중요 단어를, ‘제어 명령’이라고 하기로 한다.
한편 명령어 분석부(100)는 현재 수신된 명령어에 근거하여 대상 기기와 수행하고자 하는 기능이 모두 특정 가능한지 여부를 판단할 수 있다. 이는 현재 수신된 명령어로부터 추출된 중요 단어들에 상기 지정어와 상기 제어 명령이 모두 포함되어있는지 여부에 따라 판단될 수 있다. 그리고 판단 결과에 따라 적어도 하나의 IOT 기기에 제어 명령을 전송하거나(직접 제어)하거나 또는 AI 기기와 연동하여 제어할 수 있다.
즉, 대상 기기와 수행하고자 하는 기능이 모두 특정 가능한 경우라면, 명령어 분석부(100)는 특정된 적어도 하나의 대상 기기에 연동되는 기기 연동부(140 또는 150)를 통해 상기 적어도 하나의 대상 기기가 상기 특정된 기능을 수행하도록 제어 명령을 전송할 수 있다. 그러나 대상 기기 또는 기능 중 어느 하나가 특정되지 않는 경우, 명령어 분석부(100)는 AI 기기와의 연동을 통해 적어도 하나의 IOT 기기가 적절한 기능을 수행하도록 AI 기기와 연동되는 AI 연동부에 수신된 명령을 전송할 수 있다.
이하의 설명에서 ‘특정 기기가 특정 기능을 실행하도록 제어한다’는 것은, 상기 특정 기기에 상기 특정 기능을 실행하기 위한 명령을 전송하는 의미를 포함한다.
한편 본 발명의 실시 예에 따른 IOT 기기 제어 장치(10)는 제1 기기(30)와 연동되기 위한 제1 기기 연동부(140)를 포함할 수 있다. 상기 제1 기기 연동부(140)는, 상기 AI 기기(15)와 연결될 수 있는 IOT 기기들과 연동을 위한 구성부일 수 있다. 상기 제1 기기 연동부(140)는 AI 기기(15)와 호환 가능한 프로토콜 또는 AI 기기(15)의 IOT 플랫폼과 동일한 IOT 플랫폼에 따른 프레임워크를 포함할 수 있다.
또한 본 발명의 실시 예에 따른 IOT 기기 제어 장치(10)는 제2 기기(40)와 연동되기 위한 제2 기기 연동부(150)를 포함할 수 있다. 이 경우 상기 제2 기기(40)가 OCF 표준에 따르는 IOT 기기라면 상기 제2 기기 연동부(150)는 OCF 표준에 따르는 프레임 워크를 포함할 수 있으며, 상기 OCF 표준에 따르는 IOT 기기들과 연동될 수 있다.
한편 본 발명의 실시 예에 따른 IOT 기기 제어 장치(10)는 AI 기기(15)와 연동을 위한 AI 연동부(130)를 포함할 수 있다. 상기 AI 연동부(130)는 입출력부(160)로부터 사용자의 음성이 수신되는 경우 수신된 음성을 처리하여 연동된 AI 기기에 전송할 수 있다. 그리고 AI 기기로부터 수신되는 각종 정보들을 처리할 수 있도록 형성될 수 있다.
한편, 본 발명의 실시 예에 따른 IOT 기기 제어 장치(10)는 연결된 IOT 기기들을 제어하기 위한 구동부(120)를 포함할 수 있다. 상기 구동부(120)는 상기 제1 기기(30)와 관련된 기능을 처리 및 제어할 수 있는 제1 기기 구동부(120) 및 상기 제2 기기(40)와 관련된 기능을 처리 및 제어할 수 있는 제2 기기 구동부(120)를 포함할 수 있다. 상기 제1 기기 구동부(120) 및 제2 기기 구동부(120)는 각각 제1 기기(30) 및 제2 기기(40)의 기능에 관련된 정보 및 데이터를 포함하며, 명령어 분석부(100)의 분석 결과에 따라 제1 기기(30) 및 제2 기기(40) 중 하나에 특정 기능을 실행하기 위한 명령을 전송할 수 있다. 이 경우 구동부(120)에서 전송되는 명령은 제1 기기 연동부(140) 및/또는 제2 기기 연동부(150)로 전송되고, 상기 제1 기기 연동부(140) 및/또는 제2 기기 연동부(150)를 통해 제1 기기(30) 및/또는 제2 기기(40)로 전송될 수 있다.
한편 구동부(120)는 IOT 기기 제어 장치(10) 내부적으로 처리 가능한 기능들에 대한 정보를 포함 및 내부적으로 처리 가능한 기능을 수행할 수 있다. 일 예로 구동부(120)는 사용자로부터 수신된 명령어가 IOT 기기 제어 장치(10) 내부적으로 처리 가능한 명령인 경우 수신된 명령어에 따른 기능을 수행하고 그 결과를 응답으로 출력할 수 있다. 그러면 출력된 응답은 통신부(170) 또는 입출력부(160)를 통해 출력될 수 있다.
도 3은 이처럼 본 발명의 실시 예에 따른 IOT 기기 제어 장치(10)에서 명령어 분석부(100)가 수신된 명령어를 분석 및 분석된 결과에 따라 IOT 기기들을 제어하는 동작 과정을 도시한 흐름도이다.
상술한 바에 따르면 본 발명의 실시 예에 따른 IOT 기기 제어 장치(10)는 입출력부(160)를 통해 사용자의 음성 명령을 입력받고 입력된 음성 명령을 명령어로 인식하거나, 사용자의 이동 단말기(20)를 통해 명령어를 수신하거나 또는 상기 이동 단말기(20)를 통해 수신된 음성 명령을 명령어로 인식할 수 있음을 언급한 바 있다. 이하의 설명에서는 이처럼 명령어가 음성으로 입력된 경우 또는 문자열로 수신된 경우를 모두 ‘명령어가 수신된 경우’로 설명하기로 한다.
도 3을 참조하여 살펴보면, 본 발명의 실시 예에 따른 IOT 기기 제어 장치(10)의 명령어 분석부(100)는 사용자로부터 명령어가 수신되는 경우, 수신된 사용자의 명령어를 분류 및 분석할 수 있다(S300). 상기 S300 단계는 상술한 제1 추출 방법 및/또는 제2 추출 방법에 따라 수신된 사용자의 명령어로부터 중요 단어들을 추출하는 단계일 수 있다. 이 경우 S300 단계에서 명령어 분석부(100)는 수신된 명령어의 띄어쓰기 방식을 기준으로 단어들을 구분하고, 구분된 단어들의 개수에 따라 제1 추출 방법 또는 제2 추출 방법 중 어느 하나의 방법을 통해 중요 단어들을 추출할 수 있다.
한편 상기 S300 단계의 분석 결과, 명령어 분석부(100)는 현재 수신된 명령어가 특정 IOT 기기의 제어를 위한 명령인지 여부를 판단할 수 있다(S302). 일 예로 명령어 분석부(100)는 현재 수신된 명령어에 중요 단어가 적어도 하나 포함되었는지 여부를 판단할 수 있다. 여기서 상기 중요 단어는 대상 기기를 특정하기 위한 단어(지정어) 또는 수행하고자 하는 기능을 특정하기 위한 단어(제어 명령)일 수 있다.
여기서 상기 지정어는 기기 데이터베이스(112)에 포함된 IOT 기기의 명칭 또는 유사 명칭 키워드들 중 적어도 하나에 매칭되는 단어일 수 있으며, 특정 위치에 대응하는 단어일 수 있다. 그리고 상기 제어 명령은 기기 데이터베이스(112)에 포함된 각 IOT 기기에서 수행 가능한 기능들 및 각 기능에 대응하는 키워드들 중 적어도 하나에 매칭되는 단어일 수 있다.
한편 명령어 분석부(100)는 상기 S300 단계에서 추출된 단어들 중, 중요 단어가 없다고 판단되는 경우, 기 설정된 키워드가 포함되어 있는지 여부를 판단할 수 있다. 여기서 상기 기 설정된 키워드는 적어도 하나의 IOT 기기 및 상기 적어도 하나의 IOT 기기가 수행할 기능들에 대응하는 키워드일 수 있다. 판단 결과 추출된 단어들 중 중요 단어가 없는 경우, 그리고 기 설정된 키워드를 포함하고 있지 않은 경우, 명령어 분석부(100)는 현재 수신된 명령어가 특정 IOT 기기의 제어를 위한 명령이 아니라고 판단할 수 있다. 그러면 명령어 분석부(100)는 현재 수신된 명령어가 IOT 기기 제어 장치(10)에 내장된 기능과 관련된 것인지 여부를 판단할 수 있다(S304).
예를 들어 명령어 분석부(100)는 S304 단계에서, IOT 기기 제어 장치(10)에 내장된 기능의 명칭 적어도 일부가, 현재 수신된 명령어에 포함되어 있는지 여부를 판단할 수 있다. 그리고 IOT 기기 제어 장치(10)에 내장된 기능의 명칭 적어도 일부가, 현재 수신된 명령어에 포함된 경우 현재 수신된 명령어(예 : 사용 안내)가, IOT 기기 제어 장치(10)에 내장된 기능에 관련된 것으로 판단할 수 있다. 그러면 명령어 분석부(100)는 구동부(120)를 통해, 현재 수신된 명령어에 대응하는 IOT 기기 제어 장치(10)의 내장된 기능을 실행할 수 있다. 그리고 실행 결과를 입출력부(160)를 통해 출력하거나 또는 통신부(170)를 통해 기 설정된 이동 단말기(20)로 전송할 수 있다(S308). 일 예로 수신된 명령어가 입출력부(160)에 구비된 카메라를 구동시키기 위한 것인 경우, 명령어 분석부(100)의 분석 결과에 따라 구동부(120)가 카메라를 제어하고, 제어된 카메라로부터 획득된 이미지가 입출력부(160) 또는 통신부(170)를 통해 출력될 수 있다.
반면 상기 S304 단계에서, 현재 수신된 명령어가 IOT 기기 제어 장치(10)에 내장된 기능과 관련되지 않은 경우라면, 명령어 분석부(100)는 수신된 명령어를 IOT 기기 제어 장치(10)에 연결된 AI 기기(15)에 전송할 수 있다. 이 경우 수신된 명령어는 AI 연동부(130)를 통해 AI 기기로 전송될 수 있다. 그리고 AI 기기(15)가 상기 수신된 명령어를 분석한 결과에 따른 기능을 수행할 수 있다. 즉, 명령어 분석부(100)는 수신된 명령어가 IOT 기기 제어 장치(10)에 내장된 기능과 관련되지 않은 경우, AI 기기(15)로 명령어를 전송하여 AI 기기(15)가 수신된 명령어에 따른 기능을 수행하도록 할 수 있다(S306).
일 예로 수신된 명령어가 “오늘 날씨 어때?”와 같은 경우, 명령어 분석부(100)는 수신된 명령어로부터 대상 기기 특정 및 제어 명령을 특정할 수 없다고 판단(S302 단계)할 수 있다. 그리고 IOT 기기 제어 장치(10) 내부적으로 제공할 수 있는 기능도 아니라고 판단(S304 단계)할 수 있다. 그러면 명령어 분석부(100)는 S306 단계로 진행하여 수신된 명령어를 AI 기기(15)로 전송할 수 있으며, AI 기기(15)가 수신된 명령어를 처리할 수 있다. 따라서 AI 기기는 수신된 명령어에 대한 응답으로 오늘의 날씨를 출력할 수 있다.
한편 상기 S302 단계의 판단 결과, 수신된 명령어에 중요 단어가 적어도 하나 포함된 경우, 또는 기 설정된 키워드를 포함하는 경우 명령어 분석부(100)는 현재 수신된 명령어가 특정 IOT 기기의 제어를 위한 명령어라고 판단할 수 있다. 그러면 명령어 분석부(100)는 수신된 명령어로부터 대상 기기 및 수행하고자 하는 기능이 모두 특정 가능한지 여부를 판단할 수 있다(S310).
상기 S310 단계에서 명령어 분석부(100)는, 먼저 명령어에 포함된 중요 단어들 중, 대상 기기를 특정하기 위한 지정어가 적어도 하나 포함되었는지 여부를 판단할 수 있다. 그리고 명령어에 포함된 중요 단어들 중, 수행하고자 하는 기능을 특정하기 위한 제어 명령이 적어도 하나 포함되었는지 여부를 판단할 수 있다.
여기서 상기 지정어는 IOT 기기의 명칭 또는 유사 명칭 키워드들 중 적어도 하나에 매칭되는 단어일 수 있다. 또한 지정어는 특정 위치에 대응하는 단어일 수 있다. 그리고 상기 제어 명령은 각 IOT 기기에서 수행 가능한 기능들 및 각 기능에 대응하는 키워드들 중 적어도 하나에 매칭되는 단어일 수 있다.
그리고 상기 S310 단계의 판단 결과, 수신된 명령어가 지정어와, 제어 명령을 모두 포함하는 경우, 상기 지정어에 근거하여 현재 IOT 기기 제어 장치(10)에 연결된 IOT 기기들 중 적어도 하나를, 수신된 명령어에 대응하는 대상 기기로 특정할 수 있다. 그리고 특정된 대상 기기를 상기 제어 명령에 대응하는 기능을 수행하도록 제어할 수 있다(S312).
이 경우 특정된 대상 기기가 제1 기기(30)인 경우, 명령어 분석부(100)는 제1 기기 연동부(140)를 통해 상기 대상 기기에 제어 명령을 전송할 수 있다. 반면 특정된 대상 기기가 제2 기기(40)인 경우, 명령어 분석부(100)는 제2 기기 연동부(150)를 통해 상기 대상 기기에 제어 명령을 전송할 수 있다. 이에 본 발명의 실시 예에 따른 IOT 기기 제어 장치(10)는 AI 기기(15)와 연결되지 않는 IOT 기기에 제어 명령을 전송하여, 상기 제어 명령에 따른 기능을 수행하도록 제어할 수 있다.
한편 S312 단계에서, 상기 지정어에 매칭되는 기기가 복수인 경우라면 복수의 기기가 대상 기기로 특정될 수 있다. 그리고 명령어 분석부(100)는 특정된 복수의 대상 기기 중 상기 제어 명령에 대응하는 기능을 수행할 수 있는 기능을 가지는 IOT 기기만 상기 제어 명령에 대응하는 기능을 수행하도록 제어할 수 있다.
일 예로, 사용자로부터 수신된 명령어가 ‘불 내려’인 경우, 명령어 분석부(100)는 수신된 명령어로부터 ‘불’ 및 ‘내려’라는 단어를 중요 단어로 추출할 수 있다. 그러면 ‘불’이라는 중요 단어(지정어)에 의해 ‘전등’ 및 ‘보일러’가 대상 기기로 특정될 수 있다. 그리고 ‘내려’라는 중요 단어(제어 명령)에 의해, 제어 명령 ‘내려’를 수행할 수 있는 ‘보일러’만이 상기 제어 명령에 따라 설정 온도를 내리도록 제어될 수 있다. 이 경우 ‘보일러’는 AI 기기와의 연동 없이 IOT 기기 제어 장치(10)의 직접 제어를 통해 제어될 수 있다.
한편, 현재 수신된 명령어가 기 설정된 키워드를 포함하는 경우, 명령어 분석부(100)는 현재 수신된 명령어에 포함된 키워드에 따라 대상 기기 및 수행하고자 하는 기능이 모두 특정 가능한 것으로 판단할 수 있다. 그리고 S312 단계에서 상기 기 설정된 키워드에 따라 적어도 하나의 대상 기기를 특정하고, 상기 기 설정된 키워드에 의해 특정된 기능을 수행하도록 상기 특정된 적어도 하나의 기기를 제어할 수 있다.
이하, 수신된 명령어가 지정어 또는 제어 명령을 포함하지 않는 경우에도, 기 설정된 키워드를 포함함에 따라 상기 수신된 명령어에 근거하여 적어도 하나의 대상 기기를 특정하고 상기 키워드에 따른 기능을 수행하도록 상기 특정된 적어도 하나의 대상 기기를 제어하는 상기 S310 단계의 동작 과정을, 하기 도 4를 참조하여 자세하게 살펴보기로 한다.
한편 상기 S310 단계의 판단 결과, 수신된 명령어가 대상 기기를 특정하기 위한 지정어와, 제어 명령을 특정하기 위한 제어 명령 중 어느 하나만을 포함하는 경우, 명령어 분석부(100)는 대상 기기 또는 수행하고자 하는 기능 중 어느 하나의 특정이 불가능하다고 판단할 수 있다.
그러면 명령어 분석부(100)는 수신된 명령어에 포함된 지정어 또는 제어 명령에 대응하는 IOT 기기를 검색할 수 있다. 그리고 검색된 IOT 기기에 관련된 AI 기기를 검색할 수 있다(S314).
즉, 수신된 명령어가 지정어만을 포함하는 경우, 명령어 분석부(100)는 지정어에 대응하는 IOT 기기에 관련된 AI 기기(15)를 검색할 수 있다. 반면 수신된 명령어가 제어 명령만을 포함하는 경우, 명령어 분석부(100)는 기기 데이터베이스(112)로부터 제어 명령에 대응되는 기능을 수행할 수 있는 IOT 기기를 검출할 수 있다. 그리고 검출된 IOT 기기에 관련된 AI 기기를 검색할 수 있다.
AI 기기(15)가 검색되면, 명령어 분석부(100)는 검색된 AI 기기(15)에, AI 연동부(130)를 통해 현재 수신된 명령어를 전송할 수 있다. 그러면 AI 기기(15)는 전송된 명령어에 대한 응답으로, 상기 명령어를 분석한 결과를 전송할 수 있다. 그러면 AI 연동부(130)는 AI 기기(15)와 연결된 기기들(제1 기기들(40))로부터 수신된 분석 결과에 대응하는 적어도 하나의 기기를 검색할 수 있다. 그리고 검색된 기기에 상기 AI 기기(15)로부터 수신된 분석 결과에 따른 기능을 실행하기 위한 제어 명령을 전송할 수 있다. 즉, 명령어 분석부(100)는 현재 수신된 명령어에 따른 기능을 수행하기 위해 AI 기기(15)와 연동할 수 있으며, AI 기기(15)의 분석 결과에 따른 기능이 수행되도록 적어도 하나의 기기를 제어할 수 있다(S316).
도 4는 본 발명의 실시 예에 따른 IOT 기기 제어 장치(10)가, 상기 도 3의 과정 중, 현재 수신된 명령어로부터 대상 기기 및 수행 가능한 기능이 특정 가능한지 여부를 판단하는 S310 단계의 과정을 보다 자세히 도시한 흐름도이다.
도 4를 참조하여 살펴보면, 본 발명의 실시 예에 따른 IOT 기기 제어 장치(10)는 상기 S308 단계의 판단 결과 수신된 명령어가 특정 기기의 제어를 위한 명령이라고 판단되는 경우, 현재 수신된 명령어에 지정어 및, 제어 명령이 모두 포함되어 있는지 판단할 수 있다(S400).
한편 상기 S400 단계의 판단 결과, 수신된 명령어에 지정어와 제어 명령이 어느 하나도 포함되지 않은 경우, 명령어 분석부(100)는 기 설정된 키워드가 포함되었는지 여부를 체크할 수 있다(S402).
여기서 상기 기 설정된 키워드는 적어도 하나의 IOT 기기 및 상기 적어도 하나의 IOT 기기가 수행할 기능들에 대응하는 키워드일 수 있다. 이처럼 적어도 하나의 하나의 IOT 기기 및 상기 적어도 하나의 IOT 기기가 수행될 기능들에 대응하는 키워드를 ‘일괄 제어 키워드’라고 하기로 한다.
일 예로 사용자는 상기 일괄 제어 키워드로서 ‘외출 모드’를 지정할 수 있다. 이 경우 상기 ‘외출 모드’라는 키워드는 IOT 기기 제어 장치(10)에 연결된 모든 IOT 기기들을 대상 기기로 특정하는 키워드일 수 있다. 그리고 상기 ‘외출 모드’라는 키워드는 특정된 대상 기기들 모두의 전원을 각각 오프하는 기능을 특정하는 키워드일 수 있다.
이에 따라 상기 S402 단계에서 명령어 분석부(100)는, 현재 수신된 명령어에 지정어 또는 제어 명령이 포함되지 않은 경우, 상기 일괄 제어 키워드가 포함되어 있는지 여부를 체크할 수 있다. 그리고 일괄 제어 키워드가 포함된 경우라면, 명령어 분석부(100)는 상기 일괄 제어 키워드에 대응하는 복수의 기기를 특정하기 위한 지정어 및 상기 복수의 기기 각각이 수행할 기능을 특정하기 위한 제어 명령이 현재 수신된 명령어에 포함된 것으로 판단할 수 있다(S404).
따라서 상기 일괄 제어 키워드가 명령어에 포함된 경우, 명령어 분석부(100)는 상기 도 3의 S312 단계로 진행하여, 상기 일괄 제어 키워드에 대응하는 제어 명령 각각의 기능을 상기 일괄 제어 키워드에 따른 복수의 기기가 수행하도록, 상기 복수의 기기 각각을 제어할 수 있다. 이 경우 상기 명령어 분석부(100)는 제1 기기 연동부(140)를 통해 적어도 하나의 제1 기기(30)를 제어하고, 제2 기기 연동부(40)를 통해 적어도 하나의 제2 기기(40)를 제어할 수 있다.
한편 상기 S402 단계의 체크 결과, 현재 수신된 명령어에 일괄 제어 키워드가 포함되어 있지 않은 경우라면, 명령어 분석부(100)는 대상 기기 또는 수행하고자 하는 기능 중 어느 하나의 특정이 불가능한 것으로 판단할 수 있다(S406).
그러면 명령어 분석부(100)는 도 3의 S314 단계로 진행하여 지정어 및 제어 명령 중 어느 하나에 대응하는 IOT 기기를 검색하고, 검색된 IOT 기기에 관련된 AI 기기를 검색할 수 있다. 그리고 AI 기기와 연동하여, 연동된 AI 기기의 판단에 따른 기능을 적어도 하나의 IOT 기기가 수행하도록 상기 적어도 하나의 IOT 기기를 제어할 수 있다.
한편 상기 S400 단계의 판단 결과, 수신된 명령어에 상기 지정어와 제어 명령이 모두 포함된 상태라면, 명령어 분석부(100)는 상기 제어 명령에 대응하는 기능을, 상기 지정어에 의해 특정된 대상 기기가 수행할 수 있는지 여부를 판단할 수 있다(S408).
그리고 S408 단계의 판단 결과 상기 제어 명령에 대응하는 기능을, 상기 특정된 대상 기기가 수행할 수 있는 경우라면, 현재 수신된 명령어에 포함된 지정어 및 제어 명령에 따라 대상 기기 및 수행하고자 하는 기능의 특정이 가능한 것으로 판단할 수 있다(S410).
이 경우 명령어 분석부(100)는 상기 도 3의 S312 단계로 진행하여, 상기 제어 명령에 대응하는 기능을 수행하도록 상기 지정어에 의해 특정된 대상 기기를 제어할 수 있다. 이 경우 특정된 대상 기기는 제1 기기(30) 또는 제2 기기(40)일 수 있으며, 명령어 분석부(100)는 제1 기기(30)인 경우 제1 기기 연동부(140)를 통해, 제2 기기(40)인 경우 제2 기기 연동부(150)를 통해 현재 수신된 명령어로부터 추출된 제어 명령을 전송함으로써, 상기 제1 기기(30) 또는 제2 기기(40)를 제어할 수 있다.
그러나 상기 S408 단계의 판단 결과, 상기 제어 명령에 대응하는 기능을, 상기 지정어에 의해 특정된 대상 기기가 수행할 수 없는 경우라면, 명령어 분석부(100)는 대상 기기 또는 수행하고자 하는 기능 중 어느 하나의 특정이 불가능한 것으로 판단할 수 있다(S406).
그러면 명령어 분석부(100)는 도 3의 S314 단계로 진행하여 지정어 및 제어 명령 중 어느 하나에 대응하는 IOT 기기를 검색하고, 검색된 IOT 기기에 관련된 AI 기기를 검색할 수 있다. 그리고 AI 기기와 연동하여, 연동된 AI 기기의 판단에 따른 기능을 적어도 하나의 IOT 기기가 수행하도록 상기 적어도 하나의 IOT 기기를 제어할 수 있다. 이 경우 AI 기기와 연동하여 기기가 제어되므로, 상기 적어도 하나의 IOT 기기는, 상기 AI 기기와 연결가능한 제1 기기(30)일 수 있다.
한편 도 5는 본 발명의 실시 예에 따른 IOT 기기 제어 장치(10)가, 제어 명령에 따른 기능을 수행하도록, 수신된 명령어로부터 특정된 대상 기기를 제어하는 S312 단계의 동작 과정을 보다 자세히 도시한 흐름도이다.
상술한 설명에 따르면, 본 발명의 실시 예에 따른 IOT 기기 제어 장치(10)의 기기 데이터베이스(112)는 IOT 기기의 명칭 뿐만 아니라 각 IOT 기기의 유사 명칭을, 각 IOT 기기에 대응하는 키워드로 포함할 수 있음을 언급한 바 있다. 또한 유사 명칭은, 각 IOT 기기의 명칭 중 일부가 삭제된 명칭이거나, 또는 관용적으로 쓰이는 명칭을 포함할 수 있음을 언급한 바 있다. 이에 따라 서로 동일한 키워드에 대응하는 서로 다른 IOT 기기가 있을 수 있다(예 : “불”- ‘전등’과 ‘보일러’ 모두의 관용 명칭).
이러한 경우 명령어 분석부(100)는 명령어로부터 추출된 지정어에 근거하여, 하나 또는 복수의 IOT 기기를 대상 기기로 특정할 수 있다. 이 경우 명령어 분석부(100)는 먼저 명령어로부터 추출된 지정어에 따라 특정되는 대상 기기가 복수인지 여부를 확인할 수 있다(S500).
상기 S500 단계의 확인 결과, 상기 지정어에 따라 특정되는 대상 기기가 하나의 기기인 경우, 명령어 분석부(100)는 현재 특정된 하나의 대상 기기를, 수신된 명령어에 포함된 제어 명령에 의해 특정된 기능을 수행하도록 제어할 수 있다(S506).
그러나 상기 S500 단계의 확인 결과, 상기 지정어에 따라 특정되는 대상 기기가 복수인 경우, 명령어 분석부(100)는 특정된 대상 기기 중, 수신된 명령어에 포함된 제어 명령에 의해 특정되는 기능을 수행할 수 있는 기기를 검색할 수 있다(S502). 그리고 검색 결과 적어도 하나의 기기가 검색되는 경우, 검색된 적어도 하나의 기기가, 상기 제어 명령에 의해 특정되는 기능을 각각 수행하도록 제어할 수 있다(S504).
이 경우 상기 검색된 기기에 연동되는 제1 기기 연동부(140) 및 제2 기기 연동부(150) 중 적어도 하나에, 상기 검색된 기기의 정보 및 상기 특정된 기능을 실행하기 위한 실행 명령이 전송될 수 있다. 이에 따라 사용자로부터 “불 켜”라는 명령어가 수신되는 경우, 명령어 분석부(100)는 ‘보일러’에 연동되는 연동부(예 제1 기기 연동부(140))와 및 ‘전등’에 연동되는 연동부(예 : 제2 기기 연동부(150))에 상기 실행 명령을 모두 전송할 수 있다. 따라서 상기 제1 기기 연동부(140)와 제2 기기 연동부(150)와 연동된 보일러 및 전등에 각각 실행 명령이 전송되고 이에 따라 상기 보일러 및 전등의 전원이 모두 온 될 수 있다.
한편 이처럼 지정어에 따라 특정되는 복수의 기기가 모두 상기 제어 명령에 따라 특정되는 기능을 수행할 수 있는 경우, 명령어 분석부(100)는 기 설정된 조건에 따라 일부의 기기만이 상기 제어 명령을 수행하도록 제어할 수도 있다.
한편 본 발명의 실시 예에 따른 IOT 기기 제어 장치(10)의 명령어 분석부(100)는 상기 도 5의 S504 단계에서, 복수의 대상 기기가 특정된 제어 명령에 대응하는 기능을 수행 가능한 경우, 상기 복수의 대상 기기 중 기 설정된 조건에 따른 일부의 대상 기기만 상기 제어 명령에 대응하는 기능을 수행하도록 제어할 수 있다. 여기서 상기 기 설정된 조건은 다양하게 설정될 수 있다. 일 예로 상기 기 설정된 조건은, 기 설정된 우선순위 일 수 있다.
일 예로 명령어 분석부(100)는 현재 특정된 복수의 대상 기기(특정된 제어 명령에 따른 기능을 수행 가능한 복수의 대상 기기)에 대해 우선순위가 가장 높은 어느 하나의 기기만이 현재 특정된 제어 명령에 따른 기능을 수행하도록 제어할 수 있다. 여기서 상기 우선순위는, 각 IOT 기기의 종류나 위치, 또는 사용자의 선호도에 따라 사용자가 미리 설정한 우선순위일 수 있다.
한편 상기 우선순위는 시간에 따라 서로 다르게 설정될 수 있다. 이 경우 명령어 분석부(100)는, 명령어가 수신된 시간에 근거하여 각 IOT 기기별 우선순위를 검출할 수 있으며, 검출된 우선순위에 따라 상기 제어 명령에 의해 특정된 기능을 실행할 어느 하나의 대상 기기를 결정할 수 있다. 이러한 경우 명령어가 수신된 시간이 다르면, 수신된 명령어가 동일한 경우에도 서로 다른 대상 기기가 선택될 수 있으며, 선택된 다른 IOT 기기가 상기 제어 명령에 따라 특정된 기능을 실행할 수 있다.
한편 상기 기 설정된 조건은 ‘위치’일 수 있다. 일 예로 본 발명의 실시 예에 따른 IOT 기기 제어 장치(10)의 명령어 분석부(100)는 명령어가 수신되는 경우 명령어에 포함된 지정어 중 ‘위치’를 검출할 수 있다. 그리고 현재 특정된 복수의 대상 기기(특정된 제어 명령에 따른 기능을 수행 가능한 복수의 대상 기기) 중 상기 검출된 위치에 대응하는 일부의 대상 기기를 선택하고 선택된 일부의 대상 기기가, 상기 제어 명령에 따라 특정되는 기능을 수행하도록 제어할 수 있다.
도 6은 이러한 경우에 본 발명의 실시 예에 따른 IOT 기기 제어 장치(10)가, 특정된 대상 기기가 복수인 경우, 상기 제어 명령에 따른 기능을 수행하도록 일부의 대상 기기만 제어하는 동작 과정을 도시한 흐름도이다.
도 6을 참조하여 살펴보면, 본 발명의 실시 예에 따른 IOT 기기 제어 장치(10)의 명령어 분석부(100)는 먼저 수신된 명령어로부터 추출된 중요 단어들 중 특정 위치를 지칭하는 단어를 검출할 수 있다(S600). 이 경우 상기 특정 위치를 지칭하는 단어는, 대상 기기를 특정하기 위한 지정어로서 검출될 수 있다.
그리고 S600 단계에서 위치를 지칭하는 단어가 검출되면 명령어 분석부(100)는 현재 특정된 대상 기기 중 검출된 단어에 대응하는 위치에 배치된 기기가 있는지 여부를 확인할 수 있다(S602). 그리고 현재 특정된 대상 기기 중 검출된 단어에 대응하는 위치에 배치된 기기가 있는 경우, 명령어 분석부(100)는 상기 검출된 단어에 대응하는 위치에 배치된 기기들을, 현재 특정된 제어 명령에 따른 기능을 수행하도록 제어할 수 있다.
반면 상기 S602 단계의 확인 결과 현재 특정된 대상 기기 중 검출된 단어에 대응하는 위치에 배치된 기기가 없는 경우, 명령어 분석부(100)는 현재 특정된 대상 기기들 각각에 대해 기 설정된 우선순위를 검출할 수 있다(S606). 여기서 상기 우선순위는 사용자에 의해 설정된 것일 수 있다. 또는 다수의 IOT 기기들의 종류 또는 플랫폼이나 프로토콜 등에 근거하여 본 발명의 실시 예에 따른 IOT 기기 제어 장치(10) 출고시에 미리 설정된 것일 수도 있다.
한편 상기 우선순위는 시간에 따라 IOT 기기별로 서로 다르게 설정될 수 있다. 즉 시간에 따라 각 IOT에 설정된 우선순위가 변경될 수 있다. 일 예로 메모리(110)에는 복수의 우선순위에 대한 정보가 포함될 수 있으며, 상기 복수의 우선순위에 대한 정보는 각각 서로 다른 시간대에 대응될 수 있다. 그리고 서로 다른 우선순위에 대한 정보는, 각 IOT 기기들에 대해 설정된 우선순위가 서로 다르게 설정된 정보일 수 있다. 이러한 경우 명령어 분석부(100)는 명령어가 수신된 시간에 근거하여 어느 하나의 우선순위 정보를 검출할 수 있다. 그리고 검출된 우선순위 정보에 따라, 현재 특정된 대상 기기 각각에 대한 우선순위를 결정할 수 있다.
한편 상기 S606 단계에서 현재 특정된 대상 기기 각각에 대한 우선순위가 결정되면, 명령어 분석부(100)는 결정된 우선순위에 따라 어느 하나의 대상 기기를 선택할 수 있다. 일 예로 명령어 분석부(100)는 우선순위가 가장 높은 어느 하나의 대상 기기를 선택할 수 있다. 그리고 선택된 대상 기기가, 현재 특정된 제어 명령에 따른 기능을 수행하도록 제어할 수 있다(S608).
한편 상기 S600 단계에서 검출된 위치 지칭 단어가 없는 경우, 명령어 분석부(100)는 상기 S602 단계에서, 검출된 단어에 대응하는 위치에 배치된 기기가 없는 것으로 판단할 수 있다. 이 경우 명령어 분석부(100)는 상기 S606 단계 및 S608 단계로 진행하여, 현재 특정된 복수의 대상 기기 중 우선순위가 가장 높은 어느 하나의 기기를, 현재 특정된 제어 명령에 따른 기능을 수행하도록 제어할 수 있다.
한편 상기 기 설정된 조건은 사용자의 현재 위치일 수 있다. 일 예로 본 발명의 실시 예에 따른 IOT 기기 제어 장치(10)의 명령어 분석부(100)는 명령어가 수신되는 경우 명령어가 입력된 위치 또는 명령어가 전송된 사용자의 이동 단말기(20) 위치를 검출할 수 있다.
일 예로 명령어 분석부(100)는 이동 단말기(20)가 실내에 있는 경우, 이동 단말기(20)로부터 검출되는 현재 위치를 수신하여 사용자가 실내 각 장소 중 어느 장소에 있는지를 검출할 수 있다. 또는 명령어 분석부(100)는 사용자의 음성 명령이 수신된 장소를 상기 명령어가 입력된 위치로 판단할 수 있다. 또는 명령어 분석부(100)는 실내의 서로 다른 장소에 배치된 복수의 IOT 기기들로부터 수집되는 데이터에 근거하여, 사용자가 현재 실내의 어느 장소에 위치하고 있는지를 검출할 수도 있다.
이 경우 상기 검출된 사용자의 위치는, 상기 S600 단계에서 검출된 위치 정보로서 이용될 수 있다. 따라서 명령어 분석부(100)는 상기 S602 단계에서, 현재 특정된 대상 기기 중 사용자의 현재 위치에 대응하는 기기가 있는지 여부를 판단할 수 있다. 그리고 판단 결과에 따라 상기 S604 단계로 진행하여 사용자의 현재 위치에 대응하는 적어도 하나의 기기가 현재 특정된 제어 명령에 따른 기능을 수행하도록, 상기 사용자의 현재 위치에 대응하는 적어도 하나의 기기를 제어할 수 있다.
이상의 설명에서는, 본 발명의 실시 예에 따른 IOT 기기 제어 장치(10)가 수신된 사용자의 명령어를 분석한 결과에 따라 적어도 하나의 IOT 기기를 직접 제어하거나 또는 AI 기기의 연동을 통해 제어하는 동작 과정을 복수의 흐름도를 참조하여 자세하게 살펴보았다.
이하의 설명에서는, 상기 본 발명이 실시 예에 따른 IOT 기기 제어 장치(10)에서 명령어가 수신되는 경우에 상기 명령어가 대응하는 기기로 전달되는 흐름 및, 수신된 명령에 대한 응답이 사용자에게 출력되는 과정을 복수의 제어 흐름도를 통해 보다 자세하게 살펴보기로 한다.
도 7a 및 도 7b는 본 발명의 실시 예에 따른 IOT 기기 제어 장치(10)에, 자체적으로 수행 가능한 명령이 수신되는 경우 수신된 명령어가 전달되는 흐름 및 그에 따른 응답이 전달되는 흐름을 도시한 도면들이다.
먼저 도 7a를 참조하여 살펴보면, 도 7a는 이동 단말기(20)를 통해 사용자로부터 명령어가 입력(700)되는 예를 보이고 있다. 이 경우 사용자의 명령어는 통신부(170)를 통해 수신(701)될 수 있으며, 명령어 분석부(100)를 통해 분석될 수 있다.
일 예로 수신된 명령어가 ‘사용 안내’인 경우, 명령어 분석부(100)는 수신된 명령어로부터 ‘사용’, ‘안내’, 및 ‘사용 안내’라는 단어를 추출할 수 있다. 그러면 명령어 분석부(100)는 기기 데이터베이스(112)에 저장된 키워드들과 상기 추출된 단어들을 매칭하고, 그 결과 키워드에 매칭되는 단어가 추출되지 않은 것으로 판단할 수 있다. 그러면 명령어 분석부(100)는 상기 추출된 단어들을 IOT 기기 제어 장치(10)의 내장 기능들에 관련된 키워드들과 매칭할 수 있다.
이 경우, ‘사용 안내’에 대응하는 내장 기능이 있는 경우라면, 명령어 분석부(100)는 현재 수신된 명령어에 따라 현재 수신된 명령어가 상기 내장 기능 ‘사용 안내’를 실행하기 위한 것으로 판단할 수 있다. 따라서 그러면 명령어 분석부(100)는 분석된 명령어를 구동부(120)에 전달할 수 있으며(702), 이에 따라 구동부(120)는 전달받은 명령어에 대응하는 기능을 실행할 수 있다.
한편 구동부(120)에 의해 내장된 기능이 실행되면, 실행 결과가 출력될 수 있다. 이 경우 실행 결과는 상기 전달받은 명령어에 대한 응답 정보로 출력될 수 있다. 따라서 구동부의 실행 결과, 즉 응답 정보는 명령어 분석부(100)로 전달되고(703), 명령어 분석부(100)에서 통신부(170)로 전달될 수 있다(704). 그러면 통신부(170)를 통해 사용자의 이동 단말기(20)로 상기 응답 정보가 출력될 수 있다(705).
도 7b는 이러한 도 7a의 흐름을 시계열적으로 도시한 것이다.
도 7b를 참조하여 살펴보면, 사용자(22) 또는 이동 단말기(20)로부터 IOT 기기 제어 장치(10) 자체적으로 처리 가능한 명령(예 : ‘사용 안내’)이 수신될 수 있다(700). 그러면 입출력부(160) 또는 통신부(170)를 통해 수신된 명령으로부터 추출된 텍스트는 명령어 분석부(100)로 입력될 수 있다(701). 그리고 명령어 분석부(100)를 통해 분석될 수 있다.
한편 명령어 분석부(100)의 분석 결과, 수신된 명령어가 IOT 기기 제어 장치(10) 자체적으로 처리 가능한 명령인 경우, 명령어 분석부(100)는 추출된 텍스트로부터 검출된 제어 명령을 구동부(120)로 입력할 수 있다. 그러면 구동부(120)는 입력된 제어 명령에 따른 IOT 기기 제어 장치(10)의 내장 기능을 실행하고 그에 따른 응답을 명령어 분석부(100)에 전송할 수 있다(703).
한편 상기 응답은 구동부(120)에서 수행된 기능의 실행 결과를 포함할 수 있다. 상기 실행 결과를 포함하는 응답, 즉 응답 정보는 명령어 분석부(100)를 통해 입출력부(160) 또는 통신부(170)에 입력될 수 있으며(704), 입출력부(160) 또는 통신부(170)를 통해 출력될 수 있다(705).
도 8a 및 도 8b는 본 발명의 실시 예에 따른 IOT 기기 제어 장치(10)에 AI 기능에 관련된 명령이 수신되는 경우 명령어가 AI 기기(15)로 전달되는 흐름 및 그에 따른 응답이 전달되는 흐름을 도시한 도면들이다.
먼저 도 8a를 참조하여 살펴보면, 도 8a는 이동 단말기(20)를 통해 사용자로부터 명령어가 입력(800)되는 예를 보이고 있다. 이 경우 사용자의 명령어는 통신부(170)를 통해 수신(801)될 수 있으며, 명령어 분석부(100)를 통해 분석될 수 있다.
한편 수신된 명령어는 AI 기능에 관련된 명령을 포함할 수 있다. 일 예로 수신된 명령어가 ‘오늘 날씨는?’인 경우, 명령어 분석부(100)는 수신된 명령어로부터 ‘오늘’, 및 ‘날씨는?’이라는 단어를 추출할 수 있다. 이러한 경우 명령어 분석부(100)는 추출된 단어들과 기기 데이터베이스(112)에 저장된 키워드들을 매칭한 결과, 키워드에 매칭되는 단어가 추출되지 않은 것으로 판단할 수 있다. 그러면 명령어 분석부(100)는 현재 수신된 명령어가, IOT 기기 제어 장치(10)에 연결된 IOT 기기들 중 어느 하나를 제어하기 위한 것이 아니라고 판단할 수 있다.
한편 현재 수신된 명령어가, 연결된 IOT 기기들 중 어느 하나를 제어하기 위한 것이 아니라고 판단된 경우라면, 명령어 분석부(100)는 수신된 명령어가 IOT 기기 제어 장치(10)의 내부 기능에 관련된 명령어인지 판단할 수 있다. 이 경우 명령어 분석부(100)는 도 7a 및 도 7b에서 설명한 바와 같이, 수신된 명령어로부터 추출된 단어들을, 내장된 기능에 관련된 키워드들과 매칭할 수 있다. 그리고 매칭 결과 내장된 기능에 관련된 키워드에 매칭되는 단어들이 있는지 여부에 따라 상기 수신된 명령어가 IOT 기기 제어 장치(10) 내부 기능에 관련된 명령어인지 판단할 수 있다.
이 경우 추출된 단어가 ‘오늘’ 및 ‘날씨는’인 경우, 명령어 분석부(100)는 추출된 단어들과 IOT 기기 제어 장치(10) 내장 기능 관련 키워드들과의 매칭 결과에 근거하여, 수신된 명령어가 상기 내장 기능의 실행을 위한 명령어가 아니라고 판단할 수 있다.
그러면 명령어 분석부(100)는 도 8a에서 보이고 있는 바와 같이, AI 기기(15)와의 연동을 위해, 수신된 명령어를 AI 연동부(130)에 입력할 수 있다(802). 그러면 AI 연동부(130)를 통해 현재 수신된 명령어가 AI 기기(15)로 입력될 수 있으며, AI 기기(15)를 통해 처리될 수 있다. 그리고 처리 결과가 AI 연동부(130)를 통해 수신될 수 있다(804).
한편 AI 연동부(130)는 수신된 처리 결과를 수신된 명령어에 대한 응답으로 전송할 수 있다. 따라서 상기 처리 결과는 명령어 분석부(100)로 전달되고(805), 명령어 분석부(100)에서 통신부(170)로 전달될 수 있다(806). 그러면 통신부(170)를 통해 사용자의 이동 단말기(20)로 상기 응답 정보가 출력될 수 있다(807).
도 8b는 이러한 도 8a의 흐름을 시계열적으로 도시한 것이다.
도 8b를 참조하여 살펴보면, 사용자(22) 또는 이동 단말기(20)로부터 AI 기능에 관련된 명령(예 : ‘오늘 날씨는?’)이 수신될 수 있다(800). 그러면 입출력부(160) 또는 통신부(170)를 통해 수신된 명령으로부터 추출된 텍스트는 명령어 분석부(100)로 입력될 수 있다(801). 그리고 명령어 분석부(100)를 통해 분석될 수 있다.
한편 명령어 분석부(100)의 분석 결과, 수신된 명령어가 특정 기기의 제어를 위한 것이거나 또는 IOT 기기 제어 장치(10)에 내장된 기능이 아닌 경우, 명령어 분석부(100)는 수신된 명령어를 AI 기능에 관련된 명령으로 판단할 수 있다. 그리고 명령어 분석부(100)는 판단된 AI 명령을 AI 연동부(130)에 입력할 수 있다(802). 그러면 AI 연동부(130)는 입력된 AI 명령을 AI 기기(15)로 전송할 수 있다.
한편 AI 기기(15)는 수신된 명령어에 따른 기능을 수행할 수 있다. 이에 따라 AI 기기(15)는 ‘오늘 날씨는?’이라는 명령어에 대한 응답으로 날씨 정보를 수집하고 이를 처리 결과로서 출력할 수 있다.
여기서 상기 처리 결과는 AI 기기(15)에 수신된 AI 명령에 대한 응답으로 출력될 수 있다. 따라서 AI 연동부(130)는 AI 기기(15)로부터 상기 처리 결과를 수신할 수 있다(805). 그러면 명령어 분석부(100)를 통해 상기 처리 결과가 입출력부(160) 또는 통신부(170)에 입력될 수 있으며(806), 입출력부(160) 또는 통신부(170)를 통해 출력될 수 있다(807).
도 9a 및 도 9b는 본 발명의 실시 예에 따른 IOT 기기 제어 장치(10)에, AI 기기와 연결되지 않은 기기에 관련된 명령어가 수신되는 경우, 상기 AI 기기에 연결되지 않은 제2 기기(40)로 제어 명령이 전달되는 흐름 및 그에 따른 응답이 전달되는 흐름을 도시한 도면들이다.
먼저 도 9a를 참조하여 살펴보면, 도 9a는 이동 단말기(20)를 통해 사용자로부터 명령어가 입력(900)되는 예를 보이고 있다. 이 경우 사용자의 명령어는 통신부(170)를 통해 수신(901)될 수 있으며, 명령어 분석부(100)를 통해 분석될 수 있다.
명령어 분석부(100)는 상기 분석 결과, 수신된 명령어가 대상 기기를 특정하기 위한 지정어와, 수행할 기능을 특정하기 위한 제어 명령이 모두 포함되어 있는지 여부를 판단할 수 있다. 그리고 지정어 및 제어 명령이 모두 포함된 경우, 지정어에 따른 대상 기기가 제1 기기(30) 인지 제2 기기(40)인지 여부에 따라 상기 제어 명령을 다르게 입력할 수 있다.
예를 들어 상기 지정어에 따른 대상 기기가 AI 기기에 연동되지 않는 제2 기기(40)인 경우라면, 명령어 분석부(100)는 도 9a에서 보이고 있는 바와 같이 구동부(120)를 통해 제2 기기 연동부(150)에 제어 명령을 전송할 수 있다(903). 그러면 상기 제어 명령은 상기 제2 기기 연동부(150)를 통해 제2 기기(40)로 전송될 수 있으며, 제2 기기(40)에서 상기 제어 명령에 대응하는 기능이 실행될 수 있다. 그리고 제2 기기(40)의 기능 실행 결과가 상기 제어 명령에 대한 응답으로 제2 기기(40)로부터 제2 기기 연동부(150)에 수신될 수 있다(905). 그리고 제2 기기 연동부(150)에 수신된 실행 결과는 명령어 분석부(100)로 수신될 수 있다(906, 907). 그러면 실행 결과는 명령어 분석부(100)에서 통신부(170)로 전달되고(908), 통신부(170)를 통해 사용자의 이동 단말기(20)로 출력될 수 있다(909).
한편 상기 지정어에 따른 대상 기기가, AI 기기와 연동되는 제1 기기(30)인 경우라면, 명령어 분석부(100)는 구동부(120)를 통해 제1 기기 연동부(140)에 제어 명령을 전송할 수 있다. 그러면 상기 제어 명령은 상기 제1 기기 연동부(140)를 통해 제1 기기(30)로 전송될 수 있으며, 제1 기기(30)에서 상기 제어 명령에 대응하는 기능이 실행될 수 있다. 그리고 그 실행 결과가 상기 제어 명령에 대한 응답으로 제1 기기(30)로부터 제1 기기 연동부(140)에 수신될 수 있다. 그리고 명령어 분석부(100) 및 통신부(170)를 통해 제1 기기(30)의 기능 실행 결과가 사용자의 이동 단말기(20)로 출력될 수 있다.
도 9b는 이러한 도 9a의 흐름을 시계열적으로 도시한 것이다.
도 9b를 참조하여 살펴보면, 대상 기기를 특정하기 위한 지정어 및 수행할 기능의 특정을 위한 제어 명령을 모두 포함하는 명령어가 수신될 수 있다(900). 그러면 수신된 명령어로부터 추출된 텍스트는 입출력부(160) 또는 통신부(170)를 통해 명령어 분석부(100)로 입력될 수 있다.(901). 그리고 명령어 분석부(100)를 통해 대상 기기와 수행할 기능이 분석될 수 있다.
한편 명령어 분석부(100)의 분석 결과, 명령어 분석부(100)는 특정된 대상 기기에 따라 제1 기기 연동부(140) 또는 제2 기기 연동부(150)에 특정 기기에 관련된 명령을 전송할 수 있다(902). 예를 들어 명령어 분석부(100)는 상기 대상 기기가 제1 기기(30)인 경우라면 제1 기기 연동부(140)에, 제2 기기(40)인 경우라면 제2 기기 연동부(150)에 상기 특정 기기에 관련된 명령을 전송할 수 있다.
따라서 도 9a와 같이 대상 기기가 제2 기기(40)인 경우라면 명령어 분석부(100)는 구동부(120)를 통해 제2 기기 연동부(150)에 특정 제2 기기(특정된 대상 기기)에 관련된 명령이 전송될 수 있다(904). 여기서 상기 특정 기기에 관련된 명령은, 상기 특정된 대상 기기 및 수행하고자 하는 기능에 관련된 명령을 포함할 수 있다.
한편 특정 기기에 관련된 명령을 수신한 제2 기기(40)는 수신된 명령에 따른 기능을 수행할 수 있다. 그리고 실행 결과를, 수신된 명령에 대한 응답으로 전송할 수 있다. 이에 제2 기기 연동부(150)는 제2 기기(40)로부터, 제2 기기에서 수행된 기능의 실행 결과를 수신할 수 있으며(905), 구동부(120)를 통해 명령어 분석부(100)에 전송할 수 있다(907). 그러면 실행 결과는 명령어 분석부(100)에서 입출력부(160) 또는 통신부(170)로 전달되고(908), 입출력부(160) 또는 통신부(170)를 통해 출력될 수 있다(909).
도 10a 및 도 10b는 본 발명의 실시 예에 따른 IOT 기기 제어 장치에, AI 기기와 연동되는 기기에 관련된 명령어가 수신되는 경우, 상기 AI 기기와 연동되는 제1 기기로 제어 명령이 전달되는 흐름 및 그에 따른 응답이 전달되는 흐름을 도시한 도면들이다.
먼저 도 10a를 참조하여 살펴보면, 도 10a는 이동 단말기(20)를 통해 사용자로부터 명령어가 입력(1000)되는 예를 보이고 있다. 이 경우 사용자의 명령어는 통신부(170)를 통해 수신(1001)될 수 있으며, 명령어 분석부(100)를 통해 분석될 수 있다.
명령어 분석부(100)는 상기 분석 결과, 수신된 명령어가 대상 기기를 특정하기 위한 지정어와, 수행할 기능을 특정하기 위한 제어 명령이 모두 포함되어 있는지 여부를 판단할 수 있다. 그리고 지정어 및 제어 명령이 모두 포함되지 않은 경우, AI 기기와 연동하여 수신된 명령어에 대응하는 기능을 실행할 수 있다.
이러한 경우, 명령어 분석부(100)는 도 10a에서 보이고 있는 바와 같이, AI 기기(15)와의 연동을 위해, 수신된 명령어를 AI 연동부(130)에 입력할 수 있다(1002). 그러면 AI 연동부(130)를 통해 현재 수신된 명령어가 AI 기기(15)로 입력될 수 있으며(1003), AI 기기(15)를 통해 분석될 수 있다. 그리고 분석 결과가 AI 연동부(130)를 통해 수신될 수 있다(1004).
그러면 AI 연동부(130)는 AI 기기(15)를 통해 분석된 결과에 대응하는 기기를 검색할 수 있다. 그리고 검색된 기기를 제어하기 위해 검색된 기기에 관련된 명령을 제1 기기 연동부(140)에 전송할 수 있다(1005). 그러면 검색된 기기에 관련된 명령은 상기 제1 기기 연동부(140)를 통해 검색된 제1 기기(30)로 전송될 수 있으며, 수신된 명령에 대응하는 기능이 실행될 수 있다.
한편 검색된 제1 기기(30)에서 수행된 기능의 실행 결과는, 수신된 명령에 대한 응답으로 제1 기기 연동부(140)에 수신될 수 있다(1007). 그러면 수신된 실행 결과는 제1 기기 연동부(140)를 통해 AI 연동부(130)로 전송되고, AI 연동부(130)를 통해 명령어 분석부(100)로 전송될 수 있다. 그리고 명령어 분석부(100) 및 통신부(170)를 통해 상기 제1 기기(30)로부터 전송된 실행 결과가 사용자의 이동 단말기(20)로 출력될 수 있다.
도 10b는 이러한 도 10a의 흐름을 시계열적으로 도시한 것이다.
도 10b를 참조하여 살펴보면, 대상 기기를 특정하기 위한 지정어 및 수행할 기능의 특정을 위한 제어 명령을 모두 포함하는 명령어가 사용자 또는 이동 단말기(20)를 통해 수신될 수 있다(1000). 그러면 수신된 명령어로부터 추출된 텍스트는 입출력부(160) 또는 통신부(170)를 통해 명령어 분석부(100)로 입력될 수 있다(1001). 그리고 명령어 분석부(100)를 통해 대상 기기와 수행할 기능이 분석될 수 있다.
명령어 분석부(100)의 분석 결과, 지정어 및 제어 명령이 모두 포함되지 않은 경우, 명령어 분석부(100)는 AI 기기와의 연동이 필요한 것으로 판단할 수 있다. 따라서 명령어 분석부(100)는 추출된 텍스트를 AI 기기와의 연동을 위해 AI 연동부(130)에 입력할 수 있다(1002).
한편 AI 연동부(130)는 입력된 텍스트를 연결된 AI 기기로 전송할 수 있다(1003). 그러면 AI 기기는 입력된 텍스트를 분석하여 수신된 명령어에 대응하는 기기 및 해당 기기에서 실행할 기능에 관련된 제어 명령을 분석할 수 있다. 그리고 분석 결과, 즉 특정 기기 및 그 기기를 제어하기 위한 명령을 AI 연동부(130)에 전송할 수 있다(1004).
한편 명령어 분석 결과를 수신한 AI 연동부(130)는 수신된 분석 결과에 따른 기기를 제어하기 위한 연동부에 상기 분석 결과에 따른 명령을 전송할 수 있다. 즉 AI 연동부(130)는 제1 기기 연동부(140)에 상기 분석 결과에 따른 기기 제어 명령을 전송할 수 있으며(1005), 제1 기기 연동부(140)를 통해 상기 분석 결과에 대응하는 기기에, 상기 분석 결과에 대응하는 제어 명령을 전송할 수 있다(1006). 따라서 상기 분석 결과에 대응하는 제1 기기(30)는 제1 기기 연동부(140)로부터 수신되는 기기 제어 명령에 대응하는 기능을 수행할 수 있다.
한편 상기 제1 기기(30)는 수행된 기능의 실행 결과를 상기 제1 기기 연동부(140)에 전송할 수 있다(S1007). 그러면 제1 기기 연동부(140)는 수신된 실행 결과를 AI 연동부(130)에 전송하고(1008), AI 연동부(130)는 수신된 실행 결과를 명령어 분석부(100)로 전송할 수 있다(1009). 그러면 실행 결과는 명령어 분석부(100)에서 입출력부(160) 또는 통신부(170)로 전달되고(1010), 입출력부(160) 또는 통신부(170)를 통해 출력될 수 있다(1011).
도 11a 및 도 11b는 본 발명의 실시 얘에 따른 IOT 기기 제어 장치에, 제1 기기 및 제2 기기 모두에 관련된 일괄 제어 명령이 수신되는 경우 각 기기에 제어 명령이 전달되는 흐름 및 그에 따른 응답이 전달되는 흐름을 도시한 도면들이다.
먼저 도 11a를 참조하여 살펴보면, 도 11a는 이동 단말기(20)를 통해 사용자로부터 명령어가 입력(1100)되는 예를 보이고 있다. 이 경우 사용자의 명령어는 통신부(170)를 통해 수신(1101)될 수 있으며, 명령어 분석부(100)를 통해 분석될 수 있다.
명령어 분석부(100)는 상기 분석 결과, 수신된 명령어가 기 설정된 키워드를 포함되어 있는지 여부를 판단할 수 있다. 여기서 기 설정된 키워드는 IOT 기기 제어 장치(10)에 연결된 복수의 기기를 일괄 제어하기 위한 일괄 제어 키워드일 수 있다. 또한 상기 복수의 기기는 제1 기기(30) 및 제2 기기(40)를 모두 포함할 수 있다.
이러한 경우, 명령어 분석부(100)는 도 11a에서 보이고 있는 바와 같이, 상기 일괄 제어 키워드에 따른 제1 기기(30)에 제어 명령을 전송하기 위해 제1 기기 연동부(140)에 상기 일괄 제어 키워드에 따른 제어 명령을 입력할 수 있다(1103). 그러면 제1 기기 연동부(140)를 통해 적어도 하나의 제1 기기(30)에, 상기 일괄 제어 키워드에 따른 제어 명령이 전송될 수 있다(1104). 그러면 상기 적어도 하나의 제1 기기(30) 각각에서, 전송된 제어 명령에 따른 기능이 수행될 수 있으며, 수행된 기능의 실행 결과(제1 실행 결과)가 제1 기기 연동부(140)에 수신될 수 있다(1105). 그리고 구동부(120)로 전송될 수 있다(1106).
한편 명령어 분석부(100)는 상기 제1 기기 연동부(140)에 상기 일괄 제어 키워드에 따른 제어 명령을 입력함과 동시에, 상기 일괄 제어 키워드에 따른 제어 명령을 제2 기기 연동부(150)에 입력할 수 있다(1107). 그러면 제2 기기 연동부(150)를 통해 적어도 하나의 제2 기기(40)에, 상기 일괄 제어 키워드에 따른 제어 명령이 전송될 수 있다(1108). 그러면 상기 적어도 하나의 제2 기기(40) 각각에서, 전송된 제어 명령에 따른 기능이 수행될 수 있으며, 수행된 기능의 실행 결과(제2 실행 결과)가 제2 기기 연동부(150)에 수신될 수 있다(1109). 그리고 구동부(120)로 전송될 수 있다(1110).
한편 명령어 분석부(100)는 제1 실행 결과 및 제2 실행 결과를 구동부(120)로부터 수신할 수 있다(1111). 그리고 수신된 실행 결과를 수신된 명령어에 대한 응답으로 통신부(170)에 전송할 수 있다(1112). 따라서 통신부(170)에는 복수의 서로 다른 기기에 대한 기능 수행 결과가 수신될 수 있으며, 통신부(170)에 수신된 기능 수행 결과는 이동 단말기(20)로 출력될 수 있다(1113).
도 11b는 이러한 도 11a의 흐름을 시계열적으로 도시한 것이다.
도 11b를 참조하여 살펴보면, 기 설정된 키워드를 포함하는 명령어가 사용자 또는 이동 단말기(20)를 통해 수신될 수 있다(1000). 그러면 수신된 명령어로부터 추출된 텍스트는 입출력부(160) 또는 통신부(170)를 통해 명령어 분석부(100)로 입력될 수 있다(1001). 그리고 명령어 분석부(100)를 통해 일괄 제어 키워드가 추출되고, 상기 일괄 제어 키워드에 대응하는 기기들 및 대응하는 기능들이 각각 특정될 수 있다. 여기서 상기 일괄 제어 키워드에 대응하는 기기들은 적어도 하나의 제1 기기(30)와 적어도 하나의 제2 기기(40)를 포함할 수 있다. 이에 적어도 하나의 제1 기기(30) 및 적어도 하나의 제2 기기(40)에 대해 상기 일괄 제어 키워드에 대응하는 기능을 실행시키기 위한 명령이 구동부(120)로 전송될 수 있다(1102).
한편 구동부(120)는 제1 기기(30)에 관련된 명령들은 제1 기기 연동부(140)에 전송하고(1103) 제2 기기(40)에 관련된 명령들은 제2 기기 연동부(150)에 전송할 수 있다(1107).
그러면 제1 기기 연동부(140)는 수신된 명령에 대응하는 제1 기기(30)에 상기 일괄 제어 키워드에 따른 기능을 수행하기 위한 제어 명령을 전송할 수 있다(1104). 그러면 제어 명령을 수신한 제1 기기(30)는 제어 명령에 따른 기능을 수행하고, 응답으로 수행된 기능의 실행 결과를 제1 기기 연동부(140)에 전송할 수 있다(1105). 그리고 제1 기기 연동부(140)는 제1 기기(30)로부터 수신된 응답을 구동부(120)로 전송할 수 있다(1106).
또한 제2 기기 연동부(150)는 수신된 명령에 대응하는 제2 기기(40)에 상기 일괄 제어 키워드에 따른 기능을 수행하기 위한 제어 명령을 전송할 수 있다(1108). 그러면 제어 명령을 수신한 제2 기기(40)는 제어 명령에 따른 기능을 수행하고, 응답으로 수행된 기능의 실행 결과를 제2 기기 연동부(150)에 전송할 수 있다(1109). 그리고 제2 기기 연동부(150)는 제2 기기(40)로부터 수신된 응답을 구동부(120)로 전송할 수 있다(1110).
한편 일괄 제어 키워드에 따른 명령이 전송된 제1 기기(30) 및 제2 기기(40)로부터, 상기 전송된 명령에 대한 응답으로 실행 결과들이 수신되면, 구동부(120)는 수신된 복수 기기의 실행 결과를 명령어 분석부(100)로 전송할 수 있다(1111). 그러면 명령어 분석부(100)는 수신된 복수 기기의 실행 결과를, 현재 수신된 명령어에 대한 응답으로 입출력부(160) 또는 통신부(170)에 전송할 수 있다(1112). 그러면 명령어 분석부(100)로부터 수신된 복수 기기의 실행 결과는 입출력부(160) 또는 통신부(170)를 통해 출력될 수 있다(1113).
전술한 본 발명은, 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 매체의 예로는, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한, 상기 컴퓨터는 IOT 기기 제어 장치(10)의 제어부(100)를 포함할 수도 있다. 따라서 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.

Claims (18)

  1. AI(Artificial Intelligence) 기기와 연결이 가능한 제1 IOT(Internet Of Things) 기기들과 연동되는 제1 기기 연동부;
    상기 AI 기기와 연결되지 않는 제2 IOT 기기들과 연동되는 제2 기기 연동부;
    복수의 IOT 기기의 명칭에 관련된 키워드들과 상기 복수의 IOT 기기 각각에서 수행 가능한 기능들에 관련된 키워드들이 저장된 메모리; 및,
    사용자로부터 명령어가 수신되면, 상기 키워드들에 근거하여 상기 수신된 명령어로부터 대상 기기 및 수행될 기능을 특정하며,
    상기 특정된 기능을 실행시키기 위한 실행 명령이 상기 AI 기기와 연결이 가능한 제1 IOT 기기 또는 상기 AI 기기와 연결이 되지 않는 제2 IOT 기기에 전송되도록, 상기 특정된 대상 기기에 따라 상기 제1 기기 연동부 또는 제2 기기 연동부에 상기 실행 명령을 전송하는 명령어 분석부를 포함하는 것을 특징으로 하는 IOT 기기 제어 장치.
  2. 제1항에 있어서,
    상기 AI 기기와 연동되는 AI 연동부를 더 포함하고,
    상기 명령어 분석부는,
    상기 수신된 명령어가, 상기 대상 기기를 특정하기 위한 지정어 및 상기 수행될 기능을 특정하기 위한 제어 명령을 모두 포함하는지 또는 어느 하나만 포함하는지 여부에 따라 상기 실행 명령을 상기 제1 기기 연동부나 제2 기기 연동부에 전송하거나, 또는 수신된 명령어를 상기 AI 연동부에 전송하여 상기 AI 기기와 연동을 통해 상기 수신된 명령어를 처리하는 것을 특징으로 하는 IOT 기기 제어 장치.
  3. 제2항에 있어서, 상기 명령어 분석부는,
    상기 수신된 명령어가, 상기 지정어 및 제어 명령을 포함하지 않는 경우, 상기 수신된 명령어가 기 설정된 키워드를 포함하고 있는지 여부를 검출하고,
    상기 기 설정된 키워드를 포함하고 있는지 여부에 따라 상기 IOT 기기 제어 장치에 내장된 기능을 실행하거나, 상기 수신된 명령어를 상기 AI 연동부에 전송하여 상기 AI 기기를 통해 처리하는 것을 특징으로 하는 IOT 기기 제어 장치.
  4. 제3항에 있어서,
    상기 기 설정된 키워드는,
    기 설정된 복수의 기기와 상기 복수의 기기에 각각 지정된 복수의 기능에 대응하며,
    상기 명령어 분석부는,
    상기 수신된 명령어가, 상기 기 설정된 키워드를 포함하는 경우, 상기 기 설정된 복수의 기기를 대상 기기로 특정하고, 상기 키워드에 대응하는 따른 복수의 기능 각각을 수행하도록 상기 대상 기기로 특정된 복수의 기기를 직접 제어하는 것을 특징으로 하는 IOT 기기 제어 장치.
  5. 제2항에 있어서, 상기 명령어 분석부는,
    상기 수신된 명령어에 상기 제어 명령과 지정어가 모두 포함된 경우, 상기 지정어에 대응하는 기기가 복수인지 여부를 더 판단하고,
    상기 지정어에 대응하는 IOT 기기가 복수인 경우, 상기 지정어에 대응하는 IOT 기기 중 상기 제어 명령에 대응하는 기능을 수행할 수 있는 IOT 기기를 검색하며,
    상기 검색된 IOT 기기와 연동되는 상기 제1 기기 연동부 및 제2 기기 연동부 중 적어도 하나에, 상기 실행 명령을 전송하는 것을 특징으로 하는 IOT 기기 제어 장치.
  6. 제5항에 있어서, 상기 명령어 분석부는,
    상기 검색된 IOT 기기가 복수인 경우, 기 설정된 조건에 따라 일부를 선택하고 선택된 일부의 IOT 기기와 연동되는 상기 제1 기기 연동부 및 제2 기기 연동부 중 적어도 하나에, 상기 실행 명령을 전송하는 것을 특징으로 하는 IOT 기기 제어 장치.
  7. 제6항에 있어서, 상기 명령어 분석부는,
    각 IOT 기기에 설정된 우선순위 또는 수신된 명령어에 포함된 위치 정보 중 적어도 하나에 근거하여, 상기 복수의 검색된 IOT 기기 중 상기 제어 명령에 대응하는 기능을 수행할 일부를 선택하는 것을 특징으로 하는 IOT 기기 제어 장치.
  8. 제7항에 있어서,
    상기 각 IOT 기기에 설정된 우선순위는,
    시간에 따라 변경되며,
    상기 명령어 분석부는,
    상기 명령어가 수신된 시간에 대응하는 각 IOT 기기의 우선순위에 따라 상기 복수의 검색된 IOT 기기 중 상기 제어 명령에 대응하는 기능을 수행할 적어도 하나의 기기를 선택하는 것을 특징으로 하는 IOT 기기 제어 장치.
  9. 제1항에 있어서,
    상기 IOT 기기의 명칭에 관련된 키워드들은,
    각 IOT 기기의 유사 명칭을 포함하며,
    상기 유사 명칭은,
    각 IOT 기기의 명칭 중 일부가 삭제된 명칭이거나, 또는 각 IOT 기기에 대해 관용적으로 쓰이는 명칭을 포함하는 것을 특징으로 하는 IOT 기기 제어 장치.
  10. 제1항에 있어서, 상기 명령어 분석부는,
    사용자로부터 명령어가 수신되면, 수신된 명령어로부터 띄어쓰기를 기준으로 단어들을 추출하고,
    추출된 단어들 중 상기 IOT 기기의 명칭에 관련된 키워드 및 상기 IOT 기기 각각에서 수행 가능한 기능들에 관련된 키워드에 매칭되는 단어들을 검출하는 제1 검출 방법에 따라 상기 대상 기기를 특정하기 위한 지정어 및 상기 수행될 기능을 특정하기 위한 제어 명령을 검출하는 것을 특징으로 하는 IOT 기기 제어 장치.
  11. 제1항에 있어서, 상기 명령어 분석부는,
    사용자로부터 명령어가 수신되면, 띄어쓰기를 무시하고 상기 명령어에 포함된 각 문자를 연결 및, 연결된 단어를 순차적으로 조합하여 단어들을 추출하며,
    추출된 단어들 중 상기 IOT 기기의 명칭에 관련된 키워드 및 상기 IOT 기기 각각에서 수행 가능한 기능들에 관련된 키워드에 매칭되는 단어들을 검출하는 제2 검출 방법에 따라 상기 대상 기기를 특정하기 위한 지정어 및 상기 수행될 기능을 특정하기 위한 제어 명령 검출하는 것을 특징으로 하는 IOT 기기 제어 장치.
  12. 제10항 또는 제11항에 있어서, 상기 명령어 분석부는,
    사용자로부터 명령어가 수신되면, 상기 제1 검출 방법을 통해 상기 지정어 및 상기 제어 명령을 검출하고, 검출 결과에 따라 상기 제2 검출 방법을 통해 상기 지정어 및 상기 제어 명령을 다시 검출하는 것을 특징으로 하는 IOT 기기 제어 장치.
  13. 제10항 또는 제11항에 있어서, 상기 명령어 분석부는,
    사용자로부터 명령어가 수신되면, 띄어쓰기를 기준으로 단어들을 추출하고, 추출된 단어들의 개수에 따라 상기 제1 검출 방법 또는 상기 제2 검출 방법 중 어느 하나에 따라 상기 지정어 및 상기 제어 명령을 검출하는 것을 특징으로 하는 IOT 기기 제어 장치.
  14. 제1항에 있어서,
    상기 제1 IOT 기기들은,
    상기 AI 기기와 호환되는 프로토콜을 사용하거나 또는 동일한 플랫폼을 가지는 IOT 기기들이며,
    상기 제2 IOT 기기들은,
    상기 AI 기기와 서로 다른 프로토콜을 사용하거나 또는 서로 다른 플랫폼을 가지는 IOT 기기들임을 특징으로 하는 IOT 기기 제어 장치.
  15. 연결된 복수의 IOT(Internet Of Things) 기기를 제어하는 IOT 기기 제어 장치의 제어 방법에 있어서,
    사용자로부터 명령어가 수신되는 경우, 수신된 명령어를 분석하여 적어도 하나의 단어를 추출하는 제1 단계;
    상기 추출된 단어들과, 상기 복수의 IOT 기기의 명칭에 관련된 제1 키워드들 및 상기 복수의 IOT 기기 각각에서 수행 가능한 기능들에 관련된 제2 키워드들을 매칭한 결과에 근거하여 상기 수신된 명령어가 기기 제어를 위한 명령인지 여부를 판단하는 제2 단계;
    상기 수신된 명령어가 기기 제어를 위한 명령인 경우, 상기 수신된 명령어에 대상 기기를 특정하기 위한 지정어 및 수행될 기능을 특정하기 위한 제어 명령이 모두 포함되어 있는지를 판단하는 제3 단계; 및,
    상기 수신된 명령어가 상기 지정어 및 제어 명령을 모두 포함하는 경우, 상기 지정어에 따라 특정된 적어도 하나의 IOT 기기를 상기 제어 명령에 따른 기능을 수행하도록 직접 제어하는 제4 단계; 및,
    상기 수신된 명령어가 상기 지정어 및 제어 명령 중 어느 하나만을 포함하는 경우, 적어도 하나의 AI (Artificial Intelligence) 기기와 연동하여 상기 수신된 명령어에 따른 기능을 수행하도록 적어도 하나의 IOT 기기를 제어하는 제5 단계를 포함하는 것을 특징으로 하는 IOT 기기 제어 장치의 제어 방법.
  16. 제15항에 있어서, 상기 복수의 IOT 기기는,
    상기 AI 기기와 연결이 가능한 제1 IOT기기들과, 상기 AI 기기와 연결되지 않는 제2 IOT 기기들을 포함하며,
    상기 제4 단계는,
    상기 지정어에 대응하는 대상 기기에 따라 상기 제1 IOT기기들과 연동되는 제1 기기 연동부 및, 상기 제2 IOT 기기들과 연동되는 제2 기기 연동부 중 적어도 하나에 상기 제어 명령에 대응하는 기능을 실행하기 위한 실행 명령을 전송하는 제4-1 단계; 및,
    상기 제1 기기 연동부 및 제2 기기 연동부 중 적어도 하나를 통해 상기 제1 IOT 기기들 및 상기 제2 IOT 기기들 중 적어도 하나에 상기 실행 명령을 전송하는 제4-2 단계를 포함하는 것을 특징으로 하는 IOT 기기 제어 방법.
  17. 제15항에 있어서, 상기 복수의 IOT 기기는,
    상기 AI기기와 연결이 가능한 제1 IOT 기기들과, 상기 AI 기기와 연결되지 않는 제2 IOT 기기들을 포함하며,
    상기 제5 단계는,
    상기 AI 기기와 연동되는 AI 연동부를 통해 상기 AI 기기에 상기 수신된 명령어를 전송하는 제5-1 단계;
    상기 수신된 명령어에 대한 응답으로 상기 AI 기기의 분석 결과를 수신하는 제5-2 단계;
    상기 제1 IOT 기기들과 연동되는 제1 기기 연동부를 통해, 상기 분석 결과에 따른 상기 제1 IOT기기들 중 적어도 하나에 상기 제어 명령에 대응하는 기능을 실행하기 위한 실행 명령을 전송하는 제5-3 단계를 포함하는 것을 특징으로 하는 IOT 기기 제어 방법.
  18. 제15항에 있어서, 상기 제1 IOT 기기들은,
    상기 AI 기기와 호환되는 프로토콜을 사용하거나 또는 동일한 플랫폼을 가지는 IOT 기기들이며,
    상기 제2 IOT 기기들은, 상기 AI기기와 서로 다른 프로토콜을 사용하거나 또는 서로 다른 플랫폼을 가지는 IOT 기기들임을 특징으로 하는 IOT 기기 제어 방법.
PCT/KR2019/006358 2019-05-28 2019-05-28 Iot 기기 제어 장치 및 그 장치의 제어 방법 WO2020241911A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/KR2019/006358 WO2020241911A1 (ko) 2019-05-28 2019-05-28 Iot 기기 제어 장치 및 그 장치의 제어 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/KR2019/006358 WO2020241911A1 (ko) 2019-05-28 2019-05-28 Iot 기기 제어 장치 및 그 장치의 제어 방법

Publications (1)

Publication Number Publication Date
WO2020241911A1 true WO2020241911A1 (ko) 2020-12-03

Family

ID=73552820

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/006358 WO2020241911A1 (ko) 2019-05-28 2019-05-28 Iot 기기 제어 장치 및 그 장치의 제어 방법

Country Status (1)

Country Link
WO (1) WO2020241911A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100736098B1 (ko) * 2006-02-24 2007-07-06 삼성전자주식회사 단문 메시지 서비스를 이용한 가전기기 제어 장치 및 방법
US20140188463A1 (en) * 2013-01-02 2014-07-03 Lg Electronics Inc. Home appliance and operation method thereof
US20170004828A1 (en) * 2013-12-11 2017-01-05 Lg Electronics Inc. Smart home appliances, operating method of thereof, and voice recognition system using the smart home appliances
KR20190016260A (ko) * 2017-08-08 2019-02-18 엘지전자 주식회사 가전기기 제어 시스템 및 그 제어방법
KR20190043519A (ko) * 2019-04-19 2019-04-26 엘지전자 주식회사 음성 인식 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100736098B1 (ko) * 2006-02-24 2007-07-06 삼성전자주식회사 단문 메시지 서비스를 이용한 가전기기 제어 장치 및 방법
US20140188463A1 (en) * 2013-01-02 2014-07-03 Lg Electronics Inc. Home appliance and operation method thereof
US20170004828A1 (en) * 2013-12-11 2017-01-05 Lg Electronics Inc. Smart home appliances, operating method of thereof, and voice recognition system using the smart home appliances
KR20190016260A (ko) * 2017-08-08 2019-02-18 엘지전자 주식회사 가전기기 제어 시스템 및 그 제어방법
KR20190043519A (ko) * 2019-04-19 2019-04-26 엘지전자 주식회사 음성 인식 장치

Similar Documents

Publication Publication Date Title
WO2019216529A1 (en) Electronic apparatus and controlling method thereof
WO2015037851A1 (ko) 스크린 샷 처리 디바이스 및 그 방법
WO2018048118A1 (en) Server and method for controlling external device
WO2013081303A1 (en) Method and system for providing user interface for device control
WO2020036299A1 (en) Electronic device, server and method of controlling the same
WO2020096172A1 (en) Electronic device for processing user utterance and controlling method thereof
WO2020080846A1 (en) Electronic device, control method thereof, and sound output control system of the electronic device
WO2015194693A1 (ko) 영상 표시 기기 및 그의 동작 방법
WO2009148273A2 (ko) Rfid 서비스를 위한 rfid 태그 및 그의 rfid 서비스 방법
WO2018201638A1 (zh) 基于图像识别的信息采集方法、移动终端及存储介质
WO2020184736A1 (ko) 인공 지능 청소기 및 그의 동작 방법
WO2020004765A1 (ko) 전자 장치, 원격 제어 장치 및 그 제어 방법
WO2014157757A1 (ko) 이동식 입력 장치 및 그를 이용한 명령 입력 방법
WO2020226289A1 (en) Electronic apparatus, user terminal, and method of controlling the electronic apparatus and the user terminal
WO2020180034A1 (ko) 사용자 선택 기반의 정보를 제공하는 방법 및 장치
WO2022025686A1 (ko) 사운드 또는 텍스트 인식 기반의 동영상 캐릭터 자동 생성 시스템
WO2020241911A1 (ko) Iot 기기 제어 장치 및 그 장치의 제어 방법
WO2021075774A1 (en) Method for controlling iot device and electronic device therefor
WO2021251519A1 (ko) 디스플레이 장치 및 그의 동작 방법
WO2020153600A1 (ko) 서버, 단말 장치 및 이의 가전기기 관리 방법
EP3639584A1 (en) Method and apparatus for determining location by using identification information corresponding to external electronic device
WO2020116845A1 (ko) 원격 제어 장치, 디스플레이 장치 및 이를 포함하는 원격 제어 시스템
WO2021210795A1 (ko) 전자 장치들의 무선 연결 방법 및 장치
WO2012157793A1 (en) Gesture recognition method and apparatus
WO2021085855A1 (ko) 다수의 사용자들이 참여하는 음성 에이전트 지원 방법 및 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19930455

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19930455

Country of ref document: EP

Kind code of ref document: A1