WO2021221201A1 - 신경망 모델에 기반한 iot 디바이스 태깅 방법 및 태깅 장치 - Google Patents

신경망 모델에 기반한 iot 디바이스 태깅 방법 및 태깅 장치 Download PDF

Info

Publication number
WO2021221201A1
WO2021221201A1 PCT/KR2020/005656 KR2020005656W WO2021221201A1 WO 2021221201 A1 WO2021221201 A1 WO 2021221201A1 KR 2020005656 W KR2020005656 W KR 2020005656W WO 2021221201 A1 WO2021221201 A1 WO 2021221201A1
Authority
WO
WIPO (PCT)
Prior art keywords
tagging
data
model
iot
neural network
Prior art date
Application number
PCT/KR2020/005656
Other languages
English (en)
French (fr)
Inventor
최영래
장현철
Original Assignee
(주)엔텔스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)엔텔스 filed Critical (주)엔텔스
Publication of WO2021221201A1 publication Critical patent/WO2021221201A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/2866—Architectures; Arrangements
    • H04L67/30—Profiles
    • H04L67/303—Terminal profiles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
    • G16Y20/00—Information sensed or collected by the things
    • G16Y20/20—Information sensed or collected by the things relating to the thing itself
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/51—Discovery or management thereof, e.g. service location protocol [SLP] or web services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/561—Adding application-functional data or data for application control, e.g. adding metadata

Definitions

  • the technique described below is a technique for automatically identifying an IoT device that is not identified using a learning model.
  • a developer or user In order to receive the Internet of Things service using the IoT (Internet of Things) platform, a developer or user first registers a device (thing) in the IoT platform, and then manages, inquires, and controls the IoT device through a web service or mobile app.
  • IoT device registration is usually performed automatically after a user's registration request.
  • the IoT device must have tag information in advance.
  • the tag information includes identification information of a thing.
  • the IoT platform reads the tag information of the IoT device to recognize the corresponding device, and can identify the type, function, owner, etc. of the corresponding device. Thereafter, the IoT platform provides a certain service to the user by using the sensing data of the IoT device while communicating with the IoT device.
  • the IoT platform can identify a matching device only by securing information about a large amount of IoT devices in advance.
  • IoT devices of various products are emerging from various companies, it is not easy for an IoT platform to have information about all IoT devices. That is, it is difficult for IoT platforms to analyze non-standardized tagging information.
  • conventional sensing equipment without IoT tags is also installed in sites such as buildings, factories, and infrastructure, and in this case, it is difficult for the IoT platform to even identify the equipment.
  • the technology to be described below is intended to provide a technique for identifying and tagging a corresponding device based on information collected from an IoT device or a sensor device.
  • the technology to be described below is intended to provide a technique for automatically identifying and managing a device using a machine learning model.
  • a device tagging method based on a neural network model includes the steps of: obtaining, by a tagging apparatus, a data packet generated by a target IoT device to be tagged; generating, by the tagging apparatus, input data using the data packet; inputting to a device tagging model that is a neural network model, and generating, by the tagging apparatus, tagging information indicating the type of the target IoT device using a value output from the device tagging model.
  • a device tagging device based on a neural network model includes an input device that receives a data packet generated by a target IoT device that is a tagging target, a storage device that stores a device tagging model that generates tagging information for an IoT device whose type is unknown, and the data packet. and a computing device for generating input data using the arithmetic device and generating tagging information indicating the type of the target IoT device based on a value output by inputting the input data into the device tagging model.
  • the IoT device tagging system includes a plurality of IoT devices that generate data including sensor data, a model server that receives the data, generates training data from the data, and generates a device tagging model using the training data, and the A device tagging apparatus in which a device tagging model is installed, generating input data from a data packet generated by a target IoT device that is a tagging target, and inputting it into the installed device tagging model to generate tagging information indicating the type of the target IoT device includes a device tagging apparatus .
  • the technology to be described below identifies a large number of IoT devices disposed in a building, a certain area, etc. with a standardized name to provide an IoT service. Therefore, the technology to be described below provides IoT services by utilizing various product groups released on the market. Furthermore, the technology described below can automatically identify old sensor equipment to provide the latest IoT service.
  • 1 is an example of an IoT device tagging system.
  • 2 is an example of metadata that is input data.
  • 3 is an example of sensor data that is input data.
  • 5 is another example of a device tagging model.
  • FIG. 6 is an example of an apparatus for generating a device tagging model.
  • FIG. 8 is an example of a flowchart of an IoT device tagging process.
  • first, second, A, and B may be used to describe various components, but the components are not limited by the above terms, and only for the purpose of distinguishing one component from other components.
  • a first component may be named as a second component, and similarly, a second component may also be referred to as a first component without departing from the scope of the technology to be described below. and/or includes a combination of a plurality of related listed items or any of a plurality of related listed items.
  • each constituent unit is responsible for. That is, two or more components to be described below may be combined into one component, or one component may be divided into two or more for each more subdivided function.
  • each of the constituent units to be described below may additionally perform some or all of the functions of other constituent units in addition to the main function it is responsible for. Of course, it may be carried out by being dedicated to it.
  • each process constituting the method may occur differently from the specified order unless a specific order is clearly described in context. That is, each process may occur in the same order as specified, may be performed substantially simultaneously, or may be performed in the reverse order.
  • An IoT device refers to a device capable of collecting (sensing) certain information and transmitting the collected information to a network. IoT devices described below do not distinguish manufacturers, types, functions, etc., and are used to include various product groups that exist and will be released in the future.
  • Sensing data refers to information collected by IoT devices.
  • the IoT device transmits sensing data through packets according to a certain communication protocol.
  • the IoT platform is a configuration that manages information collected by multiple IoT devices and provides necessary information to users.
  • IoT services are described.
  • the IoT platform may provide a smart building service using IoT devices installed in a building.
  • the IoT platform may provide a home service using an IoT device installed in the home.
  • the IoT platform may provide smart factory services using IoT devices installed in the factory.
  • various types of IoT platforms exist, and the technology described below is not limited to the types of IoT services and can be applied to all IoT services.
  • IoT platform registers and manages IoT devices based on IoT tag information.
  • IoT device tagging or device tagging refers to an operation of identifying an IoT device or an operation of identifying a type of an IoT device.
  • the tagging information is information for identifying the IoT device.
  • the tagging information may be at least one of information capable of identifying a function or operation of a specific device, such as device identifier, device name, device type, and manufacturer information.
  • the tagging information will be mainly described based on the type of device. That is, the tagging information corresponds to information defining a type of a corresponding device, such as a temperature sensor, a pressure sensor, a carbon dioxide sensor, and the like.
  • the IoT device tagging apparatus or tagging apparatus is an apparatus for tagging a corresponding IoT device using sensing data and/or related data transmitted from the IoT device.
  • the IoT device tagging apparatus tags IoT devices using a learning model.
  • the IoT device tagging apparatus may have various physical shapes.
  • the IoT device tagging apparatus may be an apparatus such as a gateway apparatus or a server that receives sensing data from the IoT device.
  • the IoT device tagging system or tagging system refers to an entire system for tagging IoT devices including an IoT device tagging apparatus.
  • the IoT device tagging system provides a learning model to the IoT device tagging apparatus and provides a service for tagging the IoT device using the IoT device tagging apparatus based on the learning model.
  • the learning model may be any one of various machine learning models.
  • Machine learning basically determines an output value for a specific input based on probabilistic inference.
  • Machine learning is largely divided into supervised learning and unsupervised learning. Representative machine learning methods include decision trees, random forests, neural networks, support vector machines, and naive Bayes.
  • a machine learning model that is currently attracting attention is a deep learning neural network model.
  • the IoT device tagging apparatus performs device tagging using a machine learning model.
  • a machine learning model for device tagging is called a device tagging model.
  • the device tagging model uses a specific learning model, but is not limited to any type of learning model, and may be any one of various types of learning models.
  • An attention structure model or an attention-based model refers to a learning model based on an attention mechanism. Attention-based models were mainly developed around Natural Language Processing (NLP). That is, the attention-based model is mainly used for applications such as translation and speech synthesis.
  • NLP Natural Language Processing
  • the attention-based model includes Seq2Seq, Transformer, Generative Pre-training (GPT), Bidirectional Encoder Representations from Transformers (BERT), and XLNET.
  • the attention-based model is used to mean a neural network model including an attention mechanism or an attention structure.
  • the attention structure refers to a structure in which a weight can be applied to a specific region or location, unlike in a neural network where a specific weight is given to one layer.
  • the attention-based model may have various types of structures, and may be used for processing images and the like. However, since the technology to be described below outputs tagging information of an IoT device, it is assumed that the following attention-based model is a model that receives an input value in a vector form and outputs a syntax in a text form.
  • FIG. 1 is an example of an IoT device tagging system 100 .
  • the IoT device tagging system 100 includes IoT devices 111 to 117 , collection gateways 121 and 122 , tagging gateways 131 and 132 , a learning data DB 140 , and a model server 150 . .
  • the IoT devices 111 to 117 generate sensing data.
  • the IoT devices 111 to 117 may include different types of devices.
  • the collection gateways 121 and 122 collect sensing data of the IoT device.
  • the collection gateway 121 collects sensing data from the IoT devices 111 to 113 .
  • the collection gateway 122 collects sensing data from the IoT devices 114 and 115 .
  • the tagging gateways 131 and 132 perform tagging for IoT devices using a device tagging model. That is, the tagging gateways 131 and 132 are IoT device tagging devices.
  • the tagging gateway 131 receives collection data from the collection gateways 121 and 122 and performs tagging on the corresponding IoT device using the collection data.
  • the tagging gateway 131 may receive a tagging request together with the collection data from the collection gateways 121 and 122 . In this case, the tagging gateway 131 may transmit the tagging information to the collection gateways 121 and 122 .
  • the tagging gateway 132 may collect sensing data from the IoT devices 116 and 117 and perform tagging on the corresponding IoT device. That is, the tagging gateway 132 is a device that simultaneously collects sensing data and performs tagging.
  • the tagging gateway 132 performs tagging on an IoT device that has not been identified (send sensor data for the first time). To this end, the tagging gateway 132 may maintain a table for IoT devices or tagged IoT devices that have already been registered in the IoT platform. The tagging gateway 132 may perform tagging if the IoT device transmitting the sensor data is not in the corresponding table.
  • FIG. 1 illustrates the tagging gateways 131 and 132 as an example of an IoT device tagging apparatus.
  • the IoT device tagging apparatus may be implemented not only as a gateway apparatus but also as another type of apparatus.
  • the IoT device tagging apparatus may be implemented as a server.
  • the device that generates or obtains tagging information for the IoT device may transmit the tagging information to the IoT platform service server 190 .
  • the IoT platform service server 190 is a device that provides an IoT service to a user using sensor data.
  • the IoT platform service server 190 registers and manages the corresponding IoT device using the tagging information.
  • the tagging gateways 131 and 132 tag IoT devices using a device tagging model (machine learning model). Therefore, the tagging gateways 131 and 132 must install (store) the device tagging model in advance.
  • the model server 150 generates a device tagging model, and provides the generated model to the IoT device tagging apparatus.
  • the model server 150 may generate a device tagging model by using metadata about data transmitted by IoT devices.
  • metadata is used to mean information included in a packet transmitted from an IoT device.
  • Meta data is at least one piece of information included in a packet transmitted by the IoT device.
  • the metadata may include information on a data field such as an identifier (ID), name, and data description of an IoT device, information on a packet header, and a physical length of a packet.
  • the model server 150 may generate a device tagging model using sensor data of the IoT device(s).
  • the sensor data used for learning includes not only sensor data of a single device, but also sensor data of other IoT devices disposed in an area (building, factory, etc.) in which the IoT device is disposed.
  • the sensor data used for learning is called collected data.
  • the collection data may include sensor data generated by a plurality of IoT devices, a generation time of the sensor data, and an identifier (including untagged information) of the IoT device that generated the sensor data.
  • the collected data may include information (identifiers and types of collected data) about already tagged IoT devices.
  • the collected data may represent a history of sensor data generated by IoT devices.
  • the model server 150 may generate a device tagging model using metadata. Also, the model server 150 may generate a device tagging model using metadata and collected data. That is, the training data for model training may include at least one of metadata and collected data (a part of the collected data). A learning process for the device tagging model will be described later.
  • the model server 150 may generate a device tagging model using the training data stored in the training data DB 140 .
  • the learning data DB 140 stores and manages the learning data.
  • the learning data DB 140 may receive and store sensor data and packets from the collection gateways 121 and 122 .
  • the learning data DB 140 may receive sensor data, process it as collected data for learning, and then store it.
  • the learning data DB 140 may store packets for sensor data as it is. Alternatively, the learning data DB 140 may analyze the packet and store metadata of the packet.
  • the learning data DB 140 may manage the learning data in the form of a table having an IoT device order or a time order.
  • the device tagging model may be one of various machine learning models as described above.
  • the device tagging model will be described based on a neural network.
  • a device such as the model server 150 of FIG. 1 may generate the device tagging model.
  • a device for generating a neural network model is called a tagging model generating device.
  • the tagging model generating device is a device capable of data processing and calculation, such as a PC or a server.
  • Neural network training requires training data.
  • the training data includes input data and label values for each of the input data.
  • the apparatus for generating a tagging model may use metadata as input data, and may use tagging information of an IoT device that has generated the metadata as a label value.
  • the tagging model generating apparatus may use metadata and collected data as input data, and may use tagging information of the IoT device that generated the corresponding metadata as a label value.
  • the input data will be described.
  • the device tagging model can be learned from metadata of data generated by the IoT device. 2 is an example of meta data, and other information may be utilized as input data.
  • Meta data may be information in a data field of a packet.
  • the metadata may include data of at least one of a data group including a device identifier, a device name, and a data description.
  • a device identifier is a set of information for a manufacturer to identify a corresponding device.
  • the device name may be a device name set by the manufacturer.
  • the data description represents information about the data packet. For example, since a device identifier is generally generated by a manufacturer according to a set of rules, the corresponding information may be used as information for inferring tagging information of a specific device.
  • the metadata may be information included in a header field of a packet.
  • the metadata includes the physical layer type (Ethernet, IEEE802, optical channel, etc.), MAC address, protocol type (IPv4, IPv6), sender's address (ie, IoT device MAC address or IP), sender's identifier (IoT)
  • the identifier of the device serial number, etc.
  • the name of the packet the name of the packet in the data field
  • the length of the packet etc.
  • the device tagging model may infer the tagging information by using the information of the header field.
  • the meta data may include at least one data of a data group including information of the aforementioned data field and information of a header field.
  • the type of metadata to be used for learning should be determined in advance.
  • the device tagging model can utilize sensor data generated by IoT devices as input data.
  • the device tagging model can utilize sensor data of the IoT device to be analyzed as input data.
  • the analysis target means a device from which tagging information is to be inferred.
  • the device tagging model may utilize sensor data of other IoT devices related to the IoT device to be analyzed as input data.
  • the tagging model generating apparatus may utilize, as input data, the sensor data of the analysis target, the sensor data(s) of the device related to the sensor data of the analysis target, or the sensor data(s) of the device associated with the sensor data of the analysis target among the collected data. have.
  • FIG. 3 shows an example of the associated data in the collected data.
  • the collected data includes sensed values collected at a predetermined time period.
  • the collected data may be expressed as values that change over time based on a horizontal axis (time axis) and a vertical axis (value).
  • 3 illustrates a relationship between sensor data of IoT devices disposed in the same service area. In other words, FIG. 3 shows a relationship between sensor data of IoT devices deployed in the same IoT service system.
  • the tagging model generating apparatus may compare the correlation or similarity between the first sensor data and the second sensor data.
  • Various techniques may be used for correlation between sensor data.
  • the apparatus for generating a tagging model may determine the similarity of the sensor data using a technique such as correlation coefficient analysis and K-means clustering.
  • FIG. 3A is an example of sensor data measured by an air conditioner system that supplies outside air in a building.
  • Figure 3 (A) shows an example of the correlation between the adjustment data of the damper and other sensor data.
  • the adjustment data of the damper and the pressure gauge data measured near the damper are inversely proportional
  • the control data of the damper and the measured value of carbon dioxide in the space flowing into the damper control are proportional
  • the control data of the damper and the thermometer have no correlation.
  • the apparatus for generating a tagging model may infer information about the corresponding IoT device by using a damper value in which sensing data of an IoT device that is not currently identified as a tagging target has a correlation among collected data.
  • the device tagging model may use correlated data among the collected data as described above.
  • 3(B) is an example of sensor data measured by a device for generating high-temperature steam.
  • the steam temperature control value is proportional to the thermometer data
  • steam temperature control The value is proportional to the carbon dioxide measurement
  • steam temperature control value is inversely proportional to the power supply value of the power supply.
  • the sensor data collected in the system in which the IoT device is installed is highly likely to have a certain correlation. Accordingly, specific data may be identified by analyzing the type of correlated data. In this way, the learning data representing the correlation between the sensor data is called operation pattern data.
  • the operation pattern data may include sensor data(s) related to sensor data of a specific IoT device to be analyzed or sensor data of a specific IoT device and sensor data(s) related to the corresponding sensor data.
  • the device tagging model may use operation pattern data as input data.
  • the associated sensor data is data having a degree of correlation (degree of relevance) equal to or greater than a reference value with sensor data (target sensor data) to be compared. That is, the associated sensor data may be data having a correlation coefficient greater than or equal to the reference value with the target sensor data. Alternatively, the associated sensor data may be sensor data clustered in the same group as the target sensor data as a result of clustering based on similarity.
  • the device tagging model may be a deep learning model such as a Convolution Neural Network (CNN), a Recurrent Neural Network (RNN), or the like.
  • CNN Convolution Neural Network
  • RNN Recurrent Neural Network
  • 4 is an example of a device tagging model. 4 is an example of a process in which a device tagging model operates. 4 is an example of a device tagging model using operation pattern data and/or metadata.
  • the device tagging model may be any one structure among machine learning models having various structures. 4 is an example of one of the possible neural network models.
  • 4A is an example 200 in which operation pattern data and meta data are simultaneously used as one input data.
  • the IoT device tagging apparatus receives sensor data (hereinafter referred to as target sensor data) of a target device that is a tagging target.
  • the IoT device tagging apparatus identifies the associated sensor data based on the target sensor data.
  • the IoT device tagging apparatus may extract related sensor data from a separate DB storing collected data.
  • the separate DB may be in a separate network connected device or a storage device of an IoT device tagging device.
  • the IoT device tagging apparatus processes operation pattern data and metadata as input data for inputting the device tagging model ( 210 ).
  • the IoT device tagging apparatus generates target sensor data and sensor data related to the target sensor data as one operation pattern data. Operational pattern data can also be used in the form of images. However, in FIG. 4 , it is assumed that the IoT device tagging apparatus converts the operation pattern data into a matrix in a vector form.
  • the operation pattern data is composed of a plurality of sensor data. Accordingly, the operation pattern data corresponds to information in which sensor data having a predetermined order is accumulated (or connected). In this case, the order in which the operation pattern data is configured may be determined according to a predetermined criterion. For example, assuming that the operation pattern data is in the form of a matrix, the IoT device tagging apparatus may arrange the target sensor data in the first row, and then arrange it in a position close to the target sensor data in the order of highest correlation with the target sensor data.
  • the IoT device tagging apparatus may generate one input data by adding metadata to the operation pattern data. Meta data corresponds to certain text information. Accordingly, the IoT device tagging apparatus may vectorize metadata in a manner such as one-hot encoding.
  • the IoT device tagging apparatus may configure operation pattern data and vectorized metadata into one two-dimensional vector data.
  • the final vector data becomes the input data.
  • the vectorized metadata may have a different order from the operation pattern data, and the IoT device tagging apparatus may process the metadata and the operation pattern data to become a matrix having the same order or size.
  • the IoT device tagging apparatus inputs input data to the device tagging model to obtain an output value ( 220 ).
  • the IoT device tagging apparatus may generate tagging information on the target device based on a value output by the device tagging model.
  • 4(B) is another example 300 in which operation pattern data and metadata are simultaneously used as one input data.
  • 4(B) is an example of a model having a plurality of input layers.
  • the IoT device tagging apparatus processes operation pattern data and metadata as input data for inputting the device tagging model ( 310 ).
  • the IoT device tagging apparatus generates operation pattern data and metadata as described in FIG. 4(A).
  • the IoT device tagging apparatus may convert operation pattern data into multi-dimensional (eg, two-dimensional) vector data, and convert metadata into multi-dimensional (eg, one-dimensional or two-dimensional) vector data.
  • the IoT device tagging apparatus converts a plurality of sensor data included in the operation pattern data into a separate vector matrix.
  • the IoT device tagging apparatus inputs input data to the device tagging model to obtain an output value ( 320 ).
  • the IoT device tagging apparatus inputs operation pattern data and metadata to different input layers of the device tagging model. In this case, even if the order or size of the operation pattern data and the metadata are different, processing can be performed using each input terminal suitable for the corresponding order.
  • the IoT device tagging apparatus inputs vector values for a plurality of sensor data included in the operation pattern data into a separate input layer, and also inputs metadata into a separate input layer. Thereafter, the device tagging model may separately process operation pattern data and metadata for a certain level, and process it by integrating it in a certain layer. For example, the device tagging model may output a final output value by extracting feature values of each operation pattern data and meta data from an input end, and merging feature values from an output end such as a multi-layer perceptron layer or an all-connection layer.
  • the IoT device tagging apparatus processes the metadata as vector-type input data for inputting the device tagging model ( 410 ).
  • the IoT device tagging apparatus inputs input data to the device tagging model to obtain an output value ( 420 ).
  • the IoT device tagging apparatus may input vector values for individual data included in meta data into a separate input layer, and may process it by integrating it in a predetermined layer.
  • the device tagging model may output a final output value by extracting a feature value of each meta data from an input end and merging feature values from an output end such as a multi-layer perceptron layer or an all-connection layer.
  • the input data may be data of a specific point in time, or data of a certain section may be converted into one data.
  • the device tagging model may be a deep learning model such as CNN.
  • Operational pattern data is data that changes over time. Meta data may also have different values according to time points. That is, the input data may be a value that continuously changes with the passage of time.
  • the device tagging model may be a neural network such as an RNN. As described above, various models may be used for the device tagging model according to the characteristics of the input data.
  • the RNN receives an input (x) and creates an output (y) through an activation function at the node of the hidden layer, and receives this output again as an input.
  • every neuron receives an input vector x t and an output vector y t - 1 of the previous time.
  • RNN can have different weights for two inputs.
  • the IoT device tagging apparatus may adjust the weight used in the neural network based on a specific value among input data.
  • 5 is another example of a device tagging model.
  • 5 is an example of a process in which a device tagging model operates.
  • 5 is an example of a device tagging model using a model based on a mechanism called attention.
  • attention-based model various models have been studied. A major application of attention-based models is in Natural Language Processing (NLP). That is, the attention-based model is mainly used for applications such as translation and speech synthesis.
  • NLP Natural Language Processing
  • the IoT device tagging apparatus processes metadata as input data ( 510 ). Depending on the type of model, the input data processing process may be different.
  • the IoT device tagging apparatus may sequentially and uniformly parse the metadata and input it into a plurality of input layers. Alternatively, the IoT device tagging apparatus metadata may be uniformly parsed, and the order may be permuted to be input to a plurality of input layers.
  • the IoT device tagging apparatus may generate tagging information by inputting input data into the attention-based model ( 520 ).
  • the attention-based model may output information in the form of text, and may output tagging information of an IoT device to be analyzed.
  • the attention-based model may be any one of various models such as Seq2Seq, BERT, GPT, Transformer, and XLNET.
  • the lower part of FIG. 5(A) shows the Transformer structure as an example.
  • the device tagging model is not limited to a specific model, and various models may be utilized.
  • An attention-based model may generally include an encoder and a decoder.
  • BERT is a model designed around the encoder structure of Transformer.
  • the encoder is a component that processes input data, and the decoder outputs a predicted output value using output embedding and output values of the encoder. A detailed description of the specific configuration will be omitted.
  • Embedding refers to information that is converted into information having a different meaning depending on the location even with the same input value (text).
  • the attention-based model may be divided into an autoregressive (AR) model such as GPT and an autoencoding (AE) model such as BERT according to an operation method. Furthermore, there is a model that has both AR and AE advantages by using two streams of self-attention, such as XLNET.
  • AR autoregressive
  • AE autoencoding
  • the input value uses the aforementioned input data (device identifier, name, description, etc.), and the output value learns to output text information (eg, “pressure gauge”, “pressure gauge”, etc.) about the type of the device. do.
  • the IoT device tagging apparatus processes metadata and operation pattern data as input data ( 610 ). Depending on the type of model, the input data processing process may be different.
  • the IoT device tagging apparatus may sequentially and uniformly parse the metadata and operation pattern data and input it into a plurality of input layers. Alternatively, the IoT device tagging apparatus metadata and operation pattern data may be uniformly parsed, and the order may be permuted and input to a plurality of input layers.
  • the IoT device tagging apparatus may generate tagging information by inputting input data into the attention-based model ( 620 ).
  • the attention-based model may output information in the form of text, and may output tagging information of an IoT device to be analyzed.
  • the tagging model generating apparatus is an apparatus for generating a device tagging model using training data.
  • the tagging model generating apparatus 700 may correspond to the model server 150 of FIG. 1 .
  • the tagging model generating apparatus 700 may include a physical device such as an interface device, a storage device, a computing device, and a communication device.
  • the tagging model generation apparatus 700 may include an interface unit 710 , a data preprocessor 720 , a training data DB 730 , a training model generation unit 740 , and a model DB 750 .
  • the interface unit 710 is configured to exchange information (data) with other objects.
  • the interface unit 710 may transmit and receive information from an IoT device, a collection gateway, an external database, a server, and the like using a communication module.
  • the interface unit 710 may receive or transmit information through a physically connected channel.
  • the interface unit 710 may receive collected data from an external object.
  • the collection data may include sensor data generated by a plurality of IoT devices, a generation time of the sensor data, and an identifier (including untagged information) of the IoT device that generated the sensor data.
  • the collected data may include information (identifiers and types of collected data) about already tagged IoT devices.
  • the collected data may represent a history of sensor data generated by IoT devices.
  • Sensor data is transmitted in the form of packets. Accordingly, the collected data may also include packets of sensor data. Alternatively, the interface unit 710 may separately receive the original packet for the sensor data.
  • the data preprocessor 720 preprocesses the collected data and packets transmitted through the interface unit 710 .
  • the collected data may include sensor data of various IoT devices, and the plurality of IoT devices may have formats that are not unified with each other. Accordingly, when a standardized protocol is not used, the data preprocessing unit 720 may uniformly preprocess sensor data for sensor data into a standardized format.
  • the data preprocessor 720 may distinguish each other according to an arrangement area (eg, the same building, the same factory, the same area, etc.) of the IoT devices included in the collected data. Also, the data preprocessor 720 may sort the sensor data according to the generation time of the sensor data. This is to identify sensor data collected at the same time in the same place.
  • an arrangement area eg, the same building, the same factory, the same area, etc.
  • the data preprocessor 720 may analyze a packet of sensor data to extract metadata of the packet. Meta data will be described later.
  • the data pre-processing unit 720 transmits the pre-processed collected data and packet metadata to the training data DB 730 .
  • the training data DB 730 holds training data for model training.
  • the learning model generator 740 trains the device tagging model by using the learning data.
  • the learning model generator 740 may generate a device tagging model based on sensor data of one IoT device.
  • the learning model generating unit 740 may generate a device tagging model based on the collected data in the learning data DB 730 and packet metadata of the IoT device as a learning target.
  • the learning model generator 740 may store the generated device tagging model in the model DB 750 . Thereafter, the tagging model generating apparatus 700 may transmit the device tagging model generated to the IoT device tagging apparatus through the interface unit 710 .
  • the learning model generator 740 may provide a separate device tagging model for each area (building, factory, etc.) in which the IoT device is disposed or for each device manufacturer.
  • the learning model generator 740 may generate another second device tagging model to be currently learned by using a specific first device tagging model stored (prepared in advance) in the model DB 750 .
  • the learning model generator 740 may generate a second device tagging model using new learning data based on the first device tagging model using transfer learning.
  • the tagging model generating apparatus 700 may generate a device tagging model by using input data for an IoT device disposed in a predetermined arrangement area and tag information of the corresponding IoT device as training data.
  • the constant arrangement area refers to an area in which devices for a constant IoT service are arranged, such as a building, a factory, a playground, and the like.
  • the predetermined arrangement area does not necessarily have to be a physically limited space.
  • an autonomous driving system is constructed including various IoT devices, vehicles, etc. disposed on and around a road.
  • the tagging model generating apparatus 700 may generate a device tagging model using input data and tag information for an IoT device disposed for a single IoT service.
  • an IoT device manufacturer or vendor may identify a corresponding device with a device identifier having a certain rule.
  • a manufacturer or supplier may set some identifier information identically for the same type of device according to a certain rule.
  • the tagging model generating apparatus 700 may generate a device tagging model by using input data for an IoT device of the same manufacturer or supplier and tag information of the corresponding IoT device as learning data. In this case, the tagging model generating apparatus 700 may provide a separate device tagging model for each manufacturer or supplier.
  • the IoT device tagging apparatus 800 is an apparatus for tagging an IoT device using a device tagging model.
  • the IoT device tagging apparatus 800 may be implemented in various forms such as a gateway, a server, a PC, and the like.
  • FIG. 5 is an example illustrating a configuration centering on a function of the IoT device tagging apparatus 800 .
  • the IoT device tagging apparatus 800 may include an interface unit 810 , a history management unit 820 , an operation pattern DB 830 , and a device tagging unit 840 .
  • the interface unit 810 may receive sensor data and collected data from an external object.
  • the interface unit 810 may receive a plurality of sensing data from the IoT system.
  • the history management unit 820 manages history information on the received sensing data.
  • the history management unit 820 may analyze the correlation between the sensed data to determine the correlated data.
  • the method for determining the correlation is the same as described above.
  • the history management unit 820 classifies data having a constant correlation and stores it in the operation pattern DB 830 .
  • the IoT device tagging apparatus 800 may receive the operation pattern data used in the learning process and store it in the operation pattern DB 830 in advance.
  • the device tagging unit 840 receives sensor data of an IoT device to be classified (hereinafter referred to as a target device) through the interface unit 810 .
  • the device tagging unit 840 extracts metadata from a packet of sensor data of the target device.
  • the device tagging unit 840 may determine operation pattern data correlated with sensor data of the target device.
  • the device tagging unit 840 may determine operation pattern data correlated with the target device among data in the operation pattern DB 830 .
  • the device tagging unit 840 may determine operation pattern data correlated with the sensor data of the target device from among the plurality of sensor data received through the interface unit 810 .
  • the device tagging unit 840 inputs at least one of operation pattern data for the target device and metadata of the target device to the device tagging model to obtain an output value.
  • the device tagging unit 840 may transmit tagging information that is an output value of the device tagging model to an external object through the interface unit 810 .
  • the value output by the device tagging unit 840 is not text information indicating the type of the IoT device. Accordingly, the device tagging unit 840 may select information matching an output value from a table prepared in advance as tagging information. Furthermore, the IoT device tagging apparatus 800 may generate tagging information using a neural network model that converts a value output by the device tagging unit 840 into a constant text.
  • 8 is an example of a flow diagram of a procedure 900 of an IoT device tagging process. 8 is an example of a process of generating tagging information by an IoT device tagging apparatus in which a learned device tagging model is installed in advance.
  • the IoT device tagging apparatus acquires sensing data from a gateway apparatus or an IoT device ( 910 ).
  • the information obtained by the IoT device tagging apparatus may be data having information such as an identifier of the corresponding IoT device even without sensing data. That is, the information acquired by the IoT device tagging apparatus at this point is sufficient to generate input data.
  • the IoT device tagging apparatus checks whether there is tag information of the IoT device currently generating sensing data ( 920 ). If there is tag information (NO of 920), the corresponding tag information may be transmitted to the gateway device or the IoT device device to the device (gateway or IoT platform server) requesting the tag information (930). To this end, the IoT device tagging apparatus may maintain a table storing tag information on the device. The table may consist of items matching the device identifier and tag information of the packet. Meanwhile, it may be checked whether a separate gateway device, not the IoT device tagging device, has tag information on the IoT device that currently generates sensor data.
  • the IoT device tagging apparatus If there is no tag information (YES in 920), the IoT device tagging apparatus generates input data using a packet that transmits sensing data (S940). As described above, the IoT device tagging apparatus may extract metadata from a packet of sensing data. Also, the IoT device tagging apparatus may generate operation pattern data by finding other related sensor data based on current sensing data. The input data may be composed of meta data or meta data + operation pattern data as described above.
  • the IoT device tagging apparatus inputs input data to the device tagging model to generate tagging information for the corresponding IoT device ( S950 ). Thereafter, the IoT device tagging apparatus may transmit the tagging information to the requesting apparatus (gateway or IoT platform server).
  • the IoT device tagging apparatus 1000 of FIG. 8 may be an example of the configuration of the IoT device tagging apparatuses 131 and 132 of FIG. 1 . Meanwhile, the IoT device tagging apparatus 1000 may be physically implemented in various forms. For example, the IoT device tagging apparatus 1000 may have the form of a gateway, a PC, a smart device, a computer device, a server of a network, a chipset dedicated to data processing, and the like.
  • the IoT device tagging apparatus 1000 may include a storage device 1010 , a memory 1020 , an arithmetic device 1030 , an interface device 1040 , a communication device 1050 , and an output device 1060 .
  • the storage 1010 basically stores a device tagging model.
  • the storage device 1010 may store input sensor data, a packet of sensor data, operation pattern data, and metadata.
  • the storage device 1010 may accumulate and store continuously received collection data.
  • the storage device 1010 may store a data processing program (operation pattern data generation, metadata extraction, input data generation, etc.) required to generate tagging information.
  • the storage 1010 may store the device information to be analyzed and the generated tagging information together.
  • the memory 1020 may store temporary data generated during data processing and analysis by the IoT device tagging apparatus.
  • the interface device 1040 is a device that receives predetermined commands and data from the outside.
  • the interface device 1040 may receive a data packet generated by an IoT device to be analyzed.
  • the interface device 1040 may receive at least one of sensor data, operation pattern data, and packet metadata from a physically connected input device or an external storage device.
  • the interface device 1040 may receive a program for device tagging and a device tagging model.
  • the communication device 1050 refers to a configuration for receiving and transmitting certain information through a wired or wireless network.
  • the communication device 1050 may receive a data packet generated by an IoT device to be analyzed.
  • the communication device 1050 may receive at least one of sensor data, operation pattern data, and packet metadata.
  • the communication apparatus 1050 may receive the device tagging model from a separate model generating apparatus.
  • the communication device 1050 may transmit tagging information, which is an analysis result of a specific IoT device, to an external object.
  • the communication device 1050 or the interface device 1040 are devices that receive predetermined data or commands from the outside.
  • the communication device 1050 to the interface device 1040 may be collectively referred to as an input device.
  • the output device 1060 is a device that outputs certain information.
  • the output device 1060 may output an interface necessary for a data analysis process and an analysis result for a specific IoT device.
  • the computing device 1030 may generate history data based on received sensor data (target sensor data).
  • the computing device 1030 may extract metadata from the input packet.
  • the computing device 1030 may identify and retrieve sensor data related to the target sensor data.
  • the computing device 1030 may identify sensor data related to the target sensor data among collected data stored in a storage device or a separate DB.
  • the computing device 1030 may identify the associated sensor data through the above-described correlation analysis.
  • the computing device 1030 may query an external DB for information on the target sensor data through the interface device 1040 or the communication device 1050 and secure sensor data related to the target sensor data from the external DB.
  • the computing device 1030 may generate operation pattern data by using the target sensor data and sensor data related to the target sensor data.
  • the computing device 1030 may generate input data to be input to the device tagging model by using at least one of operation pattern data and metadata.
  • the arithmetic unit 1030 obtains a constant output value by inputting input data into the device tagging model.
  • the computing device 1030 may determine tagging information for the target sensor data based on the output value. Alternatively, the computing device 1030 may generate data directly output by the device tagging model as tagging information.
  • the computing device 1030 may be a device such as a processor, an AP, or a chip embedded with a program that processes data and processes a predetermined operation.
  • the IoT device tagging method and the device tagging model generation method as described above may be implemented as a program (or application) including an executable algorithm that can be executed in a computer.
  • the program may be provided by being stored in a temporary or non-transitory computer readable medium.
  • the non-transitory readable medium refers to a medium that stores data semi-permanently, rather than a medium that stores data for a short moment, such as a register, cache, memory, etc., and can be read by a device.
  • the various applications or programs described above are CD, DVD, hard disk, Blu-ray disk, USB, memory card, ROM (read-only memory), PROM (programmable read only memory), EPROM (Erasable PROM, EPROM)
  • EEPROM Electrically EPROM
  • flash memory such as an Electrically EPROM (EEPROM) or a flash memory.
  • Temporarily readable media include Static RAM (SRAM), Dynamic RAM (DRAM), Synchronous DRAM (SDRAM), Double Data Rate SDRAM (DDR SDRAM), Enhanced SDRAM (Enhanced) It refers to various RAMs such as SDRAM, ESDRAM), Synclink DRAM (SLDRAM), and Direct Rambus RAM (DRRAM).
  • SRAM Static RAM
  • DRAM Dynamic RAM
  • SDRAM Synchronous DRAM
  • DDR SDRAM Double Data Rate SDRAM
  • Enhanced SDRAM Enhanced
  • It refers to various RAMs such as SDRAM, ESDRAM), Synclink DRAM (SLDRAM), and Direct Rambus RAM (DRRAM).

Landscapes

  • Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Medical Informatics (AREA)
  • Library & Information Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

신경망 모델에 기반한 디바이스 태깅 방법은 태깅 장치가 태깅 대상인 타깃 IoT 디바이스가 생성한 데이터 패킷을 획득하는 단계, 상기 태깅 장치가 상기 데이터 패킷을 이용하여 입력 데이터를 생성하는 단계, 상기 태깅 장치가 상기 입력 데이터를 신경망 모델인 디바이스 태깅 모델에 입력하는 단계 및 상기 태깅 장치가 상기 디바이스 태깅 모델이 출력하는 값을 이용하여 상기 타깃 IoT 디바이스의 유형을 나타내는 태깅 정보를 생성하는 단계를 포함한다.

Description

신경망 모델에 기반한 IOT 디바이스 태깅 방법 및 태깅 장치
이하 설명하는 기술은 학습 모델을 이용하여 식별되지 않는 IoT 디바이스를 자동으로 식별하는 기법이다.
IoT(Internet of Things) 플랫폼을 이용하여 사물 인터넷 서비스를 제공받기 위해서는 먼저 개발자 또는 사용자가 IoT 플랫폼에 디바이스(사물)를 등록한 후, 웹 서비스나 모바일 앱을 통하여 IoT 디바이스를 관리, 조회, 제어하는 방식을 사용한다. IoT 디바이스 등록은 통상적으로 사용자의 등록 요청 후 자동으로 수행된다. 이를 위해서 IoT 디바이스는 사전에 태그(tag) 정보를 보유해야 한다. 태그 정보는 사물의 식별정보를 포함한다. IoT 플랫폼은 IoT 디바이스의 태그 정보를 읽어 해당 디바이스를 인식하고, 해당 디바이스의 종류, 기능, 소유자 등을 파악할 수 있다. 이후 IoT 플랫폼은 IoT 디바이스와 통신하면서, IoT 디바이스의 센싱 데이터를 이용하여 사용자에게 일정한 서비스를 제공한다.
IoT 플랫폼은 대량의 IoT 디바이스들에 대한 정보를 사전에 확보해야만, 매칭되는 디바이스를 식별할 수 있다. 다양한 기업에서 다양한 제품의 IoT 디바이스가 출현하고 있는 상황에서 IoT 플랫폼이 모든 IoT 디바이스에 대한 정보를 보유하기는 쉽지 않다. 즉, IoT 플랫폼은 표준화되지 않은 태깅 정보를 분석하기 어렵다. 나아가, 건물, 공장, 인프라 등과 같은 현장에는 IoT 태그가 없는 종래 센싱 장비도 설치되어 있는데, 이 경우 IoT 플랫폼은 해당 장비를 식별하기조차 어렵다.
이하 설명하는 기술은 IoT 디바이스 또는 센서 장치로부터 수집된 정보를 기반으로 해당 디바이스를 식별하여 태깅(tagging)하는 기법을 제공하고자 한다. 이하 설명하는 기술은 기계 학습 모델을 이용하여 자동으로 디바이스를 식별하여 관리하는 기법을 제공하고자 한다.
신경망 모델에 기반한 디바이스 태깅 방법은 태깅 장치가 태깅 대상인 타깃 IoT 디바이스가 생성한 데이터 패킷을 획득하는 단계, 상기 태깅 장치가 상기 데이터 패킷을 이용하여 입력 데이터를 생성하는 단계, 상기 태깅 장치가 상기 입력 데이터를 신경망 모델인 디바이스 태깅 모델에 입력하는 단계 및 상기 태깅 장치가 상기 디바이스 태깅 모델이 출력하는 값을 이용하여 상기 타깃 IoT 디바이스의 유형을 나타내는 태깅 정보를 생성하는 단계를 포함한다.
신경망 모델에 기반한 디바이스 태깅 장치는 태깅 대상인 타깃 IoT 디바이스가 생성한 데이터 패킷을 입력받는 입력 장치, 유형을 알지 못하는 IoT 디바이스에 대한 태깅 정보를 생성하는 디바이스 태깅 모델을 저장하는 저장 장치 및 상기 데이터 패킷을 이용하여 입력 데이터를 생성하고, 상기 입력 데이터를 상기 디바이스 태깅 모델에 입력하여 출력되는 값을 기준으로 상기 타깃 IoT 디바이스의 유형을 나타내는 태깅 정보를 생성하는 연산 장치를 포함한다.
IoT 디바이스 태깅 시스템은 센서 데이터를 포함하는 데이터를 생성하는 복수의 IoT 디바이스, 상기 데이터를 수신하고, 상기 데이터에서 훈련 데이터를 생성하고, 상기 훈련 데이터를 이용하여 디바이스 태깅 모델을 생성하는 모델 서버 및 상기 디바이스 태깅 모델이 설치되고, 태깅 대상인 타깃 IoT 디바이스가 생성한 데이터 패킷에서 입력 데이터를 생성하여 상기 설치된 디바이스 태깅 모델에 입력하여 상기 타깃 IoT 디바이스의 유형을 나타내는 태깅 정보를 생성하는 디바이스 태깅 장치를 포함한다.
이하 설명하는 기술은 건물, 일정 지역 등에 배치된 대량의 IoT 디바이스를 표준화된 명칭으로 식별하여 IoT 서비스를 제공한다. 따라서, 이하 설명하는 기술은 시장에 출시된 다양한 제품군을 활용하여 IoT 서비스를 제공하게 한다. 나아가, 이하 설명하는 기술은 구형 센서 장비를 자동으로 식별하여 최신의 IoT 서비스를 제공하게 할 수 있다.
도 1은 IoT 디바이스 태깅 시스템에 대한 예이다.
도 2는 입력 데이터인 메타 데이터에 대한 예이다.
도 3은 입력 데이터인 센서 데이터에 대한 예이다.
도 4는 디바이스 태깅 모델에 대한 예이다.
도 5는 디바이스 태깅 모델에 대한 다른 예이다.
도 6은 디바이스 태깅 모델을 생성하는 장치에 대한 예이다.
도 7은 IoT 디바이스 태깅 장치에 대한 예이다.
도 8은 IoT 디바이스 태깅 과정의 절차 흐름도의 예이다.
도 9는 IoT 디바이스 태깅 장치에 대한 다른 예이다.
이하 설명하는 기술은 다양한 변경을 가할 수 있고 여러 가지 실시례를 가질 수 있는 바, 특정 실시례들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 이하 설명하는 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 이하 설명하는 기술의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 해당 구성요소들은 상기 용어들에 의해 한정되지는 않으며, 단지 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 이하 설명하는 기술의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
본 명세서에서 사용되는 용어에서 단수의 표현은 문맥상 명백하게 다르게 해석되지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함한다" 등의 용어는 설명된 특징, 개수, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 의미하는 것이지, 하나 또는 그 이상의 다른 특징들이나 개수, 단계 동작 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 배제하지 않는 것으로 이해되어야 한다.
도면에 대한 상세한 설명을 하기에 앞서, 본 명세서에서의 구성부들에 대한 구분은 각 구성부가 담당하는 주기능 별로 구분한 것에 불과함을 명확히 하고자 한다. 즉, 이하에서 설명할 2개 이상의 구성부가 하나의 구성부로 합쳐지거나 또는 하나의 구성부가 보다 세분화된 기능별로 2개 이상으로 분화되어 구비될 수도 있다. 그리고 이하에서 설명할 구성부 각각은 자신이 담당하는 주기능 이외에도 다른 구성부가 담당하는 기능 중 일부 또는 전부의 기능을 추가적으로 수행할 수도 있으며, 구성부 각각이 담당하는 주기능 중 일부 기능이 다른 구성부에 의해 전담되어 수행될 수도 있음은 물론이다.
또, 방법 또는 동작 방법을 수행함에 있어서, 상기 방법을 이루는 각 과정들은 문맥상 명백하게 특정 순서를 기재하지 않은 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 과정들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.
IoT 디바이스는 일정한 정보를 수집(센싱)하고, 네트워크로 수집한 정보를 전달할 수 있는 장치를 의미한다. 이하 설명하는 IoT 디바이스는 제조사, 유형, 기능 등을 구분하지 않고 현재 존재하는 또한 앞으로 출시될 다양한 제품군을 포함하는 의미로 사용한다.
센싱 데이터는 IoT 디바이스가 수집하는 정보를 의미한다. IoT 디바이스는 센싱 데이터를 일정한 통신 프로토콜에 따라 패킷을 통해 전송한다.
IoT 플랫폼은 다수의 IoT 디바이스들이 수집한 정보를 관리하고, 사용자에게 필요한 정보를 제공하는 구성이다. 몇 가지 유형의 IoT 서비스를 설명한다. 예컨대, IoT 플랫폼은 건물에 설치된 IoT 디바이스들을 이용하여 스마트 빌딩 서비스를 제공할 수 있다. IoT 플랫폼은 가정에 설치된 IoT 디바이스를 이용하여 홈 서비스를 제공할 수도 있다. IoT 플랫폼은 공장에 설치된 IoT 디바이스를 이용하여 스마트 팩토리 서비스를 제공할 수도 있다. 이와 같이 IoT 플랫폼은 다양한 유형이 존재하며, 이하 설명하는 기술은 IoT 서비스의 종류에 국한되지 않고 모든 IoT 서비스에 적용 가능하다.
전술한 바와 같이 IoT 플랫폼은 IoT 태그 정보에 기반하여 IoT 디바이스를 등록하고 관리한다. 이하 IoT 디바이스 태깅 또는 디바이스 태깅은 IoT 디바이스를 식별하는 동작 또는 IoT 디바이스의 종류를 식별하는 동작을 의미한다.
태깅 정보는 IoT 디바이스를 식별하는 정보이다. 예컨대, 태깅 정보는 디바이스 식별자, 디바이스 이름, 디바이스 타입 및 제조사 정보 등과 같이 특정 디바이스의 기능 또는 동작을 식별할 수 있는 정보 중 적어도 하나일 수 있다. 이하 설명의 편의를 위하여 태깅 정보는 디바이스의 유형을 중심으로 설명한다. 즉, 태깅 정보는 온도 센서, 압력 센서, 이산화탄소 센서 등과 같이 해당 디바이스의 유형을 정의하는 정보에 해당한다.
IoT 디바이스 태깅 장치 또는 태깅 장치는 IoT 디바이스로부터 전달되는 센싱 데이터 및/또는 관련 데이터를 이용하여 해당 IoT 디바이스를 태깅하는 장치이다. IoT 디바이스 태깅 장치는 학습 모델을 이용하여 IoT 디바이스를 태깅한다. IoT 디바이스 태깅 장치는 물리적으로 다양한 형태를 가질 수 있다. IoT 디바이스 태깅 장치는 IoT 디바이스로부터 센싱 데이터를 전달받는 게이트웨이 장치, 서버 등과 같은 장치일 수 있다.
IoT 디바이스 태깅 시스템 또는 태깅 시스템은 IoT 디바이스 태깅 장치를 포함하여 IoT 디바이스를 태깅하는 전체 시스템을 의미한다. IoT 디바이스 태깅 시스템은 IoT 디바이스 태깅 장치에 학습 모델을 제공하고, 학습 모델에 기반한 IoT 디바이스 태깅 장치를 이용하여 IoT 디바이스를 태깅하는 서비스를 제공한다.
학습 모델은 다양한 기계 학습 모델 중 어느 하나일 수 있다. 기계 학습은 기본적으로 확률적 추론에 기반하여 특정 입력에 대하여 출력값을 결정한다. 기계 학습은 크게 지도 학습과 비지도 학습 유형이 있다. 대표적인 기계 학습은 결정 트리, 랜덤 포레스트, 신경망, 서포트 벡터 머신, 나이브 베이즈 등이 있다. 현재 주목 받은 기계 학습 모델은 딥 러닝 신경망 모델이다. 전술한 바와 같이 IoT 디바이스 태깅 장치는 기계 학습 모델을 이용하여 디바이스 태깅을 한다. 디바이스 태깅을 위한 기계 학습 모델을 디바이스 태깅 모델이라고 명명한다. 디바이스 태깅 모델은 특정한 학습 모델이 사용되지만, 어떤 유형의 학습 모델로 국한되지 않고, 다양한 유형의 학습 모델 중 어느 하나일 수 있다.
어텐션(attention) 구조 모델 또는 어텐션 기반 모델은 어텐션 메커니즘에 기반한 학습 모델을 의미한다. 어텐션 기반 모델은 주로 자연어 처리(Natural Language Processing, NLP)를 중심으로 개발되었다. 즉, 어텐션 기반 모델은 주로 번역, 음성 합성 등과 같은 애플리케이션에 활용된다. 예컨대, 어텐션 기반 모델은 Seq2Seq, 트랜스포머(Transformer), GPT(Generative Pre-training), BERT(Bidirectional Encoder Representations from Transformers), XLNET 등이 있다. 이하 어텐션 기반 모델은 어텐션 메커니즘 또는 어텐션 구조를 포함하는 신경망 모델이라는 의미로 사용한다. 어텐션 구조는 신경망에서 하나의 계층에 특정 가중치를 부여하는 것과 달리, 특정한 영역이나 위치에 가중을 부여할 수 있는 구조를 의미한다. 어텐션 기반 모델이 다양한 형태의 구조를 가질 수 있고, 영상 등의 처리에도 활용될 수는 있다. 다만, 이하 설명하는 기술은 IoT 디바이스의 태깅 정보를 출력하는 것이므로, 이하 어텐션 기반 모델은 벡터 형태의 입력값을 입력받아 텍스트 형태의 구문을 출력하는 모델이라고 가정한다.
도 1은 IoT 디바이스 태깅 시스템(100)에 대한 예이다.
IoT 디바이스 태깅 시스템(100)은 IoT 디바이스들(111 ~ 117), 수집 게이트웨이들(121, 122), 태깅 게이트웨이들(131, 132), 학습 데이터 DB(140), 모델 서버(150)를 포함한다.
IoT 디바이스들(111 ~ 117)은 센싱 데이터를 생성한다. IoT 디바이스들(111 ~ 117)은 서로 다른 유형의 디바이스들을 포함할 수 있다.
도 1은 서로 다른 유형의 게이트웨이를 도시한다. 수집 게이트웨이(121, 122)는 IoT 디바이스의 센싱 데이터를 수집한다. 수집 게이트웨이(121)은 IoT 디바이스들(111 ~ 113)로부터 센싱 데이터를 수집한다. 수집 게이트웨이(122)은 IoT 디바이스들(114, 115)로부터 센싱 데이터를 수집한다.
태깅 게이트웨이(131, 132)는 디바이스 태깅 모델을 이용하여 IoT 디바이스에 대한 태깅을 수행한다. 즉, 태깅 게이트웨이(131, 132)는 IoT 디바이스 태깅 장치이다.
태깅 게이트웨이(131)는 수집 게이트웨이들(121, 122)로터 수집 데이터를 수신하고, 수집 데이터를 이용하여 해당 IoT 디바이스에 대한 태깅을 수행한다.
태깅 게이트웨이(131)는 수집 게이트웨이(121, 122)로부터 수집 데이터와 함께 태깅 요청을 수신할 수 있다. 이 경우, 태깅 게이트웨이(131)는 태깅 정보를 수집 게이트웨이(121, 122)로 전달할 수 있다.
태깅 게이트웨이(132)는 IoT 디바이스들(116, 117)로부터 센싱 데이터를 수집하고, 해당 IoT 디바이스에 대한 태깅을 수행할 수 있다. 즉, 태깅 게이트웨이(132)는 센싱 데이터 수집과 태깅을 동시에 수행하는 장치이다.
태깅 게이트웨이(132)는 식별되지 않은(처음 센서 데이터 보낸) IoT 디바이스에 대한 태깅을 수행한다. 이를 위해 태깅 게이트웨이(132)는 이미 IoT 플랫폼에 등록된 IoT 디바이스 내지 태깅된 IoT 디바이스에 대한 테이블을 보유할 수 있다. 태깅 게이트웨이(132)는 센서 데이터를 전달하는 IoT 디바이스가 해당 테이블에 없는 기기라면 태깅을 수행할 수 있다.
한편, 도 1은 태깅 게이트웨이(131, 132)를 IoT 디바이스 태깅 장치의 예로 도시하였다. 다만, IoT 디바이스 태깅 장치는 게이트웨이 장치뿐만 아니라 다른 유형의 장치로 구현될 수도 있다. 예컨대, IoT 디바이스 태깅 장치는 서버로 구현될 수도 있다.
IoT 디바이스에 대한 태깅 정보를 생성 또는 획득한 장치는 태깅 정보를 IoT 플랫폼 서비스 서버(190)에 전달할 수 있다. IoT 플랫폼 서비스 서버(190)는 사용자에게 센서 데이터를 이용하여 IoT 서비스를 제공하는 장치이다. IoT 플랫폼 서비스 서버(190)는 태깅 정보를 이용하여 해당 IoT 디바이스를 등록하고 관리한다.
태깅 게이트웨이(131, 132)는 디바이스 태깅 모델(기계 학습 모델)을 이용하여 IoT 디바이스를 태깅한다. 따라서, 태깅 게이트웨이(131, 132)는 디바이스 태깅 모델을 사전에 설치(저장)해야 한다. 도 1의 시스템에서 모델 서버(150)가 디바이스 태깅 모델을 생성하고, 생성한 모델을 IoT 디바이스 태깅 장치에 제공한다.
모델 서버(150)는 IoT 디바이스들이 전송하는 데이터에 대한 메타 데이터를 이용하여 디바이스 태깅 모델을 생성할 수 있다. 이하 메타 데이터는 IoT 디바이스로부터 전송된 패킷에 포함된 정보라는 의미로 사용한다. 메타 데이터는 IoT 디바이스가 전송하는 패킷에 포함된 정보들 중 적어도 하나이다. 예컨대, 메타 데이터는 IoT 디바이스의 식별자(ID), 이름(name), 데이터 설명(description) 등과 같은 데이터 필드의 정보, 패킷 헤더(header)의 정보, 패킷의 물리적 길이 등을 포함할 수 있다.
나아가, 모델 서버(150)는 IoT 디바이스(들)의 센서 데이터들을 이용하여 디바이스 태깅 모델을 생성할 수 있다. 학습에 이용하는 센서 데이터들은 단일 디바이스의 센서 데이터뿐만 아니라, IoT 디바이스가 배치된 영역(건물, 공장 등)에 배치된 다른 IoT 디바이스들에 대한 센서 데이터를 포함한다. 학습에 이용하는 센서 데이터를 수집 데이터라고 명명한다. 수집 데이터는 복수의 IoT 디바이스들이 생성한 센서 데이터들, 센서 데이터의 생성 시간 및 센서 데이터를 생성한 IoT 디바이스의 식별자(태깅되지 않은 정보 포함)를 포함할 수 있다. 나아가, 수집 데이터는 이미 태깅된 IoT 디바이스에 대한 정보(식별자 및 수집 데이터의 종류)를 포함할 수 있다. 수집 데이터는 IoT 디바이스들이 생성한 센서 데이터들에 대한 이력을 나타낼 수 있다.
모델 서버(150)는 메타 데이터를 사용하여 디바이스 태깅 모델을 생성할 수 있다. 또한, 모델 서버(150)는 메타 데이터 및 수집 데이터를 이용하여 디바이스 태깅 모델을 생성할 수 있다. 즉, 모델 학습을 위한 학습 데이터는 메타 데이터 및 수집 데이터(수집 데이터 중 일부) 중 적어도 하나를 포함할 수 있다. 디바이스 태깅 모델에 대한 학습 과정은 후술한다.
모델 서버(150)는 학습 데이터 DB(140)에 저장된 학습 데이터를 이용하여 디바이스 태깅 모델을 생성할 수 있다.
학습 데이터 DB(140)는 학습 데이터를 저장하고 관리한다. 학습 데이터 DB(140)는 수집 게이트웨이(121, 122)로부터 센서 데이터 및 패킷을 수신하고 저장할 수 있다. 학습 데이터 DB(140)는 센서 데이터들을 수신하여 학습을 위한 수집 데이터로 처리한 후 저장할 수 있다. 학습 데이터 DB(140)는 센서 데이터에 대한 패킷을 그대로 저장할 수 있다. 또는 학습 데이터 DB(140)는 패킷을 분석하여 패킷의 메타 데이터를 저장할 수도 있다. 학습 데이터 DB(140)는 IoT 디바이스 순서 또는 시간 순서를 갖는 테이블 형태로 학습 데이터를 관리할 수 있다.
이하 IoT 디바이스 태깅 장치가 사용하는 디바이스 태깅 모델에 대하여 설명한다. 디바이스 태깅 모델은 전술한 바와 같이 다양한 기계 학습 모델 중 하나일 수 있다. 이하 디바이스 태깅 모델은 신경망(neural network)을 중심으로 설명한다. 먼저, 신경망 모델의 학습 과정에 대하여 설명한다. 도 1의 모델 서버(150)와 같은 장치가 디바이스 태깅 모델을 생성할 수 있다. 설명의 편의를 위하여 신경망 모델을 생성하는 장치를 태깅 모델 생성 장치라고 명명한다. 태깅 모델 생성 장치는 PC, 서버 등과 같이 데이터 처리 및 연산이 가능한 장치이다.
신경망 학습은 학습 데이터가 필요하다. 지도 학습 경우, 일반적으로 학습 데이터는 입력 데이터들 및 입력 데이터들 각각에 대한 라벨값들을 포함한다. (1) 태깅 모델 생성 장치는 메타 데이터를 입력 데이터로 사용하고, 해당 메타 데이터를 생성한 IoT 디바이스의 태깅 정보를 라벨값으로 사용할 수 있다. (2) 또한, 태깅 모델 생성 장치는 메타 데이터 및 수집 데이터를 입력 데이터로 사용하고, 해당 메타 데이터를 생성한 IoT 디바이스의 태깅 정보를 라벨값으로 사용할 수 있다.
입력 데이터에 대하여 설명한다.
도 2는 입력 데이터인 메타 데이터에 대한 예이다. 디바이스 태깅 모델은 IoT 디바이스가 생성한 데이터의 메타 데이터로 학습될 수 있다. 도 2는 메타 데이터에 대한 하나의 예이며, 입력 데이터로 다른 정보가 활용될 수도 있다.
메타 데이터는 패킷의 데이터 필드에 있는 정보일 수 있다. 예컨대, 메타 데이터는 디바이스 식별자, 디바이스 이름 및 데이터 설명(description)을 포함하는 데이터 그룹 중 적어도 하나의 데이터를 포함할 수 있다. 디바이스 식별자는 제조자가 해당 장치를 식별하기 위한 일련의 정보이다. 디바이스 이름은 제조자가 설정한 디바이스의 명칭일 수 있다. 데이터 설명은 데이터 패킷에 대한 정보를 나타낸다. 예컨대, 디바이스 식별자는 제조자가 일련의 규칙에 따라 생성하는 것이 일반적이기에, 해당 정보는 특정 디바이스의 태깅 정보를 추론하는 정보로 활용될 수 있다.
또한, 메타 데이터는 패킷의 헤더 필드에 포함된 정보일 수도 있다. 예컨대, 메타 데이터는 물리계층의 종류(이더넷, IEEE802, 광 채널 등), 맥 주소, 프로토콜 종류(IPv4, IPv6), 송신자의 주소(즉, IoT 디바이스의 맥 주소 또는 IP), 송신자의 식별자(IoT 디바이스의 식별자(시리얼 번호 등)), 패킷의 명칭(데이터 필드에 있는 패킷의 명칭), 패킷의 길이 등이 있을 수 있다. IoT 디바이스들이 동일 시스템(건물, 공장 등)에 배치되었다면, 헤더 필드 중 동일한 정보가 있을 수 있다. 예컨대, 네트워크 종류, 프로토콜 방식 등은 동일할 것이다. 따라서, 디바이스 태깅 모델은 이와 같은 헤더 필드의 정보를 이용하여 태깅 정보를 추론할 수 있다.
메타 데이터는 전술한 데이터 필드의 정보 및 헤더 필드의 정보를 포함하는 데이터 그룹 중 적어도 하나의 데이터를 포함할 수도 있다. 한편, 학습에 사용할 메타 데이터는 그 종류가 사전에 결정되어야 한다.
도 3은 입력 데이터인 센서 데이터에 대한 예이다. 디바이스 태깅 모델은 IoT 디바이스가 생성한 센서 데이터를 입력데이터로 활용할 수 있다. 디바이스 태깅 모델은 분석 대상인 IoT 디바이스의 센서 데이터를 입력 데이터로 활용할 수 있다. 여기서, 분석 대상은 태깅 정보를 추론하고자 하는 장치를 의미한다.
나아가, 디바이스 태깅 모델은 분석 대상인 IoT 디바이스와 연관된 다른 IoT 디바이스의 센서 데이터를 입력 데이터로 활용할 수도 있다. 태깅 모델 생성 장치는 수집 데이터 중 분석 대상의 센서 데이터, 분석 대상의 센서 데이터와 연관된 디바이스의 센서 데이터(들) 또는 분석 대상의 센서 데이터와 함께 연관된 디바이스의 센서 데이터(들)를 입력 데이터로 활용할 수 있다.
도 3은 수집 데이터에서 연관된 데이터에 대한 예를 나타낸다. 도 3에서 수집 데이터는 일정한 시간대에서 수집되는 센싱값을 포함한다. 수집 데이터는 가로축(시간축)과 세로축(값)을 기준으로 시간 흐름에 따라 변화하는 값으로 표현될 수 있다. 도 3은 동일한 서비스 영역에 배치된 IoT 디바이스들의 센서 데이터의 관계를 나타낸다. 다른 말로 하면, 도 3은 동일 IoT 서비스 시스템에 배치된 IoT 디바이스들의 센서 데이터의 관계를 나타낸다.
태깅 모델 생성 장치는 제1 센서 데이터와 제2 센서 데이터의 상관 관계 내지 유사도를 비교할 수 있다. 센서 데이터들 사이의 상관관계는 다양한 기법이 활용될 수 있다. 예컨대, 태깅 모델 생성 장치는 상관 계수(correlation coefficient) 분석, K 평균 클러스터링(K-means clustering) 등과 같은 기법을 이용하여 센서 데이터들의 유사도를 판단할 수 있다.
도 3(A)는 건물에서 외부 공기를 공급하는 공기 조화기 시스템에서 측정한 센서 데이터에 대한 예이다. 도 3(A)는 댐퍼(damper)의 조절 데이터와 다른 센서 데이터의 상관 관계에 대한 예를 나타낸다, 도 3(A)를 살펴보면 (i) 댐퍼의 조절 데이터와 댐퍼 근처에서 측정되는 압력계 데이터는 반비례하는 관계이고, (ii) 댐퍼의 조절 데이터와 댐퍼 조절로 유입되는 공간의 이산화탄소 측정값은 비례하는 관계이며, (iii) 댐퍼의 조절 데이터와 온도계는 상관 관계가 없음을 알 수 있다.
따라서, 태깅 모델 생성 장치는 현재 식별되지 않은 태깅 대상인 IoT 디바이스의 센싱 데이터가 수집 데이터 중 상관관계를 갖는 댐퍼 값을 이용하여 해당 IoT 디바이스에 대한 정보를 추론할 수 있다. 디바이스 태깅 모델은 이와 같이 수집 데이터 중 상관 관계가 있는 데이터를 이용할 수 있다.
도 3(B)는 고온의 스팀을 생성하는 장치에서 측정한 센서 데이터에 대한 예이다 도 3(B)를 살펴보면, (i) 증기 온도 조절값은 온도계 데이터와 비례하고, (ii) 증기 온도 조절값은 이산화탄소 측정값과 비례하고, (iii) 증기 온도 조절값은 전력 공급기의 공급 전력값에 반비례한다.
결국, 이와 같이 IoT 디바이스가 설치된 시스템에서 수집되는 센서 데이터들은 일정한 상관 관계를 가질 가능성이 높다. 따라서 특정 데이터는 상관 관계있는 데이터의 종류를 분석하여 파악될 수 있다. 이와 같이 센서 데이터들의 상관 관계를 나타내는 학습 데이터를 운영 패턴 데이터라고 명명한다.
운영 패턴 데이터는 분석 대상인 특정 IoT 디바이스의 센서 데이터와 연관된 센서 데이터(들) 또는 특정 IoT 디바이스의 센서 데이터 및 해당 센서 데이터와 연관된 센서 데이터(들)를 포함할 수 있다. 디바이스 태깅 모델은 운영 패턴 데이터를 입력 데이터로 이용할 수 있다.
연관된 센서 데이터는 비교 대상인 센서 데이터(타깃 센서 데이터)와 기준값 이상의 상관도(연관도)를 갖는 데이터이다. 즉, 연관된 센서 데이터는 타깃 센서 데이터와 기준값 이상의 상관 계수를 갖는 데이터일 수 있다. 또는 연관된 센서 데이터는 유사도 기반 클러스터링 결과 타깃 센서 데이터와 동일한 그룹으로 클러스터링되는 센서 데이터일 수도 있다.
디바이스 태깅 모델은 CNN(Convolution Neural Network), RNN(Recurrent Neural Network) 등과 같은 딥러닝 모델일 수 있다. 도 4는 디바이스 태깅 모델에 대한 예이다. 도 4는 디바이스 태깅 모델이 동작하는 과정에 대한 예이다. 도 4는 운영 패턴 데이터 및/또는 메타 데이터를 이용하는 디바이스 태깅 모델에 대한 예이다. 디바이스 태깅 모델은 다양한 구조의 기계 학습 모델 중 어느 하나의 구조일 수 있다. 도 4는 가능한 신경망 모델 중 하나에 대한 예이다.
도 4(A)는 운영 패턴 데이터 및 메타 데이터가 동시에 하나의 입력 데이터로 사용되는 예(200)이다.
IoT 디바이스 태깅 장치는 태깅 대상인 타깃 디바이스의 센서 데이터(이하 타깃 센서 데이터라 함)를 입력받는다. IoT 디바이스 태깅 장치는 타깃 센서 데이터를 기준으로 연관된 센서 데이터들을 식별한다. 이를 위해 IoT 디바이스 태깅 장치는 수집 데이터를 저장한 별도의 DB로부터 연관된 센서 데이터를 추출할 수 있다. 별도의 DB는 네트워크로 연결된 별도의 장치 또는 IoT 디바이스 태깅 장치의 저장 장치에 있을 수 있다.
IoT 디바이스 태깅 장치는 운영 패턴 데이터와 메타 데이터를 디바이스 태깅 모델에 입력하기 위한 입력 데이터로 처리한다(210).
IoT 디바이스 태깅 장치는 타깃 센서 데이터 및 타깃 센서 데이터와 연관된 센서 데이터를 하나의 운영 패턴 데이터로 생성한다. 운영 패턴 데이터를 이미지 형태로 사용할 수도 있다. 다만, 도 4에서는 IoT 디바이스 태깅 장치가 운영 패턴 데이터를 벡터 형태의 매트릭스로 변환한다고 가정한다.
운영 패턴 데이터는 복수의 센서 데이터들로 구성된다. 따라서, 운영 패턴 데이터는 일정한 순서를 갖는 센서 데이터들이 누적된(또는 연결된) 정보에 해당한다. 이 경우, 운영 패턴 데이터가 구성되는 순서가 일정한 기준에 따라 결정될 수 있다. 예컨대, 운영 패턴 데이터가 매트릭스 형태라고 가정하면, IoT 디바이스 태깅 장치는 타깃 센서 데이터를 첫 번째 행에 배치하고, 이후 타깃 센서 데이터와 연관성 높은 순서에 따라 타깃 센서 데이터와 가까운 위치에 배치할 수 있다.
IoT 디바이스 태깅 장치는 운영 패턴 데이터에 메타 데이터를 더하여 하나의 입력 데이터를 생성할 수 있다. 메타 데이터는 일정한 텍스트 정보에 해당한다. 따라서, IoT 디바이스 태깅 장치는 메타 데이터를 원-핫 인코딩(one-hot encoding) 과 같은 방식 등으로 벡터화할 수 있다.
IoT 디바이스 태깅 장치는 운영 패턴 데이터와 벡터화된 메타 데이터를 하나의 2차원의 벡터 데이터를 구성할 수 있다. 최종 벡터 데이터가 입력 데이터가 된다. 벡터화된 메타 데이터가 운영 패턴 데이터와 차수가 다를 수 있는데, IoT 디바이스 태깅 장치는 메타 데이터와 운영 패턴 데이터가 동일한 차수 내지 크기를 갖는 매트릭스가 되도록 처리할 수 있다.
IoT 디바이스 태깅 장치는 입력 데이터를 디바이스 태깅 모델에 입력하여 출력값을 얻는다(220). IoT 디바이스 태깅 장치는 디바이스 태깅 모델이 출력하는 값을 기준으로 타깃 디바이스에 대한 태깅 정보를 생성할 수 있다.
도 4(B)는 운영 패턴 데이터 및 메타 데이터가 동시에 하나의 입력 데이터로 사용되는 다른 예(300)이다. 도 4(B)는 입력 계층이 복수인 모델의 예이다.
IoT 디바이스 태깅 장치는 운영 패턴 데이터와 메타 데이터를 디바이스 태깅 모델에 입력하기 위한 입력 데이터로 처리한다(310).
IoT 디바이스 태깅 장치는 도 4(A)에서 설명한 바와 같이, 운영 패턴 데이터와 메타 데이터를 생성한다. IoT 디바이스 태깅 장치는 운영 패턴 데이터를 다차원 (예컨대, 2차원) 벡터 데이터로 변환하고, 메타 데이터를 다차원(예컨대, 1차원 또는 2차원) 벡터 데이터로 변환할 수 있다. IoT 디바이스 태깅 장치는 운영 패턴 데이터에 포함된 복수의 센서 데이터들을 별도의 벡터 매트릭스로 변환한다.
IoT 디바이스 태깅 장치는 입력 데이터를 디바이스 태깅 모델에 입력하여 출력값을 얻는다(320). 이때, IoT 디바이스 태깅 장치는 운영 패턴 데이터와 메타 데이터를 디바이스 태깅 모델의 서로 다른 입력 계층에 입력한다. 이 경우, 운영 패턴 데이터와 메타 데이터의 차수 또는 크기가 다르더라도, 해당 차수에 맞는 각 입력단을 사용하여 처리할 수 있다.
IoT 디바이스 태깅 장치는 운영 패턴 데이터에 포함된 복수의 센서 데이터들에 대한 벡터값을 별도의 입력 계층에 입력하고, 메타 데이터도 별도의 입력 계층에 입력한다. 이후, 디바이스 태깅 모델은 일정한 레벨동안 운영 패턴 데이터와 메타 데이터를 별도로 처리하고, 일정한 계층에서 통합하여 처리할 수 있다. 예컨대, 디바이스 태깅 모델은 입력단에서 각 운영 패턴 데이터와 메타 데이터의 특징값을 추출하고, 다층 퍼셉트론 계층 또는 전연결 계층과 같은 출력단에서 특징값을 병합하여 최종적인 출력값을 출력할 수 있다.
도 4(C)는 메타 데이터만을 입력 데이터로 사용하는 예(400)이다. IoT 디바이스 태깅 장치는 메타 데이터를 디바이스 태깅 모델에 입력하기 위한 벡터 형태의 입력 데이터로 처리한다(410).
IoT 디바이스 태깅 장치는 입력 데이터를 디바이스 태깅 모델에 입력하여 출력값을 얻는다(420). IoT 디바이스 태깅 장치는 메타 데이터에 포함된 개별 데이터들에 대한 벡터값을 별도의 입력 계층에 입력하고, 일정한 계층에서 통합하여 처리할 수 있다. 예컨대, 디바이스 태깅 모델은 입력단에서 각 메타 데이터들의 특징값을 추출하고, 다층 퍼셉트론 계층 또는 전연결 계층과 같은 출력단에서 특징값을 병합하여 최종적인 출력값을 출력할 수 있다.
입력 데이터는 특정 시점의 데이터이거나, 일정 구간의 데이터를 하나의 데이터로 변환한 것일 수 있다. 이 경우, 디바이스 태깅 모델은 CNN과 같은 딥러닝 모델일 수 있다.
운영 패턴 데이터는 시간이 흐름에 따라 변경되는 데이터이다. 메타 데이터도 시점에 따른 다른 값을 가질 수 있다. 즉, 입력 데이터가 시간의 흐름에 따라 연속적으로 변하는 값일 수 있다. 이 경우, 디바이스 태깅 모델은 RNN과 같은 신경망일 수 있다. 이와 같이 디바이스 태깅 모델은 입력 데이터의 특성에 따라 다양한 모델이 활용될 수 있다.
RNN은 입력(x)를 받아 은닉층의 노드에서 활성화 함수를 통해 출력(y)를 만들고, 이 출력을 다시 입력으로 받는다. 시간 t에서 모든 뉴런은 입력 벡터 xt와 이전 시간의 출력 벡터 yt - 1를 입력받는다. RNN은 두 개의 입력에 대하여 서로 다른 가중치를 가질 수 있다. IoT 디바이스 태깅 장치는 입력 데이터 중 특정한 값을 기준으로 신경망에서 사용하는 가중치를 조정할 수도 있다.
도 5는 디바이스 태깅 모델에 대한 다른 예이다. 도 5는 디바이스 태깅 모델이 동작하는 과정에 대한 예이다. 도 5는 어텐션(attention)이라고 불리는 메커니즘에 기반한 모델을 활용한 디바이스 태깅 모델의 예이다. 어텐션 기반 모델은 다양한 모델이 연구되었다. 어텐션 기반 모델의 주요 애플리케이션은 NLP(Natural Language Processing)이다. 즉, 어텐션 기반 모델은 주로 번역, 음성 합성 등과 같은 애플리케이션에 활용된다.
도 5(A)는 메타 데이터를 입력데이터로 삼아 태깅 정보를 출력하는 과정(500) 예이다. IoT 디바이스 태깅 장치는 메타 데이터를 입력 데이터로 처리한다(510). 모델의 종류에 따라 입력 데이터 처리 과정은 다를 수 있다. IoT 디바이스 태깅 장치는 메타 데이터를 순서대로 일정하게 파싱하고 복수의 입력 계층에 입력할 수 있다. 또는 IoT 디바이스 태깅 장치 메타 데이터를 일정하게 파싱하고, 순서를 변경(permutation)하여 복수의 입력 계층에 입력할 수도 있다.
IoT 디바이스 태깅 장치는 어텐션 기반 모델에 입력 데이터를 입력하여 태깅 정보를 생성할 수 있다(520). 어텐션 기반 모델은 텍스트 형태의 정보를 출력하며, 분석 대상인 IoT 디바이스의 태깅 정보를 출력할 수 있다.
예컨대, 어텐션 기반 모델은 Seq2Seq, BERT, GPT, Transformer, XLNET 등과 같은 다양한 모델 중 어느 하나일 수 있다. 도 5(A) 하단은 Transformer 구조를 예시로 도시하였다. 물론, 디바이스 태깅 모델은 특정 모델로 국한되지 않고, 다양한 모델을 활용할 수 있다.
어텐션 기반 모델은 일반적으로 인코더와 디코더를 포함할 수 있다. 다만, BERT는 Transformer의 인코더 구조를 중심으로 설계된 모델이다. 인코더는 입력 데이터를 처리하는 구성이며, 디코더는 출력 임베딩(outpue embedding) 및 인코더의 출력 값을 활용하여 예측되는 출력값을 출력한다. 구체적인 구성에 대해서는 상세한 설명은 생략한다. 임베딩은 동일한 입력값(텍스트)이라도 위치에 따라 다른 의미를 갖는 정보로 변환된 정보를 의미한다.
한편, 어텐션 기반 모델은 동작 방식에 따라 GPT와 같은 AR(autoregressive) 모델과 BERT와 같은 AE(autoencoding) 모델로 구분될 수 있다. 나아가, XLNET과 같이 2 스트림(stream) 셀프 어텐션(self-attention)을 이용하여 AR와 AE의 장점을 모두 갖는 모델도 있다
어텐션 기반 모델이 태깅 정보를 출력하기 위해서는 사전에 학습되어야 한다. 입력값은 전술한 입력 데이터(디바이스 식별자, 이름, 설명부 등)을 이용하고, 출력되는 값은 해당 디바이스의 유형에 대한 텍스트 정보(예컨대, "압력계", "pressure gauge" 등)가 출력되도록 학습한다.
도 5(B)는 메타 데이터 및 운영 패턴 데이터를 입력데이터로 삼아 태깅 정보를 출력하는 과정(600) 예이다. IoT 디바이스 태깅 장치는 메타 데이터 및 운영 패턴 데이터를 입력 데이터로 처리한다(610). 모델의 종류에 따라 입력 데이터 처리 과정은 다를 수 있다. IoT 디바이스 태깅 장치는 메타 데이터 및 운영 패턴 데이터를 순서대로 일정하게 파싱하고 복수의 입력 계층에 입력할 수 있다. 또는 IoT 디바이스 태깅 장치 메타 데이터 및 운영 패턴 데이터를 일정하게 파싱하고, 순서를 변경(permutation)하여 복수의 입력 계층에 입력할 수도 있다.
IoT 디바이스 태깅 장치는 어텐션 기반 모델에 입력 데이터를 입력하여 태깅 정보를 생성할 수 있다(620). 어텐션 기반 모델은 텍스트 형태의 정보를 출력하며, 분석 대상인 IoT 디바이스의 태깅 정보를 출력할 수 있다.
도 6은 디바이스 태깅 모델을 생성하는 장치(700)에 대한 예이다. 태깅 모델 생성 장치는 학습 데이터를 이용하여 디바이스 태깅 모델을 생성하는 장치이다. 태깅 모델 생성 장치(700)는 도 1의 모델 서버(150)에 해당할 수 있다. 태깅 모델 생성 장치(700)는 학습 데이터 DB를 포함할 수 있다. 도 2는 태깅 모델 생성 장치(700)에 대한 논리적 기능을 기준으로 구성을 구분한 예이다. 따라서, 태깅 모델 생성 장치(700)는 물리적으로 도 2와는 다른 구성을 가질 수 있다. 예컨대, 태깅 모델 생성 장치(700)는 인터페이스 장치, 저장 장치, 연산 장치, 통신 장치 등과 같은 물리적 장치를 구성으로 가질 수 있다.
태깅 모델 생성 장치(700)는 인터페이스부(710), 데이터 전처리부(720), 학습 데이터 DB(730), 학습 모델 생성부(740) 및 모델 DB(750)를 포함할 수 있다.
인터페이스부(710)는 다른 객체와 정보(데이터)를 주고 받는 구성이다. 인터페이스부(710)는 통신모듈을 이용하여 IoT 디바이스, 수집 게이트웨이, 외부 데이터베이스, 서버 등으로부터 정보를 송수신할 수 있다. 인터페이스부(710)는 물리적으로 연결된 채널을 통해 정보를 받거나 전달할 수도 있다.
인터페이스부(710)는 외부 객체로부터 수집 데이터를 수신할 수 있다. 전술한 바와 같이, 수집 데이터는 복수의 IoT 디바이스들이 생성한 센서 데이터들, 센서 데이터의 생성 시간 및 센서 데이터를 생성한 IoT 디바이스의 식별자(태깅되지 않은 정보 포함)를 포함할 수 있다. 나아가, 수집 데이터는 이미 태깅된 IoT 디바이스에 대한 정보(식별자 및 수집 데이터의 종류)를 포함할 수 있다. 수집 데이터는 IoT 디바이스들이 생성한 센서 데이터들에 대한 이력을 나타낼 수 있다.
센서 데이터는 패킷 형태로 전송된다. 따라서, 수집 데이터도 센서 데이터의 패킷을 포함할 수 있다. 또는, 인터페이스부(710)가 센서 데이터에 대한 원본 패킷을 별도로 수신할 수도 있다.
데이터 전처리부(720)는 인터페이스부(710)를 통해 전달되는 수집 데이터 및 패킷을 전처리한다. 수집 데이터는 다양한 IoT 디바이스들의 센서 데이터를 포함할 수 있는데, 복수의 IoT 디바이스는 서로 통일되지 않은 포맷을 가질 수 있다. 따라서, 표준화된 프로토콜을 사용하지 않는 경우, 데이터 전처리부(720)가 센서 데이터들에 대한 센서 데이터를 일정하게 전처리하여 표준화된 양식으로 통일할 수 있다.
데이터 전처리부(720)는 수집 데이터에 포함된 IoT 디바이스의 배치 영역(예컨대, 같은 건물, 같은 공장, 같은 영역 등)에 따라 서로 구분할 수 있다. 또한 데이터 전처리부(720)는 센서 데이터의 생성 시간에 따라 센서 데이터를 정렬할 수도 있다. 이는 동일한 장소에서 동일한 시간대에 수집된 센서 데이터를 식별하기 위한 것이다.
데이터 전처리부(720)는 센서 데이터의 패킷을 분석하여 패킷의 메타데이터를 추출할 수 있다. 메타 데이터에 대해서는 후술한다.
데이터 전처리부(720)는 전처리한 수집 데이터 및 패킷의 메타 데이터를 학습 데이터 DB(730)에 전달한다. 학습 데이터 DB(730)는 모델 학습을 위한 학습 데이터를 보유 하게 된다.
학습 모델 생성부(740)는 학습 데이터를 이용하여 디바이스 태깅 모델을 학습시킨다. 학습 모델 생성부(740)는 하나의 IoT 디바이스의 센서 데이터를 기준으로 디바이스 태깅 모델을 생성할 수 있다. 이때, 학습 모델 생성부(740)는 학습 데이터 DB(730)에 있는 수집 데이터 및 학습 대상인 IoT 디바이스의 패킷 메타 데이터를 기준으로 디바이스 태깅 모델을 생성할 수 있다.
학습 모델 생성부(740)는 생성한 디바이스 태깅 모델을 모델 DB(750)에 저장할 수 있다. 이후, 태깅 모델 생성 장치(700)는 IoT 디바이스 태깅 장치에 생성한 디바이스 태깅 모델을 인터페이스부(710)를 통해 전달할 수 있다.
한편, 학습 모델 생성부(740)는 IoT 디바이스가 배치된 영역(건물, 공장 등) 또는 장치 제조사별로 별도의 디바이스 태깅 모델을 마련할 수도 있다.
나아가, 학습 모델 생성부(740)는 모델 DB(750)에 저장된(사전에 마련된) 특정 제1 디바이스 태깅 모델을 이용하여 현재 학습하고자 하는 다른 제2 디바이스 태깅 모델을 생성할 수도 있다. 예컨대, 학습 모델 생성부(740)는 전이 학습(transfer learning)을 이용하여 제1 디바이스 태깅 모델을 기준으로 새로운 학습 데이터를 이용하여 제2 디바이스 태깅 모델을 생성할 수도 있다.
태깅 모델 생성 장치(700)는 일정한 배치 영역에 배치된 IoT 디바이스에 대한 입력 데이터와 해당 IoT 디바이스의 태그 정보를 학습 데이터로 이용하여 디바이스 태깅 모델을 생성할 수 있다. 일정한 배치 영역은 건물, 공장, 운동장 등과 같이 일정한 IoT 서비스를 위한 장치들이 배치된 영역을 의미한다. 다만, 일정한 배치 영역은 반드시 물리적으로 한정된 공간일 필요는 없다. 예컨대, 자율 주행 시스템은 도로 및 도로 주변에 배치된 각종 IoT 디바이스, 차량 등을 포함하여 구축된다. 이 경우, 태깅 모델 생성 장치(700)는 단일 IoT 서비스를 위해 배치된 IoT 디바이스에 대한 입력 데이터와 태그 정보를 이용하여 디바이스 태깅 모델을 생성할 수 있다.
또한, IoT 디바이스 제조사 또는 공급업체(vendor)는 일정한 규칙을 갖는 디바이스 식별자로 해당 디바이스를 식별하게 할 수 있다. 제조사 또는 공급업체는 동일한 유형의 디바이스에 대해서는 일정 규칙에 따라 일부 식별자 정보를 동일하게 설정할 수 있다. 이와 같은 특성을 고려하면, 태깅 모델 생성 장치(700)는 동일 제조사 또는 공급 업체의 IoT 디바이스에 대하여 입력 데이터와 해당 IoT 디바이스의 태그 정보를 학습 데이터로 이용하여 디바이스 태깅 모델을 생성할 수 있다. 이 경우, 태깅 모델 생성 장치(700)는 제조사 또는 공급업체별로 별도의 디바이스 태깅 모델을 마련할 수도 있다.
도 7은 IoT 디바이스 태깅 장치(800)에 대한 예이다. IoT 디바이스 태깅 장치(800)는 디바이스 태깅 모델을 이용하여 IoT 디바이스를 태깅하는 장치이다. IoT 디바이스 태깅 장치(800)는 게이트웨이, 서버, PC 등과 같이 다양한 형태로 구현될 수 있다. 도 5는 IoT 디바이스 태깅 장치(800)의 기능을 중심으로 구성을 도시한 예이다.
IoT 디바이스 태깅 장치(800)는 인터페이스부(810), 이력 관리부(820), 운영 패턴 DB(830) 및 디바이스 태깅부(840)를 포함할 수 있다.
인터페이스부(810)는 외부 객체로부터 센서 데이터, 수집 데이터를 수신할 수 있다. 인터페이스부(810)는 IoT 시스템에서 복수의 센싱 데이터를 수신할 수 있다.
이력 관리부(820)는 수신하는 센싱 데이터에 대한 이력 정보를 관리한다. 이력 관리부(820)는 센싱 데이터들의 상관 관계를 분석하여 상관 관계가 있는 데이터를 파악할 수 있다. 상관 관계를 파악하는 기법은 전술한 바와 같다. 이력 관리부(820)는 일정하게 상관 관계를 갖는 데이터를 분류하여 운영 패턴 DB(830)에 저장한다. 한편, IoT 디바이스 태깅 장치(800)는 학습 과정에서 사용되는 운영 패턴 데이터를 전달받아 운영 패턴 DB(830)에 사전에 저장할 수도 있다.
디바이스 태깅부(840)는 분류 대상인 IoT 디바이스(이하 타깃 디바이스라함)의 센서 데이터를 인터페이스부(810)를 통해 수신한다. 디바이스 태깅부(840)는 타깃 디바이스의 센서 데이터의 패킷에서 메타 데이터를 추출한다. 또한, 디바이스 태깅부(840)는 타깃 디바이스의 센서 데이터와 상관 관계 있는 운영 패턴 데이터를 결정할 수 있다. 디바이스 태깅부(840)는 운영 패턴 DB(830)에 있는 데이터 중 타깃 디바이스와 상관 관계 있는 운영 패턴 데이터를 결정할 수 있다. 또는 디바이스 태깅부(840)는 인터페이스부(810)를 통해 전달받은 복수의 센서 데이터 중 타깃 디바이스의 센서 데이터와 상관 관계있는 운영 패턴 데이터를 결정할 수도 있다.
디바이스 태깅부(840)는 타깃 디바이스에 대한 운영 패턴 데이터 및 타깃 디바이스의 메타 데이터 중 적어도 하나를 디바이스 태깅 모델에 입력하여 출력값을 얻는다. 디바이스 태깅부(840)는 디바이스 태깅 모델의 출력값인 태깅 정보를 인터페이스부(810)를 통해 외부 객체에 전달할 수 있다.
디바이스 태깅부(840)가 출력하는 값은 IoT 디바이스의 유형을 나타내는 텍스트 정보는 아니다. 따라서 디바이스 태깅부(840)는 사전에 마련한 테이블에서 출력값과 매칭되는 정보를 태깅 정보로 선택할 수 있다. 나아가, IoT 디바이스 태깅 장치(800)는 디바이스 태깅부(840)가 출력하는 값을 일정한 텍스트로 변환하는 신경망 모델을 이용하여 태깅 정보를 생성할 수도 있다
도 8은 IoT 디바이스 태깅 과정의 절차(900) 흐름도의 예이다. 도 8은 학습된 디바이스 태깅 모델이 사전에 설치된 IoT 디바이스 태깅 장치가 태깅 정보를 생성하는 과정에 대한 예이다.
IoT 디바이스 태깅 장치가 게이트웨이 장치 또는 IoT 디바이스로부터 센싱 데이터를 획득한다(910). 경우에 따라서, IoT 디바이스 태깅 장치가 획득하는 정보는 센싱 데이터가 없어도 해당 IoT 디바이스의 식별자 등의 정보가 있는 데이터일 수도 있다. 즉, 이 시점에서 IoT 디바이스 태깅 장치가 획득하는 정보는 입력 데이터를 생성하기에 필요한 정보이면 충분하다.
IoT 디바이스 태깅 장치는 현재 센싱 데이터를 생성한 IoT 디바이스의 태그 정보가 없는지 확인한다(920). 태그 정보가 있다면(920의 NO), 게이트웨이 장치 또는 IoT 디바이스 장치에 해당 태그 정보를 태그 정보를 요청한 장치(게이트웨이 또는 IoT 플랫폼 서버)에 전달할 수 있다(930). 이를 위하여 IoT 디바이스 태깅 장치는 디바이스에 대한 태그 정보를 저장한 테이블을 보유할 수 있다. 해당 테이블은 패킷의 장치 식별자와 태그 정보를 매칭한 항목으로 구성될 수 있다. 한편, IoT 디바이스 태깅 장치가 아닌 별도의 게이트웨이 장치가 현재 센서 데이터를 생성한 IoT 디바이스에 대한 태그 정보가 있는지 여부는 확인할 수도 있다.
태그 정보가 없다면(920의 YES), IoT 디바이스 태깅 장치는 센싱 데이터를 전달하는 패킷을 이용하여 입력 데이터를 생성한다(940). 전술한 바와 같이 IoT 디바이스 태깅 장치는 센싱 데이터의 패킷에서 메타 데이터를 추출할 수 있다. 또한 IoT 디바이스 태깅 장치는 현재 센싱 데이터를 기준으로 연관된 다른 센서 데이터를 찾아 운영 패턴 데이터를 생성할 수도 있다. 입력 데이터는 전술한 바와 같이 메타 데이터 또는 메타 데이터+운영 패턴 데이터로 구성될 수 있다.
IoT 디바이스 태깅 장치는 입력 데이터를 디바이스 태깅 모델에 입력하여, 해당 IoT 디바이스에 대한 태깅 정보를 생성한다(950). 이후 IoT 디바이스 태깅 장치는 태깅 정보를 요청한 장치(게이트웨이 또는 IoT 플랫폼 서버)에 전달할 수 있다.
도 9는 IoT 디바이스 태깅 장치(1000)에 대한 다른 예이다. 도 8의 IoT 디바이스 태깅 장치(1000)는 도 1의 IoT 디바이스 태깅 장치(131, 132)의 구성에 대한 예일 수 있다. 한편, IoT 디바이스 태깅 장치(1000)는 물리적으로 다양한 형태로 구현될 수 있다. 예컨대, IoT 디바이스 태깅 장치(1000)는 게이트웨이, PC, 스마트기기, 컴퓨터 장치, 네트워크의 서버, 데이터 처리 전용 칩셋 등의 형태를 가질 수 있다.
IoT 디바이스 태깅 장치(1000)는 저장장치(1010), 메모리(1020), 연산장치(1030), 인터페이스 장치(1040), 통신장치(1050) 및 출력장치(1060)를 포함할 수 있다.
저장장치(1010)는 기본적으로 디바이스 태깅 모델을 저장한다. 저장장치(1010)는 입력되는 센서 데이터들, 센서 데이터의 패킷, 운영 패턴 데이터 및 메타 데이터를 저장할 수 있다. 저장장치(1010)는 지속적으로 수신하는 수집 데이터를 누적하여 저장할 수도 있다. 저장장치(1010)는 태깅 정보를 생성하는데 필요한 데이터 처리 프로그램(운영 패턴 데이터 생성, 메타 데이터 추출, 입력 데이터 생성 등)을 저장할 수 있다. 저장장치(1010)는 분석 대상인 디바이스 정보와 생성된 태깅 정보를 같이 저장할 수 있다.
메모리(1020)는 IoT 디바이스 태깅 장치가 데이터 처리 및 분석 과정에 생성되는 임시 데이터를 저장할 수 있다.
인터페이스장치(1040)는 외부로부터 일정한 명령 및 데이터를 입력받는 장치이다. 인터페이스장치(1040)는 분석 대상인 IoT 디바이스가 생성한 데이터 패킷을 입력받을 수 있다. 인터페이스장치(1040)는 물리적으로 연결된 입력장치 또는 외부 저장장치로부터 센서 데이터, 운영 패턴 데이터 및 패킷의 메타 데이터 중 적어도 하나를 입력받을 수 있다. 인터페이스장치(1040)는 디바이스 태깅을 위한 프로그램 및 디바이스 태깅 모델을 입력받을 수도 있다.
통신장치(1050)는 유선 또는 무선 네트워크를 통해 일정한 정보를 수신하고 전송하는 구성을 의미한다. 통신장치(1050)는 분석 대상인 IoT 디바이스가 생성한 데이터 패킷을 수신할 수 있다. 통신장치(1050)는 센서 데이터, 운영 패턴 데이터 및 패킷의 메타 데이터 중 적어도 하나를 수신할 수 있다. 통신장치(1050)는 디바이스 태깅 모델을 별도의 모델 생성 장치로부터 수신할 수도 있다. 통신장치(1050)는 특정 IoT 디바이스에 대한 분석 결과인 태깅 정보를 외부 객체에 송신할 수 있다.
통신장치(1050) 내지 인터페이스장치(1040)는 외부로부터 일정한 데이터 내지 명령을 전달받는 장치이다. 통신장치(1050) 내지 인터페이스장치(1040)를 입력장치라고 통칭할 수 있다.
출력장치(1060)는 일정한 정보를 출력하는 장치이다. 출력장치(1060)는 데이터 분석 과정에 필요한 인터페이스, 특정 IoT 디바이스에 대한 분석 결과를 출력할 수 있다.
연산 장치(1030)는 입력받은 센서 데이터(타깃 센서 데이터)를 기준으로 이력 데이터를 생성할 수 있다.
연산 장치(1030)는 입력 패킷에서 메타 데이터를 추출할 수 있다.
또한, 연산 장치(1030)는 타깃 센서 데이터와 연관된 센서 데이터를 식별하고 불러올 수 있다. 연산 장치(1030)는 저장 장치 또는 별도의 DB에 저장된 수집 데이터 중 타깃 센서 데이터와 연관된 센서 데이터를 식별할 수 있다. 연산 장치(1030)는 전술한 상관 관계 분석을 통해 연관된 센서 데이터를 식별할 수 있다. 연산 장치(1030)는 타깃 센서 데이터의 정보를 인터페이스 장치(1040) 또는 통신장치(1050)를 통해 외부 DB에 질의하고, 외부 DB로부터 타깃 센서 데이터와 연관된 센서 데이터들을 확보할 수도 있다. 연산 장치(1030)는 타깃 센서 데이터 및 타깃 센서 데이터와 연관된 센서 데이터들을 이용하여 운영 패턴 데이터를 생성할 수 있다.
연산 장치(1030)는 운영 패턴 데이터와 메타 데이터 중 적어도 하나를 이용하여 디바이스 태깅 모델에 입력할 입력 데이터를 생성할 수 있다.
연산 장치(1030)는 입력 데이터를 디바이스 태깅 모델에 입력하여 일정한 출력값을 얻는다. 연산 장치(1030)는 출력값을 기준으로 타깃 센서 데이터에 대한 태깅 정보를 결정할 수 있다. 또는 연산 장치(1030)는 디바이스 태깅 모델이 곧바로 출력하는 데이터를 태깅 정보로 생성할 수 있다.
연산 장치(1030)는 데이터를 처리하고, 일정한 연산을 처리하는 프로세서, AP, 프로그램이 임베디드된 칩과 같은 장치일 수 있다.
또한, 상술한 바와 같은 IoT 디바이스 태깅 방법, 디바이스 태깅 모델 생성 방법은 컴퓨터에서 실행될 수 있는 실행가능한 알고리즘을 포함하는 프로그램(또는 어플리케이션)으로 구현될 수 있다. 상기 프로그램은 일시적 또는 비일시적 판독 가능 매체(non-transitory computer readable medium)에 저장되어 제공될 수 있다.
비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 어플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM (read-only memory), PROM (programmable read only memory), EPROM(Erasable PROM, EPROM) 또는 EEPROM(Electrically EPROM) 또는 플래시 메모리 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.
일시적 판독 가능 매체는 스태틱 램(Static RAM，SRAM), 다이내믹 램(Dynamic RAM，DRAM), 싱크로너스 디램 (Synchronous DRAM，SDRAM), 2배속 SDRAM(Double Data Rate SDRAM，DDR SDRAM), 증강형 SDRAM(Enhanced SDRAM，ESDRAM), 동기화 DRAM(Synclink DRAM，SLDRAM) 및 직접 램버스 램(Direct Rambus RAM，DRRAM) 과 같은 다양한 RAM을 의미한다.
본 실시례 및 본 명세서에 첨부된 도면은 전술한 기술에 포함되는 기술적 사상의 일부를 명확하게 나타내고 있는 것에 불과하며, 전술한 기술의 명세서 및 도면에 포함된 기술적 사상의 범위 내에서 당업자가 용이하게 유추할 수 있는 변형 예와 구체적인 실시례는 모두 전술한 기술의 권리범위에 포함되는 것이 자명하다고 할 것이다.

Claims (16)

  1. 태깅 장치가 태깅 대상인 타깃 IoT 디바이스가 생성한 데이터 패킷을 획득하는 단계;
    상기 태깅 장치가 상기 데이터 패킷을 이용하여 입력 데이터를 생성하는 단계;
    상기 태깅 장치가 상기 입력 데이터를 신경망 모델인 디바이스 태깅 모델에 입력하는 단계; 및
    상기 태깅 장치가 상기 디바이스 태깅 모델이 출력하는 값을 이용하여 상기 타깃 IoT 디바이스의 유형을 나타내는 태깅 정보를 생성하는 단계를 포함하는 신경망 모델에 기반한 디바이스 태깅 방법.
  2. 제1항에 있어서,
    상기 입력 데이터는 상기 데이터 패킷에 대한 메타 데이터인 신경망 모델에 기반한 디바이스 태깅 방법.
  3. 제2항에 있어서,
    상기 메타 데이터는 데이터 필드의 정보인 식별자(ID), 이름(name) 및 설명부(descrioption)을 포함하는 데이터 집합 중 적어도 하나의 데이터를 포함하는 신경망 모델에 기반한 디바이스 태깅 방법.
  4. 제3항에 있어서,
    상기 메타 데이터는 패킷의 헤더(header)에 위치한 물리계층 종류, 맥 주소, 프로토콜 종류, 송신자 주소, 송신자 식별자 및 패킷의 길이를 포함하는 데이터 집합 중 적어도 하나의 데이터를 더 포함하는 신경망 모델에 기반한 디바이스 태깅 방법.
  5. 제1항에 있어서,
    상기 입력 데이터는 상기 데이터 패킷에 대한 메타 데이터 및 상기 타깃 IoT 디바이스에 연관된 다른 적어도 하나의 연관 디바이스의 센서 데이터를 포함하는 신경망 모델에 기반한 디바이스 태깅 방법.
  6. 제3항에 있어서,
    상기 연관 디바이스는 상기 타깃 IoT 디바이스와 동일한 IoT 서비스 시스템에 속한 IoT 디바이스들 중 동일한 시간 구간에서 상기 타깃 IoT 디바이스의 센서 데이터와 기준값 이상의 상관도를 갖는 센서 데이터를 생성하는 적어도 하나의 IoT 디바이스인 신경망 모델에 기반한 디바이스 태깅 방법.
  7. 제1항에 있어서,
    상기 디바이스 태깅 모델은 어텐션(attention) 구조를 포함하는 신경망 모델인 신경망 모델에 기반한 디바이스 태깅 방법.
  8. 제7항에 있어서,
    상기 디바이스 태깅 모델은 Transformer, BERT 및 XLNET 중 적어도 하나의 신경망 모델 구조를 포함하는 신경망 모델에 기반한 디바이스 태깅 방법.
  9. 제1항에 있어서,
    상기 디바이스 태깅 모델은 상기 타깃 IoT 디바이스의 데이터 중 디바이스 식별자, 디바이스 이름 및 설명부를 입력받아, 텍스트 형태의 상기 태깅 정보를 출력하는 신경망 모델에 기반한 디바이스 태깅 방법.
  10. 제1항에 있어서,
    상기 디바이스 태깅 모델은
    동일한 IoT 시스템에 속한 IoT 디바이스들의 입력 데이터와 태그 정보를 학습 데이터로 이용하여 훈련되거나, 동일한 제조자 또는 공급 업체가 제공하는 IoT 디바이스들의 입력 데이터와 태그 정보를 학습 데이터로 이용하여 훈련되는 신경망 모델에 기반한 디바이스 태깅 방법.
  11. 태깅 대상인 타깃 IoT 디바이스가 생성한 데이터 패킷을 입력받는 입력 장치;
    유형을 알지 못하는 IoT 디바이스에 대한 태깅 정보를 생성하는 디바이스 태깅 모델을 저장하는 저장 장치; 및
    상기 데이터 패킷을 이용하여 입력 데이터를 생성하고, 상기 입력 데이터를 상기 디바이스 태깅 모델에 입력하여 출력되는 값을 기준으로 상기 타깃 IoT 디바이스의 유형을 나타내는 태깅 정보를 생성하는 연산 장치를 포함하는 신경망 모델에 기반한 디바이스 태깅 장치.
  12. 제11항에 있어서,
    상기 입력 데이터는 상기 데이터 패킷에 대한 메타 데이터 및 상기 타깃 IoT 디바이스에 연관된 다른 적어도 하나의 연관 디바이스의 센서 데이터를 포함하는 데이터 중 적어도 하나를 포함하는 신경망 모델에 기반한 디바이스 태깅 장치.
  13. 제12항에 있어서,
    상기 메타 데이터는 데이터 필드의 식별자(ID), 데이터 필드의 이름(name), 데이터 필드의 설명부(descrioption) 및 헤더에 포함된 정보를 포함하는 데이터 집함 중 적어도 하나의 데이터를 포함하는 신경망 모델에 기반한 디바이스 태깅 장치.
  14. 제12항에 있어서,
    상기 연관 디바이스는 상기 타깃 IoT 디바이스와 동일한 IoT 서비스 시스템에 속한 IoT 디바이스들 중 동일한 시간 구간에서 상기 타깃 IoT 디바이스의 센서 데이터와 기준값 이상의 상관도를 갖는 센서 데이터를 생성하는 적어도 하나의 IoT 디바이스인 신경망 모델에 기반한 디바이스 태깅 장치.
  15. 제11항에 있어서,
    상기 디바이스 태깅 모델은 어텐션(attention) 구조를 포함하는 신경망 모델로서, 상기 입력 데이터를 입력받아 텍스트 형태의 상기 태깅 정보를 출력하는 신경망 모델에 기반한 디바이스 태깅 장치.
  16. 센서 데이터를 포함하는 데이터를 생성하는 복수의 IoT 디바이스;
    상기 데이터를 수신하고, 상기 데이터에서 훈련 데이터를 생성하고, 상기 훈련 데이터를 이용하여 디바이스 태깅 모델을 생성하는 모델 서버; 및
    상기 디바이스 태깅 모델이 설치되고, 태깅 대상인 타깃 IoT 디바이스가 생성한 데이터 패킷에서 입력 데이터를 생성하여 상기 설치된 디바이스 태깅 모델에 입력하여 상기 타깃 IoT 디바이스의 유형을 나타내는 태깅 정보를 생성하는 디바이스 태깅 장치를 포함하되,
    상기 입력 데이터는 상기 데이터 패킷에 대한 메타 데이터 및 상기 타깃 IoT 디바이스에 연관된 다른 적어도 하나의 연관 디바이스의 센서 데이터를 포함하고,
    상기 디바이스 태깅 모델은 어텐션(attention) 구조를 포함하는 신경망 모델로서, 상기 입력 데이터를 입력받아 텍스트 형태의 상기 태깅 정보를 출력하는 IoT 디바이스 태깅 시스템.
PCT/KR2020/005656 2020-04-29 2020-04-29 신경망 모델에 기반한 iot 디바이스 태깅 방법 및 태깅 장치 WO2021221201A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2020-0051925 2020-04-29
KR1020200051925A KR20210133394A (ko) 2020-04-29 2020-04-29 신경망 모델에 기반한 IoT 디바이스 태깅 방법 및 태깅 장치

Publications (1)

Publication Number Publication Date
WO2021221201A1 true WO2021221201A1 (ko) 2021-11-04

Family

ID=78332039

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2020/005656 WO2021221201A1 (ko) 2020-04-29 2020-04-29 신경망 모델에 기반한 iot 디바이스 태깅 방법 및 태깅 장치

Country Status (2)

Country Link
KR (1) KR20210133394A (ko)
WO (1) WO2021221201A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2024520716A (ja) 2021-10-07 2024-05-24 エルジー エナジー ソリューション リミテッド 負極組成物、これを含むリチウム二次電池用負極、負極を含むリチウム二次電池、および負極組成物の製造方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160342906A1 (en) * 2013-07-11 2016-11-24 Neura, Inc. Situation forecast mechanisms for internet of things integration platform
JP2018045483A (ja) * 2016-09-15 2018-03-22 オムロン株式会社 識別情報付与システム、識別情報付与装置、識別情報付与方法及びプログラム
KR20180091274A (ko) * 2017-02-06 2018-08-16 한국전자통신연구원 식별자 기반 네트워크의 식별자 생성 장치 및 방법
US20190296979A1 (en) * 2018-03-22 2019-09-26 Citrix Systems, Inc. Systems and methods for inventory discovery in a network
KR20190135688A (ko) * 2018-05-29 2019-12-09 삼성에스디에스 주식회사 디바이스 식별 장치 및 그 방법

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11275349B2 (en) 2018-02-01 2022-03-15 Johnson Controls Tyco IP Holdings LLP Building automation systems with automatic metadata tagging

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160342906A1 (en) * 2013-07-11 2016-11-24 Neura, Inc. Situation forecast mechanisms for internet of things integration platform
JP2018045483A (ja) * 2016-09-15 2018-03-22 オムロン株式会社 識別情報付与システム、識別情報付与装置、識別情報付与方法及びプログラム
KR20180091274A (ko) * 2017-02-06 2018-08-16 한국전자통신연구원 식별자 기반 네트워크의 식별자 생성 장치 및 방법
US20190296979A1 (en) * 2018-03-22 2019-09-26 Citrix Systems, Inc. Systems and methods for inventory discovery in a network
KR20190135688A (ko) * 2018-05-29 2019-12-09 삼성에스디에스 주식회사 디바이스 식별 장치 및 그 방법

Also Published As

Publication number Publication date
KR20210133394A (ko) 2021-11-08

Similar Documents

Publication Publication Date Title
WO2010011026A2 (ko) 이미지를 이용한 검색 시스템
WO2022114653A1 (ko) 데이터 경계 도출 시스템 및 방법
WO2020130235A1 (ko) 인공지능 기반 스마트 홈 에어컨 자동 제어 시스템
WO2016125941A1 (ko) 환경 오염 예측 시스템 및 방법
WO2021107449A1 (ko) 음역 전환 신조어를 이용한 지식 그래프 기반 마케팅 정보 분석 서비스 제공 방법 및 그 장치
CN114861836B (zh) 一种基于人工智能平台的模型部署方法及相关设备
WO2021221201A1 (ko) 신경망 모델에 기반한 iot 디바이스 태깅 방법 및 태깅 장치
WO2021100919A1 (ko) 행동 시퀀스 기반으로 이상행동 여부를 판단하는 방법, 프로그램 및 시스템
CN115395646B (zh) 一种数字孪生式牵引变电所智慧运维系统
WO2020159241A1 (ko) 이미지를 처리하기 위한 방법 및 그에 따른 장치
WO2021107445A1 (ko) 지식 그래프 및 국가별 음역 전환 기반 신조어 정보 서비스 제공 방법 및 그 장치
WO2021107446A1 (ko) 지식 그래프 기반 마케팅 정보 분석 챗봇 서비스 제공 방법 및 그 장치
WO2022108427A1 (ko) 5g 기반 iot 환경을 위한 지능형 트러스트 인에이블러 시스템
WO2022146050A1 (ko) 우울증 진단을 위한 인공지능 연합학습 방법 및 시스템
WO2022114895A1 (ko) 영상 정보를 활용한 맞춤형 컨텐츠 서비스 제공 시스템 및 방법
WO2020204219A1 (ko) 인공지능을 이용한 사물 인식 학습에서 아웃라이어를 분류하는 방법 및 분류장치와 로봇
WO2021235682A1 (en) Method and device for performing behavior prediction by using explainable self-focused attention
CN114255562A (zh) 基于物联网的智慧消防预警系统
WO2021256597A1 (ko) 객체 레이블링을 통한 사용자맞춤 이미지식별 딥러닝 모델 생성을 위한 시스템 및 이의 운용 방법
WO2024005413A1 (ko) 전자 문서 내 인공지능 기반 정보 추출 방법 및 장치
WO2021080033A1 (ko) 음성 분석 방법 및 장치
WO2023128320A1 (ko) 인공지능 검증 시스템 및 방법
WO2022114655A1 (ko) 클라우드 기반 디바이스 인공지능 설정 시스템 및 방법
WO2024019226A1 (ko) 유해 url 탐지 방법
WO2017164446A1 (ko) IoT 기반의 센서 데이터 분석 및 제공 시스템 및 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20933099

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20933099

Country of ref document: EP

Kind code of ref document: A1