KR102512684B1 - Mutual Learning and Updating Method for Deep Learning Network in Edge-Cloud System - Google Patents
Mutual Learning and Updating Method for Deep Learning Network in Edge-Cloud System Download PDFInfo
- Publication number
- KR102512684B1 KR102512684B1 KR1020190152980A KR20190152980A KR102512684B1 KR 102512684 B1 KR102512684 B1 KR 102512684B1 KR 1020190152980 A KR1020190152980 A KR 1020190152980A KR 20190152980 A KR20190152980 A KR 20190152980A KR 102512684 B1 KR102512684 B1 KR 102512684B1
- Authority
- KR
- South Korea
- Prior art keywords
- data
- learning
- deep learning
- cloud server
- edge device
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F15/00—Digital computers in general; Data processing equipment in general
- G06F15/16—Combinations of two or more digital computers each having at least an arithmetic unit, a program unit and a register, e.g. for a simultaneous processing of several programs
- G06F15/163—Interprocessor communication
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
- H04L9/08—Key distribution or management, e.g. generation, sharing or updating, of cryptographic keys or passwords
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
- H04L9/08—Key distribution or management, e.g. generation, sharing or updating, of cryptographic keys or passwords
- H04L9/0816—Key establishment, i.e. cryptographic processes or cryptographic protocols whereby a shared secret becomes available to two or more parties, for subsequent use
- H04L9/0852—Quantum cryptography
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L2209/00—Additional information or applications relating to cryptographic mechanisms or cryptographic arrangements for secret or secure communication H04L9/00
- H04L2209/30—Compression, e.g. Merkle-Damgard construction
Abstract
엣지 디바이스에서 신규 입력된 영상을 이용하여 수행한 딥러닝 학습 결과를 클라우드 서버로 전송하여 시스템 전체의 딥러닝 네트워크를 업데이트 하기 위한 방법이 제공된다. 본 발명의 실시예에 따른, 딥러닝 네트워크 상호 학습 방법은 엣지 디바이스가, 신규 입력된 영상 데이터로부터 특징 데이터를 추출하는 단계; 엣지 디바이스가, 추출된 특징 데이터로 딥러닝 네트워크에 대한 학습을 수행하는 단계; 엣지 디바이스가, 추출된 특징 데이터와 학습으로 업데이트된 딥러닝 네트워크의 웨이트 데이터를 학습 데이터로 압축하는 단계; 엣지 디바이스가, 압축된 학습 데이터를 암호화하는 단계; 엣지 디바이스가, 암호화된 학습 데이터를 클라우드 서버에 전달하는 단계;를 포함한다.
이에 의해, 엣지 디바이스들과 클라우드 서버가 연결된 네트워크 시스템에서, 엣지 디바이스가 신규 입력된 데이터에 대해 학습이 가능하여, 전체 시스템에서 딥러닝 네트워크를 상호 학습하고 및 업데이트할 수 있게 된다.Provided is a method for updating the deep learning network of the entire system by transmitting the deep learning learning result performed using a newly input video in the edge device to a cloud server. According to an embodiment of the present invention, a deep learning network mutual learning method includes extracting, by an edge device, feature data from newly input image data; Performing, by an edge device, learning on a deep learning network with the extracted feature data; Compressing, by the edge device, the extracted feature data and the weight data of the deep learning network updated by learning as training data; Encrypting, by the edge device, the compressed learning data; and transmitting, by the edge device, the encrypted learning data to the cloud server.
Accordingly, in a network system in which edge devices and a cloud server are connected, the edge device can learn about newly input data, so that the deep learning network can be mutually learned and updated in the entire system.
Description
본 발명은 인공지능 기술을 활용한 영상 처리 및 SoC(System on Chip) 기술에 관한 것으로, 더욱 상세하게는 엣지 디바이스와 클라우드 서버 간 딥러닝 네트워크를 상호 학습하고 업데이트하는 방법에 관한 것이다.The present invention relates to image processing and SoC (System on Chip) technology using artificial intelligence technology, and more particularly, to a method for mutually learning and updating a deep learning network between an edge device and a cloud server.
엣지 디바이스들과 클라우드 서버로 구성되는 엣지-클라우드 시스템에서 딥러닝 네트워크를 이용한 영상처리시에는, 오프라인 상에서 대규모 리소스 사용이 가능한 클라우드 서버에서만 학습을 진행하는 것이 일반적이며, 엣지 디바이스에서의 딥러닝 네트워크의 학습은 거의 고려되지 않고 있다. When processing images using a deep learning network in an edge-cloud system composed of edge devices and cloud servers, it is common to perform learning only on a cloud server that can use large-scale resources offline, and the deep learning network in the edge device Learning is rarely considered.
즉, 엣지 디바이스에서는 단순히 추론 연산만을 수행하고 있는 실정인데, 최근 들어 딥러닝 네트워크의 학습에도 엣지 컴퓨팅을 접목시켜야 한다는 시도가 나타나고 있다.In other words, edge devices are simply performing inference calculations, but recently, attempts have been made to incorporate edge computing into deep learning network learning.
이에 따라, 엣지 디바이스에서 추론 외에 딥러닝 네트워크의 학습을 함께 처리하고, 이를 클라우드 서버 및 다른 엣지 디바이스와 공유하기 위한 방안의 모색이 요청된다.Accordingly, it is requested to find a way to process learning of a deep learning network together in addition to inference in an edge device and share it with a cloud server and other edge devices.
본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은, 엣지 디바이스에서 신규 입력된 영상을 이용하여 수행한 딥러닝 학습 결과를 클라우드 서버로 전송하여 시스템 전체의 딥러닝 네트워크를 업데이트 하기 위한 방법을 제공함에 있다.The present invention has been devised to solve the above problems, and an object of the present invention is to transmit the deep learning learning result performed using a newly input image from an edge device to a cloud server to improve the deep learning network of the entire system. It is to provide a way to update.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 딥러닝 네트워크 상호 학습 방법은 엣지 디바이스가, 신규 입력된 영상 데이터로부터 특징 데이터를 추출하는 단계; 엣지 디바이스가, 추출된 특징 데이터로 딥러닝 네트워크에 대한 학습을 수행하는 단계; 엣지 디바이스가, 추출된 특징 데이터와 학습으로 업데이트된 딥러닝 네트워크의 웨이트 데이터를 학습 데이터로 압축하는 단계; 엣지 디바이스가, 압축된 학습 데이터를 암호화하는 단계; 엣지 디바이스가, 암호화된 학습 데이터를 클라우드 서버에 전달하는 단계;를 포함한다. According to an embodiment of the present invention for achieving the above object, a deep learning network mutual learning method includes extracting, by an edge device, feature data from newly input image data; Performing, by an edge device, learning on a deep learning network with the extracted feature data; Compressing, by the edge device, the extracted feature data and the weight data of the deep learning network updated by learning as training data; Encrypting, by the edge device, the compressed learning data; and transmitting, by the edge device, the encrypted learning data to the cloud server.
압축 단계는, 특징 데이터와 업데이트된 웨이트 데이터에 대해 무손실 압축을 수행하는 단계일 수 있다. The compression step may be a step of performing lossless compression on the feature data and the updated weight data.
암호화 단계는, 압축된 학습 데이터에 대해 양자 암호화를 수행하는 단계일 수 있다. The encryption step may be a step of performing quantum encryption on the compressed training data.
본 발명에 따른 딥러닝 네트워크 상호 학습 방법은 클라우드 서버가, 수신한 암호화된 학습 데이터를 복호화하는 단계; 클라우드 서버가, 복호화된 압축된 학습 데이터를 압축 해제하는 단계; 클라우드 서버가, 학습 데이터를 검증하는 단계;를 더 포함하는 것일 수 있다.A deep learning network mutual learning method according to the present invention includes the steps of, by a cloud server, decrypting received encrypted learning data; Decompressing, by the cloud server, the decrypted compressed training data; The cloud server may further include verifying the learning data.
본 발명에 따른 딥러닝 네트워크 상호 학습 방법은 클라우드 서버가, 학습 데이터를 구성하는 업데이트된 웨이트 데이터와 딥러닝 네트워크의 구성을 추가로 업데이트하는 단계;를 더 포함하는 것일 수 있다.The deep learning network mutual learning method according to the present invention may further include, by the cloud server, additionally updating the updated weight data constituting the training data and the configuration of the deep learning network.
본 발명에 따른 딥러닝 네트워크 상호 학습 방법은 클라우드 서버가, 업데이트 결과에 따라 자신의 딥러닝 네트워크를 업데이트 하는 단계;를 더 포함하는 것일 수 있다. The deep learning network mutual learning method according to the present invention may further include updating, by the cloud server, its own deep learning network according to the update result.
본 발명에 따른 딥러닝 네트워크 상호 학습 방법은 클라우드 서버가, 업데이트 결과가 수록된 업데이트 정보를 엣지 디바이스들에게 전송하는 단계;를 더 포함하는 것일 수 있다. The deep learning network mutual learning method according to the present invention may further include transmitting, by the cloud server, update information containing update results to edge devices.
본 발명의 다른 측면에 따르면, 신규 입력된 영상 데이터로부터 특징 데이터를 추출하고, 추출된 특징 데이터로 딥러닝 네트워크에 대한 학습을 수행하며, 추출된 특징 데이터와 학습으로 업데이트된 딥러닝 네트워크의 웨이트 데이터를 학습 데이터로 압축하고, 압축된 학습 데이터를 암호화하는 프로세서; 및 암호화된 학습 데이터를 클라우드 서버에 전달하는 통신부;를 포함하는 것을 특징으로 하는 디바이스가 제공된다.According to another aspect of the present invention, feature data is extracted from newly input image data, training of the deep learning network is performed with the extracted feature data, and weight data of the deep learning network updated with the extracted feature data and learning A processor for compressing to training data and encrypting the compressed training data; and a communication unit for transmitting the encrypted learning data to the cloud server.
이상 설명한 바와 같이, 본 발명의 실시예들에 따르면, 엣지 디바이스들과 클라우드 서버가 연결된 네트워크 시스템에서, 엣지 디바이스가 신규 입력된 데이터에 대해 학습이 가능하여, 전체 시스템에서 딥러닝 네트워크를 상호 학습하고 및 업데이트할 수 있게 된다.As described above, according to embodiments of the present invention, in a network system in which edge devices and a cloud server are connected, the edge device can learn about newly input data, so that the entire system can mutually learn the deep learning network and and can be updated.
또한, 본 발명의 실시예들에 따르면, 학습 데이터의 압축과 암호화를 통한 전송을 통해, 개인정보를 보호하고 네트워크 부하와 에지 디바이스의 전력사용을 낮출 수 있게 된다.In addition, according to embodiments of the present invention, personal information can be protected and network load and power consumption of edge devices can be reduced through transmission through compression and encryption of learning data.
도 1은 본 발명이 적용가능한 엣지-클라우드 시스템을 도시한 도면,
도 2는, 도 1에 도시된 엣지 디바이스의 동작 설명에 제공되는 도면,
도 3은, 도 1에 도시된 클라우드 서버의 동작 설명에 제공되는 도면,
도 4는 엣지 디바이스와 클라우드 서버 간 데이터 송수신 정보를 나타낸 도면,
도 5는 딥러닝 가속 하드웨어 구성정보를 예시한 도면,
도 6은 딥러닝 네트워크 구성정보를 예시한 도면,
도 7은 학습 데이터를 예시한 도면,
도 8은 Accurate Trace 정보를 예시한 도면,
도 9는, 도 1에 도시된 엣지 디바이스들과 클라우드 서버의 구성을 개념적으로 나타낸 도면이다.1 is a diagram showing an edge-cloud system to which the present invention is applicable;
2 is a diagram provided to explain the operation of the edge device shown in FIG. 1;
3 is a diagram provided to explain the operation of the cloud server shown in FIG. 1;
4 is a diagram showing data transmission and reception information between an edge device and a cloud server;
5 is a diagram illustrating deep learning acceleration hardware configuration information;
6 is a diagram illustrating deep learning network configuration information;
7 is a diagram illustrating learning data;
8 is a diagram illustrating Accurate Trace information;
9 is a diagram conceptually illustrating configurations of edge devices and a cloud server shown in FIG. 1 .
이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.Hereinafter, the present invention will be described in more detail with reference to the drawings.
본 발명의 실시예에서는, 엣지 디바이스와 클라우드 서버가 네트워크를 통해 연결되어 있는 시스템에서 엣지 디바이스와 클라우드 서바 간에 딥러닝 네트워크를 상호 학습하고 공유하여 업데이트하는 방법을 제시한다.In an embodiment of the present invention, a method of mutually learning, sharing, and updating a deep learning network between an edge device and a cloud server in a system in which an edge device and a cloud server are connected through a network is proposed.
구체적으로, 에지 디바이스에서 신규 입력된 영상을 이용하여 학습한 결과를 중앙의 클라우드 서버에 전송하여 검증하고, 다른 에지 디바이스들에게 전파되도록 하는 시스템이다.Specifically, it is a system that transmits the result of learning using an image newly input in an edge device to a central cloud server for verification, and propagates it to other edge devices.
도 1은 본 발명이 적용가능한 엣지-클라우드 시스템을 도시한 도면이다. 본 발명이 적용가능한 엣지-클라우드 시스템은, 도 1에 도시된 바와 같이, 엣지 디바이스들(110-1, 110-2, ... 100-n)과 클라우드 서버(200)가 네트워크를 통해 상호 통신 가능하도록 연결되어 구축된다. 네트워크는 유선과 무선 모두 가능하며, 구체적인 종류 역시 불문한다.1 is a diagram showing an edge-cloud system to which the present invention is applicable. As shown in FIG. 1, in the edge-cloud system to which the present invention is applicable, the edge devices 110-1, 110-2, ... 100-n and the
본 발명이 적용가능한 엣지-클라우드 시스템에서는, 엣지 디바이스들(110-1, 110-2, ... 100-n)과 클라우드 서버(200) 간에 딥러닝 네트워크를 상호 학습하고 학습 결과를 전송하여 딥러닝 네트워크의 업데이트를 수행한다.In the edge-cloud system to which the present invention is applicable, the deep learning network is mutually learned between the edge devices (110-1, 110-2, ... 100-n) and the
즉, 본 발명이 적용가능한 엣지-클라우드 시스템에서는, 클라우드 서버(200) 외에 엣지 디바이스들(110-1, 110-2, ... 100-n)도 신규 입력을 이용하여 딥러닝 네트워크를 학습할 수 있도록 구성된다.That is, in the edge-cloud system to which the present invention is applicable, in addition to the
학습 결과는 클라우드 서버(200)를 통해 검증된 후 엣지 디바이스들(110-1, 110-2, ... 100-n)에 공유되어, 엣지-클라우드 시스템을 구성하는 모든 장치들에서 딥러닝 네트워크의 업데이트가 이루어진다.After the learning result is verified through the
이 과정에서 엣지 디바이스(110-1, 110-2, ... 100-n)에서 이루어지는 절차들을 도 2에 도시하였다. 단, 이해와 설명의 편의를 위해, 도 2에서는 엣지 디바이스-1(110-1)이 딥러닝 네트워크를 학습하는 것을 상정하였다. 엣지 디바이스-1(110-1)이 아닌 다른 엣지 디바이스(110-2, ... 100-n)에 대해서도 동일한 절차가 그대로 적용된다.Procedures performed in the edge devices 110-1, 110-2, ... 100-n in this process are shown in FIG. 2. However, for convenience of understanding and description, it is assumed in FIG. 2 that the edge device-1 110-1 learns the deep learning network. The same procedure is applied as it is to other edge devices 110-2, ... 100-n other than the edge device-1 110-1.
도시된 바와 같이, 신규 입력 영상을 이용하여 딥러닝 네트워크를 학습하기 위해, 엣지 디바이스-1(110-1)는 먼저 입력 영상 데이터로부터 특징 데이터를 추출한다.As shown, in order to learn a deep learning network using a new input image, the edge device-1 (110-1) first extracts feature data from the input image data.
다음, 엣지 디바이스-1(110-1)는 추출된 특징 데이터를 이용하여 저속의 학습&추론 엔진인 자신이 보유하고 있는 딥러닝 네트워크를 학습시켜, 웨이트 데이터들을 업데이트 한다.Next, the edge device-1 110-1 uses the extracted feature data to train its own deep learning network, which is a low-speed learning & inference engine, and updates weight data.
그리고, 엣지 디바이스-1(110-1)는 학습 데이터를 압축한다. 학습 데이터에는 입력 영상 데이터로부터 추출된 특징 데이터와 학습 결과로 획득한 업데이트된 웨이트 데이터를 포함한다.And, the edge device-1 (110-1) compresses the learning data. The learning data includes feature data extracted from input image data and updated weight data obtained as a learning result.
데이터 압축은, 엣지 디바이스-1(110-1)의 전력 문제와 네트워크의 혼잡 방지를 위한 것이다.Data compression is for preventing power problems of the edge device-1 (110-1) and network congestion.
데이터 압축은 손실 압축과 비손실 압축으로 구분될 수 있는데, 학습 데이터는 중요한 데이터이므로 무손실 압축(Lossless Encoding)을 적용하는 것이 바람직하다.Data compression can be divided into lossy compression and lossless compression. Since training data is important data, it is preferable to apply lossless encoding.
다음, 엣지 디바이스-1(110-1)는 압축된 학습 데이터를 암호화한다. 영상 데이터에는 개인 정보가 포함될 수 있다는 점에서, 학습 데이터 전송 전에는 암호화하는 것이 필요하다.Next, the edge device-1 110-1 encrypts the compressed learning data. Since personal information may be included in image data, it is necessary to encrypt training data before transmission.
암호화 방법으로 양자 암호화를 적용할 수 있다. 양자 암호화를 위한 비밀키는 지속적으로 업데이트한다.Quantum cryptography can be applied as an encryption method. The secret key for quantum encryption is continuously updated.
이후, 엣지 디바이스-1(110-1)는 암호화된 학습 데이터를 클라우드 서버(200)에 전달한다.Then, the edge device-1 (110-1) transfers the encrypted learning data to the cloud server (200).
클라우드 서버(200)는 엣지 디바이스-1(110-1)로부터 수신한 학습 데이터를 검증하여 엣지-클라우드 시스템 전체의 딥러닝 네트워크를 업데이트한다. 이를 위해, 클라우드 서버(200)에서 이루어지는 절차들을 도 3에 도시하였다.The
도시된 바와 같이, 클라우드 서버(200)는 먼저 엣지 디바이스-1(110-1)로부터 수신한 암호화된 학습 데이터를 복호화한다. 데이터 복호화는 양자 복호화가 적용된다.As shown, the
다음, 클라우드 서버(200)는 복호화된 압축된 학습 데이터를 압축 해제하여 학습 데이터를 확보한다. 압축 해제는 무손실 복호화(Lossless Decoding)가 적용된다.Next, the
그리고, 클라우드 서버(200)는 자신이 보유하고 있는 딥러닝 네트워크인 고속의 학습&추론 엔진으로 엣지 디바이스-1(110-1)가 이용한 특징 데이터들을 이용하여 업데이트된 웨이트 데이터들을 검증한다.And, the
검증 과정에서 학습 데이터를 구성하는 웨이트 데이터 외에 딥러닝 네트워크의 구성에 대한 추가적인 업데이트가 이루어질 수도 있다.In the verification process, additional updates to the configuration of the deep learning network may be performed in addition to the weight data constituting the training data.
이후, 클라우드 서버(200)는 자신의 딥러닝 네트워크를 업데이트 한다. 그리고, 클라우드 서버(200)는 업데이트 정보(웨이트 데이터, 네트워크 구성정보)를 무손실 압축한 후 양자 암호화하여, 엣지 디바이스들(110-1, 110-2, ... 100-n)에 전달한다.Then, the
그러면, 엣지 디바이스들(110-1, 110-2, ... 100-n)은 도 2의 하부에 나타난 절차를 통해 자신의 딥러닝 네트워크를 업데이트 한다. 구체적으로, 엣지 디바이스들(110-1, 110-2, ... 100-n)은 클라우드 서버(200)로부터 수신한 암호화된 업데이트 정보를 양자 복호화한 후 무손실 복호화하여 업데이트 정보를 복원한다.Then, the edge devices 110-1, 110-2, ... 100-n update their deep learning networks through the procedure shown in the lower portion of FIG. Specifically, the edge devices 110-1, 110-2, ... 100-n perform quantum decryption on the encrypted update information received from the
다음, 엣지 디바이스들(110-1, 110-2, ... 100-n)은 복원된 업데이트 정보에 따라 자신의 딥러닝 네트워크를 업데이트한다.Next, the edge devices 110-1, 110-2, ... 100-n update their deep learning networks according to the restored update information.
도 4는 엣지 디바이스들(110-1, 110-2, ... 100-n)과 클라우드 서버(200) 간의 데이터 송수신 정보를, 엣지 디바이스들(110-1, 110-2, ... 100-n)을 중심으로 표현하였다.4 shows data transmission/reception information between the edge devices 110-1, 110-2, ... 100-n and the
도시된 바와 같이, 엣지 디바이스들(110-1, 110-2, ... 100-n)은 클라우드 서버(200)로부터 딥러닝 가속 하드웨어 구성정보와 딥러닝 네트워크 구성정보를 수신한다.As shown, the edge devices 110-1, 110-2, ... 100-n receive deep learning acceleration hardware configuration information and deep learning network configuration information from the
딥러닝 가속 하드웨어 구성정보는, 도 5에 도시된 바와 같이, Input Feature map의 크기, 채널, 비트수에 대한 정보, PE(Processing Element)에 대한 정보, Operation Frequency, Input Feature map과 Output Feature map을 저장하는 버퍼에 대한 정보, 외부 메모리와 전송 규격에 대한 정보를 포함한다.As shown in FIG. 5, the deep learning acceleration hardware configuration information includes information on the size of the input feature map, channels, and number of bits, information on PE (Processing Element), operation frequency, input feature map, and output feature map. It includes information on buffers to be stored, information on external memory and transmission standards.
딥러닝 네트워크 구성정보는, 도 6에 도시된 바와 같이, 딥러닝 네트워크의 layer 처리 정보, 커널 정보, 채널 정보 등을 포함한다.As shown in FIG. 6, the deep learning network configuration information includes layer processing information, kernel information, and channel information of the deep learning network.
또한, 도시된 바와 같이, 엣지 디바이스들(110-1, 110-2, ... 100-n)은 학습 데이터와 Accurate Trace 정보를 클라우드 서버(200)에 전달한다.Also, as shown, the edge devices 110-1, 110-2, ... 100-n transfer learning data and accurate trace information to the
학습 데이터는, 엣지 디바이스들(110-1, 110-2, ... 100-n)에 의한 학습 결과로, 도 7에 도시된 바와 같이, GT(Ground Truth) 데이터, 특징 데이터, 업데이트된 딥러닝 네트워크의 웨이트 데이터 등이 포함된다.The training data is a learning result by the edge devices 110-1, 110-2, ... 100-n, and as shown in FIG. 7, GT (Ground Truth) data, feature data, updated deep Weight data of the learning network, etc. are included.
엣지 디바이스들(110-1, 110-2, ... 100-n)에 의해 제공되는 Accurate Trace 정보를 도 8에 예시하였다. 신규 학습에 의한 성능 향상을 예측하여, 학습 데이터의 전송 여부를 결정함에 있어 참조하도록 한 정보이다.Accurate Trace information provided by the edge devices 110-1, 110-2, ... 100-n is illustrated in FIG. 8 . This information is referenced in determining whether or not to transmit learning data by predicting performance improvement by new learning.
도 9는, 도 1에 도시된 엣지 디바이스들(110-1, 110-2, ... 100-n)과 클라우드 서버(200)의 구성을 개념적으로 나타낸 도면이다.9 is a diagram conceptually showing the configuration of the edge devices 110-1, 110-2, ... 100-n and the
도시된 바와 같이, 본 발명의 실시예에 따른 장치들(110-1, 110-2, ... 100-n, 200)은 통신부(310), 프로세서(320) 및 저장부(330)를 포함하는 크고 작은 컴퓨팅 장치로 구현한다.As shown, devices 110-1, 110-2, ... 100-n, 200 according to an embodiment of the present invention include a
통신부(310)는 다른 장치들과 통신 가능하도록 연결되어 데이터를 송수신하기 위한 통신 수단이다.The
프로세서(320)는 딥러닝 네트워크를 이용한 학습과 추론을 수행하고, 송수신 데이터의 압축/신장 및 암호화/복호화를 수행한다.The
저장부(330)는 프로세서(320)가 기능하고 동작함에 있어 필요한 저장 공간을 제공한다.The
지금까지, 엣지-클라우드 시스템에서 딥러닝 네트워크의 상호 학습 및 업데이트 방법에 대해 바람직한 실시예를 들어 상세히 설명하였다.So far, a method for mutual learning and updating of deep learning networks in an edge-cloud system has been described in detail with a preferred embodiment.
위 실시예에서는, 엣지-클라우드 시스템에서 딥러닝 네트워크 업데이트를 위한 데이터 전송시 데이터 압축 및 암호화를 적용하였고, 엣지단의 딥러닝 가속기의 유연한 제어를 위해 네크워크 구성 정보 전달하였으며, 신규 학습된 데이터의 성능 예측을 통한 데이터 전송 여부 판단이 가능하도록 하였다.In the above embodiment, data compression and encryption were applied when transmitting data for deep learning network update in the edge-cloud system, network configuration information was delivered for flexible control of the deep learning accelerator at the edge, and performance of newly learned data It is possible to determine whether or not to transmit data through prediction.
본 발명의 실시예에 따르면, 학습 데이터의 엣지-클라우드 간 전송이 가능하며, 보안 및 네트워크 리소스 사용량이 감소되고, 엣지 디바이스의 딥러닝 네트워크에 대한 유연한 재구성 및 유지보수가 가능해진다.According to an embodiment of the present invention, edge-to-cloud transmission of learning data is possible, security and network resource usage are reduced, and flexible reconfiguration and maintenance of the deep learning network of the edge device are possible.
엣지 디바이스의 저속의 신규 입력의 학습이 가능한 하드웨어를 적용하여, 네트워크에 연결된 다른 장치들에도 적용 가능한 형태로, 딥러닝 네트워크 원격 제어 및 새로운 객체 등의 업데이트가 가능하다.By applying hardware capable of learning low-speed new inputs of the edge device, it is possible to remotely control the deep learning network and update new objects in a form applicable to other devices connected to the network.
한편, 본 실시예에 따른 장치와 방법의 기능을 수행하게 하는 컴퓨터 프로그램을 수록한 컴퓨터로 읽을 수 있는 기록매체에도 본 발명의 기술적 사상이 적용될 수 있음은 물론이다. 또한, 본 발명의 다양한 실시예에 따른 기술적 사상은 컴퓨터로 읽을 수 있는 기록매체에 기록된 컴퓨터로 읽을 수 있는 코드 형태로 구현될 수도 있다. 컴퓨터로 읽을 수 있는 기록매체는 컴퓨터에 의해 읽을 수 있고 데이터를 저장할 수 있는 어떤 데이터 저장 장치이더라도 가능하다. 예를 들어, 컴퓨터로 읽을 수 있는 기록매체는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광디스크, 하드 디스크 드라이브, 등이 될 수 있음은 물론이다. 또한, 컴퓨터로 읽을 수 있는 기록매체에 저장된 컴퓨터로 읽을 수 있는 코드 또는 프로그램은 컴퓨터간에 연결된 네트워크를 통해 전송될 수도 있다.Meanwhile, it goes without saying that the technical spirit of the present invention can also be applied to a computer-readable recording medium containing a computer program for performing the functions of the apparatus and method according to the present embodiment. In addition, technical ideas according to various embodiments of the present invention may be implemented in the form of computer readable codes recorded on a computer readable recording medium. The computer-readable recording medium may be any data storage device that can be read by a computer and store data. For example, the computer-readable recording medium may be ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical disk, hard disk drive, and the like. In addition, computer readable codes or programs stored on a computer readable recording medium may be transmitted through a network connected between computers.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.In addition, although the preferred embodiments of the present invention have been shown and described above, the present invention is not limited to the specific embodiments described above, and the technical field to which the present invention belongs without departing from the gist of the present invention claimed in the claims. Of course, various modifications are possible by those skilled in the art, and these modifications should not be individually understood from the technical spirit or perspective of the present invention.
110-1, 110-2, ... 100-n : 엣지 디바이스
200 : 클라우드 서버
딥러닝 가속 하드웨어 구성정보
딥러닝 네트워크 구성정보
학습 데이터
Accurate Trace110-1, 110-2, ... 100-n: edge device
200: cloud server
Deep learning acceleration hardware configuration information
Deep learning network configuration information
learning data
Accurate Trace
Claims (8)
엣지 디바이스가, 추출된 특징 데이터로 딥러닝 네트워크에 대한 학습을 수행하는 단계;
엣지 디바이스가, 추출된 특징 데이터와 학습으로 업데이트된 딥러닝 네트워크의 웨이트 데이터를 학습 데이터로 압축하는 단계;
엣지 디바이스가, 압축된 학습 데이터를 암호화하는 단계;
엣지 디바이스가, 암호화된 학습 데이터를 클라우드 서버에 전달하는 단계;
클라우드 서버가, 수신한 암호화된 학습 데이터를 복호화하는 단계;
클라우드 서버가, 복호화된 압축된 학습 데이터를 압축 해제하는 단계;
클라우드 서버가, 학습 데이터를 검증하는 단계;
클라우드 서버가, 학습 데이터를 구성하는 '엣지 디바이스에 의해 업데이트된 웨이트 데이터'와 '엣지 디바이스와 클라우드 서버가 이용하는 딥러닝 네트워크의 구성'을 추가로 업데이트하여 업데이트 정보를 생성하는 단계;를 포함하고,
딥러닝 네트워크의 구성은,
딥러닝 네트워크의 레이어, 커널 및 채널을 포함하며,
압축 단계는,
특징 데이터와 업데이트된 웨이트 데이터에 대해 무손실 압축을 수행하고,
전달 단계는,
Accurate Trace 정보로부터 예측한 신규 학습에 의한 성능 향상을 기초로, 암호화된 학습 데이터의 전달 여부를 결정하는 것을 특징으로 하는 딥러닝 네트워크 상호 학습 방법.
extracting, by an edge device, feature data from newly input image data;
Performing, by an edge device, learning on a deep learning network with the extracted feature data;
Compressing, by the edge device, the extracted feature data and the weight data of the deep learning network updated by learning as training data;
Encrypting, by the edge device, the compressed learning data;
Transmitting, by the edge device, the encrypted learning data to the cloud server;
Decrypting, by the cloud server, the received encrypted training data;
Decompressing, by the cloud server, the decrypted compressed training data;
verifying, by the cloud server, the training data;
Including, by the cloud server, generating update information by additionally updating 'weight data updated by the edge device' and 'configuration of the deep learning network used by the edge device and the cloud server' constituting the learning data;
The composition of the deep learning network is
It contains layers, kernels and channels of deep learning networks,
The compression step is
Perform lossless compression on feature data and updated weight data;
The delivery step is
Deep learning network mutual learning method, characterized by determining whether to transmit encrypted training data based on performance improvement by new learning predicted from accurate trace information.
암호화 단계는,
압축된 학습 데이터에 대해 양자 암호화를 수행하는 것을 특징으로 하는 딥러닝 네트워크 상호 학습 방법.
The method of claim 1,
The encryption step is
A deep learning network mutual learning method characterized by performing quantum encryption on compressed training data.
클라우드 서버가, 업데이트 정보에 따라 자신의 딥러닝 네트워크의 웨이트 데이터와 구성을 업데이트 하는 단계;를 더 포함하는 것을 특징으로 하는 딥러닝 네트워크 상호 학습 방법.
The method of claim 1,
Deep learning network mutual learning method further comprising; updating the weight data and configuration of the deep learning network of the cloud server according to the update information.
클라우드 서버가, 업데이트 결과가 수록된 업데이트 정보를 엣지 디바이스들에게 전송하는 단계;를 더 포함하는 것을 특징으로 하는 딥러닝 네트워크 상호 학습 방법.
The method of claim 6,
The deep learning network mutual learning method further comprising: transmitting, by the cloud server, update information containing update results to edge devices.
암호화된 학습 데이터를 클라우드 서버에 전달하는 통신부;를 포함하고,
클라우드 서버는,
통신부로부터 수신한 암호화된 학습 데이터를 복호화하고,
복호화된 압축된 학습 데이터를 압축 해제하며,
학습 데이터를 검증하고,
학습 데이터를 구성하는 '프로세서에 의해 업데이트된 웨이트 데이터'와 '프로세서와 클라우드 서버가 이용하는 딥러닝 네트워크의 구성'을 추가로 업데이트하여 업데이트 정보를 생성하며,
딥러닝 네트워크의 구성은,
딥러닝 네트워크의 레이어, 커널 및 채널을 포함하고,
프로세서는,
특징 데이터와 업데이트된 웨이트 데이터에 대해 무손실 압축을 수행하며,
Accurate Trace 정보로부터 예측한 신규 학습에 의한 성능 향상을 기초로, 암호화된 학습 데이터의 전달 여부를 결정하는 것을 특징으로 하는 디바이스.
Extract feature data from newly input image data, perform training on the deep learning network with the extracted feature data, compress the extracted feature data and weight data of the deep learning network updated by learning as training data, and compress a processor that encrypts the training data; and
A communication unit that transmits the encrypted learning data to the cloud server;
cloud server,
Decrypt the encrypted learning data received from the communication unit;
Decompressing the decoded compressed training data,
validate the training data;
Update information is generated by additionally updating the 'weight data updated by the processor' and 'configuration of the deep learning network used by the processor and the cloud server' constituting the learning data,
The composition of the deep learning network is
Contains the layers, kernels and channels of deep learning networks;
the processor,
Lossless compression is performed on the feature data and the updated weight data;
A device characterized in that it determines whether to transmit encrypted learning data based on performance improvement by new learning predicted from accurate trace information.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/KR2019/016334 WO2021107169A1 (en) | 2019-11-26 | 2019-11-26 | Method for interactively learning and updating deep learning network in edge-cloud system |
| KR1020190152980A KR102512684B1 (en) | 2019-11-26 | 2019-11-26 | Mutual Learning and Updating Method for Deep Learning Network in Edge-Cloud System |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190152980A KR102512684B1 (en) | 2019-11-26 | 2019-11-26 | Mutual Learning and Updating Method for Deep Learning Network in Edge-Cloud System |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20210064588A KR20210064588A (en) | 2021-06-03 |
| KR102512684B1 true KR102512684B1 (en) | 2023-03-23 |
Family
ID=76129656
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190152980A KR102512684B1 (en) | 2019-11-26 | 2019-11-26 | Mutual Learning and Updating Method for Deep Learning Network in Edge-Cloud System |
Country Status (2)
| Country | Link |
|---|---|
| KR (1) | KR102512684B1 (en) |
| WO (1) | WO2021107169A1 (en) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101957648B1 (en) | 2018-11-16 | 2019-03-12 | 주식회사 아이코어이앤씨 | The module identification and assistant system based on artificial intelligence |
| US20190340493A1 (en) * | 2018-05-01 | 2019-11-07 | Semiconductor Components Industries, Llc | Neural network accelerator |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102197247B1 (en) * | 2017-06-01 | 2020-12-31 | 한국전자통신연구원 | Parameter server and method for sharing distributed deep learning parameter using the same |
| KR102093899B1 (en) * | 2017-12-01 | 2020-03-26 | 주식회사 코이노 | Client terminal that improves the efficiency of machine learning through cooperation with a server and a machine learning system including the same |
| KR20190083127A (en) * | 2018-01-03 | 2019-07-11 | 한국과학기술원 | System and method for trainning convolution neural network model using image in terminal cluster |
| CN110399742B (en) * | 2019-07-29 | 2020-12-18 | 深圳前海微众银行股份有限公司 | Method and device for training and predicting federated migration learning model |
-
2019
- 2019-11-26 KR KR1020190152980A patent/KR102512684B1/en active IP Right Grant
- 2019-11-26 WO PCT/KR2019/016334 patent/WO2021107169A1/en active Application Filing
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190340493A1 (en) * | 2018-05-01 | 2019-11-07 | Semiconductor Components Industries, Llc | Neural network accelerator |
| KR101957648B1 (en) | 2018-11-16 | 2019-03-12 | 주식회사 아이코어이앤씨 | The module identification and assistant system based on artificial intelligence |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20210064588A (en) | 2021-06-03 |
| WO2021107169A1 (en) | 2021-06-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11290252B2 (en) | Compression and homomorphic encryption in secure query and analytics | |
| US10785545B2 (en) | Systems and methods for simultaneous compression and encryption | |
| US20120246485A1 (en) | Encrypting method, recording medium of encrypting program, decrypting method, and recording medium of decrypting program | |
| RU2638639C1 (en) | Encoder, decoder and method for encoding and encrypting input data | |
| JP6608436B2 (en) | Encoder, decoder and method using partial data encryption | |
| CN105830134A (en) | Method and device for compressing and expanding image intended for encrypted communication, program, and storage medium | |
| CN102904717B (en) | Chaos synchronization encrypting/decrypting method and device using data compression encoding | |
| CN113542228B (en) | Data transmission method and device based on federal learning and readable storage medium | |
| CN113132394A (en) | Request processing system, method and device, storage medium and electronic equipment | |
| Zhang et al. | Design and ARM-embedded implementation of a chaotic secure communication scheme based on H. 264 selective encryption | |
| Ismael | Authentication and encryption drone communication by using HIGHT lightweight algorithm | |
| KR102512684B1 (en) | Mutual Learning and Updating Method for Deep Learning Network in Edge-Cloud System | |
| EP3688959B1 (en) | System for securing deployed security cameras | |
| KR102038217B1 (en) | Information security system through encrypting and decrypting personal data and contents in smart device based on Lightweight Encryption Algorithm, method thereof and computer recordable medium storing program to perform the method | |
| CN103327363B (en) | Realize the system and the method thereof that carry out video information control extension based on semantic granularity | |
| KR101836947B1 (en) | Method of distributing key for multi-party in quantum communication, method of performing quantum communication using the same and quantum communication system performing the same | |
| US9596218B1 (en) | Methods and systems of encrypting messages using rateless codes | |
| Shan et al. | Exploring light-weight cryptography for efficient and secure lossy data compression | |
| US11095429B2 (en) | Circuit concealing apparatus, calculation apparatus, and program | |
| CN113383514A (en) | Method for authenticating messages in resource-constrained systems | |
| US11909885B2 (en) | Passive optical network security | |
| WO2023193597A1 (en) | Image encryption | |
| US20210357515A1 (en) | Secure similarity search for sensitive data | |
| Kaur et al. | Optical stegnography to enhance speed of analog transmission with security enhancement through image encryption | |
| Sameerunnisa et al. | A Brief Analysis on Video Compression and Deduplication Models Using Video Steganography with Optimised Feature Extraction Techniques for Integrity Preservation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| AMND | Amendment | ||
| E601 | Decision to refuse application | ||
| AMND | Amendment | ||
| X701 | Decision to grant (after re-examination) |