KR20210085702A - 다중 경로 혼합 기반 학습 데이터 획득 장치 및 방법 - Google Patents
다중 경로 혼합 기반 학습 데이터 획득 장치 및 방법 Download PDFInfo
- Publication number
- KR20210085702A KR20210085702A KR1020190179049A KR20190179049A KR20210085702A KR 20210085702 A KR20210085702 A KR 20210085702A KR 1020190179049 A KR1020190179049 A KR 1020190179049A KR 20190179049 A KR20190179049 A KR 20190179049A KR 20210085702 A KR20210085702 A KR 20210085702A
- Authority
- KR
- South Korea
- Prior art keywords
- data
- learning
- mixed
- terminals
- remixing
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 238000002156 mixing Methods 0.000 claims abstract description 47
- 238000002372 labelling Methods 0.000 claims description 5
- 230000004044 response Effects 0.000 claims description 3
- 230000007786 learning performance Effects 0.000 abstract description 4
- 238000013528 artificial neural network Methods 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 5
- 239000000203 mixture Substances 0.000 description 5
- 230000008569 process Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G06N3/0454—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
본 발명은 다수의 단말 각각으로부터 다수의 학습 데이터가 혼합 비율에 따라 혼합된 혼합 데이터를 전송받고, 다수의 단말 각각으로부터 전송된 혼합 데이터를 포함된 레이블에 따라 구분하고 구분된 각 레이블을 혼합 데이터를 전송한 단말의 개수에 대응하여 구성된 재혼합 비율에 따라 재혼합하여 미리 저장된 학습 모델을 학습시키기 위한 재혼합 학습 데이터를 획득하므로, 다수의 단말 각각에서 데이터 혼합 방식으로 전송된 혼합 데이터를 재혼합하여 학습 성능을 향상시킬 수 있으며 보안성을 향상시킬 수 있는 학습 데이터 획득 장치 및 방법을 제공할 수 있다.
Description
본 발명은 학습 데이터 획득 장치 및 방법에 관한 것으로, 다중 경로 혼합 기반 학습 데이터 획득 장치 및 방법에 관한 것이다.
인공 신경망을 학습시키기 위해서는 대량의 학습 데이터를 필요로 하지만, 개별 단말이 생성하거나 획득할 수 있는 학습 데이터의 수는 매우 제한적이다. 또한 개별 단말에서 획득되는 학습 데이터는 독립 항등 분포(independent identically distributed: 이하 iid)를 따르지 않고, 각 단말의 서로 상이한 연산 능력으로 인해, 학습할 수 있는 학습 데이터의 크기가 제한되므로 높은 정확도의 학습을 수행하기 어렵다는 한계가 있다.
이러한 한계를 극복하기 위해 최근에는 다수의 단말 및/또는 서버로 이루어진 분산네트워크를 이용하여 인공 신경망을 학습시키는 방안이 제안되었다. 분산 네트워크를 이용하면 다수의 단말에서 획득된 학습 데이터를 수집하여 단말간 혹은 단말-서버 간 데이터 교환을 통해 대량의 학습 데이터를 용이하게 획득할 수 있다. 뿐만 아니라, iid를 따르는 학습 데이터를 획득할 수 있으므로 높은 정확도로 학습을 수행할 수 있다는 장점이 있다.
단말간 혹은 단말-서버 간 데이터 교환 방식에는 각 단말이 획득한 학습 데이터의 직접 교환 방식, 학습 모델을 교환하는 방식 또는 학습 모델의 출력 분포를 교환하는 방식 등이 있다.
그러나 각 단말이 학습 데이터를 직접 교환하는 경우, 학습 데이터에 포함될 수 있는 개인 정보 등과 같은 보호되어야 하는 각종 정보가 유출될 수 있다는 우려가 있다. 그리고 학습 모델을 교환하는 방식의 경우, 학습 데이터를 전송하지 않으므로 정보 유출 문제를 해소할 수 있으나, 학습 모델의 용량으로 인해 전송해야 하는 데이터 크기가 매우 크다. 따라서 단말의 제한된 전송 요량으로 인해 전송이 용이하지 않다. 한편 학습 모델의 출력 분포를 교환하는 방식 또한 정보 유출 문제를 해소할 수 있으며, 전송해야 하는 데이터 크기 또한 작아 전송 제약을 해소할 수 있다. 반면 학습 시에 정확도가 요구되는 수준으로 향상되지 않는다는 문제가 있다.
이에 학습 데이터를 직접 교환하는 방식을 이용하여 전송 용량을 줄이고 학습 정확도를 높이면서도 정보 유출을 방지하기 위한 다양한 방법이 제안되었다. 이러한 정보 유출을 방지하기 위한 방법으로는 랜덤 노이즈를 추가하는 방법과 양자화 레벨을 조절하는 방식 및 데이터 혼합 방식 등이 잘 알려져있다. 그러나 이러한 정보 유출을 방지하기 위한 방법을 적용하는 경우, 데이터 량이 증가되거나 학습 정확도가 낮아지는 문제가 있다.
본 발명의 목적은 분산네트워크의 다수의 단말에서 인공 신경망 학습을 위한 데이터 전송 시에 개인 정보 유출을 방지할 수 있으면서 학습 정확도를 향상시킬 수 있도록 하는 학습 데이터 획득 장치 및 방법을 제공하는데 있다.
본 발명의 다른 목적은 다수의 단말 각각에서 데이터 혼합 방식으로 전송된 혼합 데이터를 재혼합하여 학습 성능을 향상시킬 수 있는 학습 데이터 획득 장치 및 방법을 제공하는데 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 학습 데이터 획득 장치는 다수의 단말 각각으로부터 다수의 학습 데이터가 혼합 비율에 따라 혼합된 혼합 데이터를 전송받고, 다수의 단말 각각으로부터 전송된 혼합 데이터를 포함된 레이블에 따라 구분하고 구분된 각 레이블을 혼합 데이터를 전송한 단말의 개수에 대응하여 구성된 재혼합 비율에 따라 재혼합하여 미리 저장된 학습 모델을 학습시키기 위한 재혼합 학습 데이터를 획득한다.
상기 다수의 단말 각각은 상기 학습 모델을 학습시키기 위한 다수의 샘플 데이터를 획득하고, 획득된 다수의 샘플 데이터 각각에 샘플 데이터를 분류하기 위한 레이블을 레이블링하여 상기 다수의 학습 데이터를 획득하며, 획득된 상기 다수의 학습 데이터를 혼합 비율에 따라 혼합하여 상기 혼합 데이터를 획득할 수 있다.
상기 다수의 단말 각각은 다수의 학습 데이터(x1, x2, …, xn) 각각에 대응하는 개별 혼합 비율(λ1, λ2, …, λn)(여기서 개별 혼합 비율(λ1, λ2, …, λn)의 총합은 1(λ1 + λ2 + … + λn = 1))의 가중합(
)으로 상기 혼합 데이터를 획득할 수 있다.
상기 개별 혼합 비율은 학습 데이터(x1, x2, …, xn) 구성하는 샘플 데이터(s1, s2, …, sn) 및 레이블(l1, l2, …, ln) 각각에 가중될 수 있다.
상기 학습 데이터 획득 장치는 다수의 단말 각각에서 전송된 혼합 데이터(
, 
, …, 
) 각각의 레이블(l1, l2, …, ln)에 대해, 개별 재혼합 비율(
, 
, …, 
)(여기서 개별 재혼합 비율(
, 
, …, 
)의 총합은 1(
+ 
+ … + 
= 1))을 조절하면서 재혼합하여 다수의 재혼합 학습 데이터(x1', x2', … xn')를 획득할 수 있다.
상기 학습 데이터 획득 장치는 상기 재혼합 학습 데이터(x1', x2', … xn')에 포함된 재혼합 샘플 데이터(s1', s2', … sn')와 대응하는 재혼합 레이블(l1', l2', … ln') 중 재혼합 샘플 데이터(s1', s2', … sn')를 상기 학습 모델을 학습시키기 위한 입력값으로 입력하고, 재혼합 레이블(l1', l2', … ln')을 상기 학습 모델의 오차를 판별하여 역전파하기 위한 진리값으로 이용할 수 있다.
상기 목적을 달성하기 위한 본 발명의 다른 실시예에 따른 학습 데이터 획득 방법은 다수의 단말 각각이 다수의 학습 데이터가 혼합 비율에 따라 혼합된 혼합 데이터를 전송하는 단계; 및 다수의 단말 각각으로부터 전송된 혼합 데이터를 포함된 레이블에 따라 구분하고 구분된 각 레이블을 혼합 데이터를 전송한 단말의 개수에 대응하여 구성된 재혼합 비율에 따라 재혼합하여 미리 저장된 학습 모델을 학습시키기 위한 재혼합 학습 데이터를 획득하는 단계를 포함한다.
따라서, 본 발명의 실시예에 따른 학습 데이터 획득 장치 및 방법은 분산네트워크의 다수의 단말에서 인공 신경망 학습을 위한 데이터 전송 시에 개인 정보 유출을 방지할 수 있으면서 학습 정확도를 향상시킬 수 있다.
도 1은 본 발명의 일 실시예에 따른 학습 데이터 획득 장치를 위한 분산 네트워크의 일예를 나타낸다.
도 2는 본 발명의 일 실시예에 따른 학습 데이터 획득 장치가 다중 경로 혼합 방식을 기반으로 학습 데이터를 획득하는 개념을 설명하기 위한 도면이다.
도 3은 본 실시예에 따른 재혼합 학습 데이터를 이용하여 학습을 수행하는 경우, 학습 정확도를 평가한 결과를 나타낸다.
도 4는 본 발명의 일 실시예에 따른 학습 데이터 획득 방법을 나타낸다.
도 2는 본 발명의 일 실시예에 따른 학습 데이터 획득 장치가 다중 경로 혼합 방식을 기반으로 학습 데이터를 획득하는 개념을 설명하기 위한 도면이다.
도 3은 본 실시예에 따른 재혼합 학습 데이터를 이용하여 학습을 수행하는 경우, 학습 정확도를 평가한 결과를 나타낸다.
도 4는 본 발명의 일 실시예에 따른 학습 데이터 획득 방법을 나타낸다.
본 발명과 본 발명의 동작상의 이점 및 본 발명의 실시에 의하여 달성되는 목적을 충분히 이해하기 위해서는 본 발명의 바람직한 실시예를 예시하는 첨부 도면 및 첨부 도면에 기재된 내용을 참조하여야만 한다.
이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시예를 설명함으로써, 본 발명을 상세히 설명한다. 그러나, 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 설명하는 실시예에 한정되는 것이 아니다. 그리고, 본 발명을 명확하게 설명하기 위하여 설명과 관계없는 부분은 생략되며, 도면의 동일한 참조부호는 동일한 부재임을 나타낸다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라, 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "...부", "...기", "모듈", "블록" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
도 1은 본 발명의 일 실시예에 따른 학습 데이터 획득 장치를 위한 분산 네트워크의 일예를 나타낸다.
도 1을 참조하면, 본 실시예에 따른 분산 네트워크는 다수의 단말(DE1 ~ DE3)을 포함한다. 다수의 단말(DE1 ~ DE3) 각각은 기지정된 학습 데이터를 획득한다. 여기서 다수의 단말(DE1 ~ DE3) 각각은 학습 데이터로 이용 가능한 샘플 데이터를 수집하고, 수집된 샘플 데이터가 무엇을 학습시키기 위한 데이터인지 레이블링하여 학습 데이터를 획득한다. 그리고 획득된 학습 데이터를 그대로 전송하지 않고, 데이터 혼합 방식에 따라 기지정된 방식으로 혼합하여 전송한다. 데이터 혼합 방식에서 다수의 단말(DE1 ~ DE3)은 서로 다른 데이터를 분류하는 학습을 위해 수집된 샘플 데이터에 대해 서로 다르게 레이블링되어 획득된 다수의 학습 데이터를 미리 지정된 비율로 혼합하여 혼합 데이터를 획득하고, 획득된 혼합 데이터를 전송한다.
그리고 분산 네트워크에는 적어도 하나의 서버(SV)가 더 포함될 수 있다. 적어도 하나의 서버(SV)는 다수의 단말(DE1 ~ DE3)에서 전달되는 혼합 데이터를 인가받고, 전달된 혼합 데이터를 기반으로 학습을 수행할 수 있다. 즉 본 실시예에서 서버(SV)는 혼합 데이터를 기반으로 학습을 수행할 수 있는 성능을 갖는 장치이다.
즉 다수의 단말(DE1 ~ DE3) 중 적어도 하나가 서버(SV)로 동작할 수도 있으며, 획득된 학습 데이터를 상호 교환할 수 있다. 그리고 다수의 단말(DE1 ~ DE3) 각각은 상호 교환된 혼합 데이터를 기반으로 각각 개별적으로 학습을 수행할 수 있다.
한편 다수의 단말(DE1 ~ DE3)과 적어도 하나의 서버(SV)는 적어도 하나의 기지국(BS)을 통해 통신을 수행할 수 있다.
특히 본 실시예에서 다수의 단말(DE1 ~ DE3) 또는 적어도 하나의 서버(SV)는 다른 단말에서 전송되는 혼합 데이터를 기지정된 방식으로 다시 혼합하여 재혼합 학습 데이터를 생성하고, 생성된 재혼합 학습 데이터를 이용하여 학습을 수행함으로써 학습 성능을 향상시킬 수 있다.
다수의 단말(DE1 ~ DE3)이 혼합 데이터를 획득하는 방법과 전송된 혼합 데이터를 재혼합하는 방법에 대한 상세한 설명은 후술한다.
도 2는 본 발명의 일 실시예에 따른 학습 데이터 획득 장치가 다중 경로 혼합 방식을 기반으로 학습 데이터를 획득하는 개념을 설명하기 위한 도면이다.
도 2에서는 설명의 편의를 위하여, 다수의 단말(DE1 ~ DE3) 중 제1 및 제2 단말(DE1, DE2)이 혼합 데이터를 생성하여 전송하고, 제3 단말(DE3)이 제1 및 제2 단말(DE1, DE2)로부터 전송된 혼합 데이터를 기반으로 재혼합 학습 데이터를 생성하는 경우를 가정하여 도시하였다.
다수의 단말(DE1 ~ DE3) 중 제1 및 제2 단말(DE1, DE2) 각각은 학습 데이터를 획득하고, 획득된 학습 데이터를 제3 단말(DE3)로 전송한다. 이때 다수의 단말(DE1, DE2) 각각은 획득된 다수의 학습 데이터를 그대로 전송하지 않고, 다수의 학습 데이터를 기지정된 방식으로 서로 혼합하여 혼합 데이터를 전송한다. 이는 상기한 바와 같이, 학습 데이터에 포함될 수 있는 정보가 유출되는 것을 방지하기 위해서이다.
제1 및 제2 단말(DE1, DE2) 각각은 학습 데이터로 이용될 기지정된 분류를 학습하기 위한 샘플 데이터를 획득하며, 도 2에서는 일예로 각각의 단말이 "2" 및 "7"의 숫자를 샘플 데이터(s1, s2)로 획득하는 경우를 도시하였다. 도 2에서와 같이 단말(DE1, DE2)이 2 종류의 숫자를 샘플 데이터로 획득하는 경우, 각 단말(DE1, DE2)은 획득된 각각의 샘플 데이터가 무엇을 분류하기 위한 샘플 데이터인지를 나타내는 레이블을 종류별로 서로 다르게 레이블링하여 학습 데이터를 획득한다.
각 단말(DE1, DE2)이 "2" 및 "7"의 2 종류의 숫자를 샘플 데이터(s1, s2)로 획득하므로, 획득하는 샘플 데이터의 분류 수에 따라 숫자 "2"에 대한 샘플 데이터(s1)에는 레이블(l1 = (1, 0))을 레이블링하고, 숫자 "7"에 대한 샘플 데이터(s2)에는 레이블(l2 = (1, 0))을 레이블링하였다. 그러나 다른 예로 0 ~ 9까지의 10개의 숫자를 샘플 데이터(s0 ~ s9)로 획득하는 것으로 가정하는 경우, 각 단말(DE1, DE2)은 획득된 샘플 데이터(s2 ~ s7) "2" 및 "7"에 대한 레이블(l2, l7)을 각각 (0, 0, 1, 0, 0, 0, 0, 0, 0, 0) 및 (0, 0, 0, 0, 0, 0, 0, 1, 0, 0)로 레이블링 할 수도 있다. 즉 각각의 단말(DE1, DE2)은 획득하도록 지정된 샘플 데이터의 분류 개수에 따라 획득된 샘플 데이터에 대응하는 레이블을 레이블링하여, 샘플 데이터와 레이블이 쌍을 이루는 학습 데이터를 획득한다.
여기서는 각 단말(DE1, DE2)이 "2" 및 "7"의 2 종류의 숫자를 샘플 데이터(s1, s2)로 획득하여 대응하는 레이블(l1, l2)을 레이블링하므로, 샘플 데이터와 레이블이 쌍을 이루는 학습 데이터(x1, x2)는 각각 x1 = (s1, l1), x2 = (s2, l2)로 획득될 수 있다.
그리고 제1 및 제2 단말(DE1, DE2)은 샘플 데이터(s1, s2)와 레이블(l1, l2) 쌍으로 구성된 학습 데이터(x1, x2)를 기지정된 방식으로 혼합하여 혼합 데이터를 생성한다. 여기서 제1 및 제2 단말(DE1, DE2)은 서로 다른 다수의 학습 데이터(x1, x2)를 혼합 비율(mixing ratio)(λ = (λ1, λ2))에 따라 수학식 1과 같이 혼합하여 혼합 데이터를 획득한다.
여기서 개별 혼합 비율(λ1, λ2)의 총합은 1(λ1 + λ2 = 1)이다. 따라서 수학식 1은 수학식 2로 표현될 수 있다.
도 2에서는 제1 단말(DE1)이 2개의 학습 데이터(x1, x2)에 대한 혼합 비율(λ1, λ2)을 각각 0.4, 0.6으로 설정하여 혼합하고, 제2 단말(DE2)은 2개의 학습 데이터(x1, x2)에 대한 혼합 비율(λ1, λ2)을 각각 0.6, 0.4으로 설정하여 혼합한 경우를 도시하였다. 즉 숫자 "2"와 "7"의 이미지가 각각 0.6, 0.4의 혼합 비율(λ1, λ2)에 따라 혼합되어 나타난다.
혼합 비율(λ = (λ1, λ2))은 학습 데이터(x1, x2)의 샘플 데이터(s1, s2)를 합성할 때, 각 샘플 데이터의 비중을 조절하기 위한 가중치이다. 그리고 혼합 비율을 샘플 데이터(s1, s2)뿐만 아니라 샘플 데이터(s1, s2)에 대응하는 레이블(l1, l2)에도 가중된다. 즉 레이블(l1, l2)에도 혼합 비율(λ1, λ2)이 가중되어 제1 단말(DE1)에서 가중된 레이블(λ1l1, λ2l2)은 각각 (0.4, 0), (0, 0.6)이 되고 제2 단말(DE2)에서 가중된 레이블(λ1l1, λ2l2)은 각각 (0.6, 0), (0.4, 0)이 된다. 그리고 혼합 데이터(
)에서는 가중된 레이블들이 결합되어 제1 단말(DE1)의 혼합 데이터(
)의 혼합 비율(λ1, λ2)이 가중된 레이블은 (0.4, 0.6)가 되고, 제2 단말(DE2)의 혼합 데이터(
)의 혼합 비율(λ1, λ2)이 가중된 레이블은 (0.6, 0.4)가 된다.
상기에서는 각 단말이 2 종류의 샘플 데이터를 획득하는 것으로 가정하여, 혼합 데이터(
)를 수학식 1과 같이 생성하는 것으로 설명하였으나, 단말(DE1, DE2)이 n가지 종류의 학습 데이터(x1, x2, … xn)를 획득하도록 지정된 경우, 혼합 데이터(
)는 수학식 3과 같이 일반화된 방식으로 획득될 수 있다.
여기서 개별 혼합 비율(λ1, λ2, …, λn)의 총합은 1(λ1 + λ2 + … + λn = 1)이다.
제3 단말(DE3)은 제1 및 제2 단말(DE1, DE2) 각각으로부터 혼합 데이터(
, 
)를 인가받고, 인가된 다수의 혼합 데이터(
, 
)를 기지정된 방식으로 재혼합(Re-Mixed)하여, 재혼합 학습 데이터(x')를 획득한다.
제3 단말(DE3)은 m개의 단말로부터 m개의 혼합 데이터(
, 
, …, 
)가 전송되면, 전송된 m개의 혼합 데이터(
, 
, …, 
) 각각에 대해 m개의 재혼합 비율(
, 
, …, 
)을 적용하여 수학식 4와 같이 재혼합한다.
여기서 m개의 재혼합 비율(
, 
, …, 
)의 총합은 1(
+ 
+ … + 
= 1)이다. 이때, 제3 단말(DE3)은 수학식 4에 따른 하나의 재혼합 학습 데이터(x')를 획득하는 것이 아니라, 각각의 단말(DE1, DE2)가 혼합 데이터를 생성하는데 적용하는 학습 데이터(x1, x2, … xn)의 개수(n)에 대응하는 개수의 재혼합 학습 데이터(x1', x2', … xn')를 획득할 수 있다.
그리고 재혼합 학습 데이터(x')의 재혼합 레이블(l')은 m개의 재혼합 비율(
, 
, …, 
)에 대응하여 재혼합 레이블(l' = lk(여기서 k ∈ {1, 2, …, m}))을 만족한다.
즉 전송된 m개의 혼합 데이터(
, 
, …, 
) 각각의 레이블(l1, l2, …, ln)에 따라, m개의 혼합 데이터(
, 
, …, 
) 각각의 레이블(l1, l2, …, ln)을 변경하면서 m개의 재혼합 비율(
, 
, …, 
)의 재혼합 레이블(lk)을 적용하여 n개의 재혼합 학습 데이터(x1', x2', … xn')를 획득한다.
즉 m개의 단말 각각이 획득하는 샘플 데이터의 개수가 n개로 가정하는 경우, 제3 단말(DE3)은 n개의 재혼합 학습 데이터(x1', x2', … xn')를 획득할 수 있다.
도 2에서와 같이 2개(m = 2)의 단말(DE1, DE2)가 각각 2개(n = 2)의 학습 데이터(x1, x2)를 혼합하여, 혼합 데이터(
, 
)를 전송하는 경우, 2개의 재혼합 비율(
, 
)은 레이블이 1인 경우와 2인 경우 각각에 대해, 수학식 3을 이용하여 수학식 5 및 6으로 계산될 수 있다.
상기한 재혼합은 실질적으로 혼합 데이터(
, 
)를 각 레이블에 따라 다시 구분하는 것과 유사한 결과를 도출한다. 즉 혼합 데이터(
, 
)에 대해 역혼합하는 것과 유사하게 동작하며, 따라서 재혼합 학습 데이터(x1', x2', … xn')는 역혼합 학습 데이터라고도 볼 수 있다.
그리고 제3 단말(DE3)은 획득된 n개의 재혼합 학습 데이터(x1', x2', … xn')를 기반으로 인공 신경망으로 구현되는 학습 모델을 학습시킬 수 있다.
획득된 n개의 재혼합 학습 데이터(x1', x2', … xn')는 각각 재혼합 샘플 데이터(s1', s2', … sn')와 재혼합 샘플 데이터(s1', s2', … sn')에 대응하는 재혼합 레이블(l1', l2', … ln')의 조합으로 구성된다. 여기서 재혼합 샘플 데이터(s1', s2', … sn')는 학습 모델의 입력값으로 이용되고, 재혼합 레이블(l1', l2', … ln')은 학습 모델의 오차를 판별하여 역전파하기 위한 진리값으로 이용될 수 있다.
도 3은 본 실시예에 따른 재혼합 학습 데이터를 이용하여 학습을 수행하는 경우, 학습 정확도를 평가한 결과를 나타낸다.
도 3에서 (a)는 업링크와 다운 링크 채널 용량이 비대칭인 경우를 나타내고, (b)는 업링크와 다운 링크 채널 용량이 대칭인 경우를 나타낸다. 그리고 도 3에서Mix2FlD는 본 실시예에 따른 재혼합 학습 데이터(x1', x2', … xn')를 이용하여 학습을 수행한 결과를 나타내고, MixFLD는 단말로부터 전송되는 혼합 데이터(
, 
, …, 
)를 이용하여 학습을 수행한 결과를 나타내며, FL, FD는 각각 학습 모델 교환 방식과 학습 모델의 출력 분포를 교환 방식에 따른 학습 결과를 나타낸다.
도 3에 도시된 바와 같이, 본 실시예와 같이, 단말로부터 혼합 데이터(
, 
, …, 
)를 전송받고, 전송된 혼합 데이터(
, 
, …, 
)를 재혼합하여 생성된 재혼합 학습 데이터(x1', x2', … xn')를 이용하여 학습을 수행하는 경우가, 혼합 데이터(
, 
, …, 
)를 그대로 이용하는 경우나, 학습 모델 교환 방식과 학습 모델의 출력 분포를 교환 방식에 비해 학습 성능이 매우 우수함을 알 수 있다.
표 1과 표 2는 각각 혼합 데이터(
, 
, …, 
)를 이용하는 경우와 본 실시예에 따른 재혼합 학습 데이터(x1', x2', … xn')를 이용하는 경우에 프라이버시와 같은 보안성에 대한 보장 정보를 계산한 결과를 나타낸다.
표 1 및 표 2에서는 각 단말이 획득한 샘플 데이터(s1, s2)와 혼합 데이터(
, 
, …, 
) 또는 재혼합 학습 데이터(x1', x2', … xn') 사이의 최소 유클리안 거리(Minimum Euclidean Distance)에 로그(log)를 취하여 계산한 결과이다.
표 1 및 표 2를 비교하면, 혼합 데이터(
, 
, …, 
)를 이용하는 경우보다 재혼합 학습 데이터(x1', x2', … xn')를 이용하는 경우에 보안성이 크게 향상됨을 알 수 있다.
도 4는 본 발명의 일 실시예에 따른 학습 데이터 획득 방법을 나타낸다.
도 2를 참조하여 도 4의 학습 데이터 획득 방법을 설명하면, 본 실시예에 따른 학습 데이터 획득 방법은 크게 분산 네트워크 상의 다수의 단말 각각이 학습 모델을 학습시키기 위한 샘플 데이터를 획득하고, 획득된 샘플 데이터로부터 보안성을 강화한 혼합 데이터를 생성하여 전송하는 혼합 데이터 획득 단계(S10) 및 다수의 단말에서 전송된 다수의 혼합 데이터를 다수의 샘플 데이터로부터 혼합 데이터를 생성하는 과정과 유사하게 다시 재혼합하여 재혼합 학습 데이터를 획득하는 재혼합 학습 데이터 획득 단계(S20) 로 구성될 수 있다.
혼합 데이터 획득 단계(S10)에서는 우선 분산 네트워크 상의 다수의 단말(DE1, DE2, …, DEm) 각각이 학습 모델을 학습시키기 위한 다수의 샘플 데이터(s1, s2, …, sn)를 획득한다(S11). 이때 다수의 단말(DE1, DE2, …, DEm) 각각은 기지정된 서로 다른 종류의 학습을 위해 서로 다른 종류의 샘플 데이터(s1, s2, …, sn)를 획득할 수 있다. 그리고 다수의 샘플 데이터(s1, s2, …, sn)가 획득되면, 획득된 샘플 데이터(s1, s2, …, sn) 각각의 종류에 대응하여 레이블(l1, l2, …, ln)을 각 샘플 데이터에 레이블링 함으로써, 다수의 학습 데이터(x1, x2, …, xn)를 획득한다(S12).
각각의 단말(DE1, DE2, …, DEm)은 획득된 다수의 학습 데이터(x1, x2, …, xn)에 대해 혼합 비율(λ = (λ1, λ2, …, λn))에 따라 혼합하여 혼합 데이터(
)를 획득한다(S13). 각각의 단말(DE1, DE2, …, DEm)은 서로 다르게 기지정된 또는 임의의 혼합 비율(λ = (λ1, λ2, …, λn))에 따라 다수의 학습 데이터(x1, x2, …, xn)를 혼합하여, 각 단말(DE1, DE2, …, DEm)에 대응하는 혼합 데이터(
, 
, …, 
)를 획득할 수 있다.
그리고 각 단말(DE1, DE2, …, DEm)은 획득된 혼합 데이터(
, 
, …, 
)를 다른 단말 또는 적어도 하나의 서버로 전송한다(S14).
한편, 재혼합 학습 데이터 획득 단계(S20)에서는 우선 단말 또는 서버가 다른 단말(DE1, DE2, …, DEm)에서 전송된 다수의 혼합 데이터(
, 
, …, 
)를 수신한다(S21). 그리고 수신된 다수의 혼합 데이터(
, 
, …, 
)를 레이블(l1, l2, …, ln)에 따라 구분하고, 구분된 각 레이블 단위로 m개의 재혼합 비율(
, 
, …, 
)을 적용하여 재혼합하여 재혼합 학습 데이터(x1', x2', … xn')를 획득한다(S22).
재혼합 학습 데이터(x1', x2', … xn')가 획득되면, 획득된 재혼합 학습 데이터(x1', x2', … xn')를 기지정된 학습 모델에 대한 학습 데이터로 이용하여 학습 모델을 학습시킨다. 이때 재혼합 학습 데이터(x1', x2', … xn')의 레이블은 재혼합 학습 데이터(x1', x2', … xn')가 학습시키는 종류에 대한 분류값으로, 학습 모델을 지도 학습 방식으로 학습될 수 있다.
본 발명에 따른 방법은 컴퓨터에서 실행시키기 위한 매체에 저장된 컴퓨터 프로그램으로 구현될 수 있다. 여기서 컴퓨터 판독가능 매체는 컴퓨터에 의해 액세스 될 수 있는 임의의 가용 매체일 수 있고, 또한 컴퓨터 저장 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함하며, ROM(판독 전용 메모리), RAM(랜덤 액세스 메모리), CD(컴팩트 디스크)-ROM, DVD(디지털 비디오 디스크)-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장장치 등을 포함할 수 있다.
본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다.
따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 청구범위의 기술적 사상에 의해 정해져야 할 것이다.
Claims (12)
- 다수의 단말 각각으로부터 다수의 학습 데이터가 혼합 비율에 따라 혼합된 혼합 데이터를 전송받고, 다수의 단말 각각으로부터 전송된 혼합 데이터를 포함된 레이블에 따라 구분하고 구분된 각 레이블을 혼합 데이터를 전송한 단말의 개수에 대응하여 구성된 재혼합 비율에 따라 재혼합하여 미리 저장된 학습 모델을 학습시키기 위한 재혼합 학습 데이터를 획득하는 학습 데이터 획득 장치.
- 제1 항에 있어서, 상기 다수의 단말 각각은
상기 학습 모델을 학습시키기 위한 다수의 샘플 데이터를 획득하고, 획득된 다수의 샘플 데이터 각각에 샘플 데이터를 분류하기 위한 레이블을 레이블링하여 상기 다수의 학습 데이터를 획득하며, 획득된 상기 다수의 학습 데이터를 혼합 비율에 따라 혼합하여 상기 혼합 데이터를 획득하는 학습 데이터 획득 장치. - 제2 항에 있어서, 상기 다수의 단말 각각은
다수의 학습 데이터(x1, x2, …, xn) 각각에 대응하는 개별 혼합 비율(λ1, λ2, …, λn)(여기서 개별 혼합 비율(λ1, λ2, …, λn)의 총합은 1(λ1 + λ2 + … + λn = 1))의 가중합()으로 상기 혼합 데이터를 획득하는 학습 데이터 획득 장치.
- 제3 항에 있어서, 상기 개별 혼합 비율은
학습 데이터(x1, x2, …, xn) 구성하는 샘플 데이터(s1, s2, …, sn) 및 레이블(l1, l2, …, ln) 각각에 가중되는 학습 데이터 획득 장치. - 제4 항에 있어서, 상기 학습 데이터 획득 장치는
다수의 단말 각각에서 전송된 혼합 데이터(,
, …,
) 각각의 레이블(l1, l2, …, ln)에 대해, 개별 재혼합 비율(
,
, …,
)(여기서 개별 재혼합 비율(
,
, …,
)의 총합은 1(
+
+ … +
= 1))을 조절하면서 재혼합하여 다수의 재혼합 학습 데이터(x1', x2', … xn')를 획득하는 학습 데이터 획득 장치.
- 제4 항에 있어서, 상기 학습 데이터 획득 장치는
상기 재혼합 학습 데이터(x1', x2', … xn')에 포함된 재혼합 샘플 데이터(s1', s2', … sn')와 대응하는 재혼합 레이블(l1', l2', … ln') 중 재혼합 샘플 데이터(s1', s2', … sn')를 상기 학습 모델을 학습시키기 위한 입력값으로 입력하고, 재혼합 레이블(l1', l2', … ln')을 상기 학습 모델의 오차를 판별하여 역전파하기 위한 진리값으로 이용하는 학습 데이터 획득 장치. - 다수의 단말 각각이 다수의 학습 데이터가 혼합 비율에 따라 혼합된 혼합 데이터를 전송하는 단계; 및
다수의 단말 각각으로부터 전송된 혼합 데이터를 포함된 레이블에 따라 구분하고 구분된 각 레이블을 혼합 데이터를 전송한 단말의 개수에 대응하여 구성된 재혼합 비율에 따라 재혼합하여 미리 저장된 학습 모델을 학습시키기 위한 재혼합 학습 데이터를 획득하는 단계를 포함하는 학습 데이터 획득 방법. - 제7 항에 있어서, 상기 혼합 데이터를 전송하는 단계는
상기 학습 모델을 학습시키기 위한 다수의 샘플 데이터를 획득하는 단계;
획득된 다수의 샘플 데이터 각각에 샘플 데이터를 분류하기 위한 레이블을 레이블링하여 상기 다수의 학습 데이터를 획득하는 단계; 및
획득된 상기 다수의 학습 데이터를 혼합 비율에 따라 혼합하여 상기 혼합 데이터를 획득하는 단계를 포함하는 학습 데이터 획득 방법. - 제8 항에 있어서, 상기 혼합 데이터를 획득하는 단계는
다수의 학습 데이터(x1, x2, …, xn) 각각에 대응하는 개별 혼합 비율(λ1, λ2, …, λn)의 가중합()으로 상기 혼합 데이터를 획득하는 학습 데이터 획득 방법.
- 제9 항에 있어서, 상기 혼합 데이터를 획득하는 단계는
학습 데이터(x1, x2, …, xn) 구성하는 샘플 데이터(s1, s2, …, sn) 및 레이블(l1, l2, …, ln) 각각에 가중되는 학습 데이터 획득 방법. - 제10 항에 있어서, 상기 재혼합 학습 데이터를 획득하는 단계는
다수의 단말 각각에서 전송된 혼합 데이터(,
, …,
) 각각의 레이블(l1, l2, …, ln)에 대해, 개별 재혼합 비율(
,
, …,
)을 조절하면서 재혼합하여 다수의 재혼합 학습 데이터(x1', x2', … xn')를 획득하는 학습 데이터 획득 방법.
- 제11 항에 있어서, 상기 학습 데이터 획득 방법은
상기 재혼합 학습 데이터(x1', x2', … xn')에 포함된 재혼합 샘플 데이터(s1', s2', … sn')와 대응하는 재혼합 레이블(l1', l2', … ln') 중 재혼합 샘플 데이터(s1', s2', … sn')를 상기 학습 모델을 학습시키기 위한 입력값으로 입력하고, 재혼합 레이블(l1', l2', … ln')을 진리값으로 이용하여 상기 학습 모델의 오차를 판별하고 역전파하여 상기 학습 모델을 학습시키는 단계를 더 포함하는 학습 데이터 획득 방법.
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190179049A KR102420895B1 (ko) | 2019-12-31 | 2019-12-31 | 다중 경로 혼합 기반 학습 데이터 획득 장치 및 방법 |
| PCT/KR2020/005517 WO2021137357A1 (ko) | 2019-12-31 | 2020-04-27 | 다중 경로 혼합 기반 학습 데이터 획득 장치 및 방법 |
| US17/847,663 US20220327426A1 (en) | 2019-12-31 | 2022-06-23 | Multipath mixing-based learning data acquisition apparatus and method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190179049A KR102420895B1 (ko) | 2019-12-31 | 2019-12-31 | 다중 경로 혼합 기반 학습 데이터 획득 장치 및 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20210085702A true KR20210085702A (ko) | 2021-07-08 |
| KR102420895B1 KR102420895B1 (ko) | 2022-07-13 |
Family
ID=76686607
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190179049A KR102420895B1 (ko) | 2019-12-31 | 2019-12-31 | 다중 경로 혼합 기반 학습 데이터 획득 장치 및 방법 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20220327426A1 (ko) |
| KR (1) | KR102420895B1 (ko) |
| WO (1) | WO2021137357A1 (ko) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190087689A1 (en) * | 2017-09-15 | 2019-03-21 | NovuMind Limited | Methods and processes of encrypted deep learning services |
| KR20190032433A (ko) | 2016-07-18 | 2019-03-27 | 난토믹스, 엘엘씨 | 분산 머신 학습 시스템들, 장치, 및 방법들 |
| KR101979115B1 (ko) * | 2017-11-20 | 2019-05-15 | 경일대학교산학협력단 | 실시간 영상의 정보 보호를 위한 장치, 이를 위한 방법 및 이 방법이 기록된 컴퓨터 판독 가능한 기록매체 |
| US20190354867A1 (en) * | 2018-05-18 | 2019-11-21 | Deepmind Technologies Limited | Reinforcement learning using agent curricula |
| JP2019215512A (ja) * | 2017-10-13 | 2019-12-19 | パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ | 予測モデル分散方法および予測モデル分散システム |
| JP2019220114A (ja) * | 2018-06-22 | 2019-12-26 | 株式会社リコー | 信号処理装置、畳み込みニューラルネットワーク、信号処理方法及び信号処理プログラム |
-
2019
- 2019-12-31 KR KR1020190179049A patent/KR102420895B1/ko active IP Right Grant
-
2020
- 2020-04-27 WO PCT/KR2020/005517 patent/WO2021137357A1/ko active Application Filing
-
2022
- 2022-06-23 US US17/847,663 patent/US20220327426A1/en active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20190032433A (ko) | 2016-07-18 | 2019-03-27 | 난토믹스, 엘엘씨 | 분산 머신 학습 시스템들, 장치, 및 방법들 |
| US20190087689A1 (en) * | 2017-09-15 | 2019-03-21 | NovuMind Limited | Methods and processes of encrypted deep learning services |
| JP2019215512A (ja) * | 2017-10-13 | 2019-12-19 | パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ | 予測モデル分散方法および予測モデル分散システム |
| KR101979115B1 (ko) * | 2017-11-20 | 2019-05-15 | 경일대학교산학협력단 | 실시간 영상의 정보 보호를 위한 장치, 이를 위한 방법 및 이 방법이 기록된 컴퓨터 판독 가능한 기록매체 |
| US20190354867A1 (en) * | 2018-05-18 | 2019-11-21 | Deepmind Technologies Limited | Reinforcement learning using agent curricula |
| JP2019220114A (ja) * | 2018-06-22 | 2019-12-26 | 株式会社リコー | 信号処理装置、畳み込みニューラルネットワーク、信号処理方法及び信号処理プログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| US20220327426A1 (en) | 2022-10-13 |
| WO2021137357A1 (ko) | 2021-07-08 |
| KR102420895B1 (ko) | 2022-07-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Aldecoa et al. | Surprise maximization reveals the community structure of complex networks | |
| CN114731274B (zh) | 分布式随机梯度下降的安全联合 | |
| KR102375755B1 (ko) | 과목 유사도에 기반한 과목 추천 시스템과 방법 및 이를 위한 컴퓨터 프로그램 | |
| CN110619535B (zh) | 一种数据处理方法及其装置 | |
| CN110796399A (zh) | 基于区块链的资源分配方法以及装置 | |
| Munea et al. | Network protocol fuzz testing for information systems and applications: a survey and taxonomy | |
| CN105991564A (zh) | 报文处理方法及装置 | |
| US20230237311A1 (en) | Decentralized federated machine-learning by selecting participating worker nodes | |
| CN115049070A (zh) | 联邦特征工程数据的筛选方法及装置、设备及存储介质 | |
| Pilavakis et al. | Testing equality of autocovariance operators for functional time series | |
| KR102420895B1 (ko) | 다중 경로 혼합 기반 학습 데이터 획득 장치 및 방법 | |
| Biehs et al. | Identification of Key Requirements for the Application of Data Sovereignty in the Context of Data Exchange | |
| Shreelekshmi et al. | Undetectable least significant bit replacement steganography | |
| CN116541870A (zh) | 用于评估联邦学习模型的方法及装置 | |
| CN111488950A (zh) | 分类模型信息输出方法及装置 | |
| US20220374724A1 (en) | Data blaming | |
| Zhou et al. | Controversial ‘pixel’prior rule for JPEG adaptive steganography | |
| Carrion‐I‐Silvestre et al. | Bounds, breaks and unit root tests | |
| Mongi | Modeling video streaming quality of experience using Taguchi and fuzzy logic methods | |
| Dahj et al. | A hybrid analytical concept to QoE index evaluation: Enhancing eMBB service detection in 5G SA networks | |
| Leszczuk et al. | Selected aspects of the new recommendation on subjective methods of assessing video quality in recognition tasks | |
| CN109948136A (zh) | 基于边缘计算的自动生成ppt模板的方法和系统 | |
| Sitanggang et al. | LAN network architecture design at Nurul Jalal Islamic Boarding School, North Jakarta | |
| de Diego et al. | Bypassing Current Limitations for Implementing a Credential Delegation for the Industry 4.0. | |
| Mehmood et al. | Demographic and welfare related covariates of macroeconomic performance in a digital age in Asia |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |