KR20240028896A - 패턴 및 그룹에 기반한 분산 합의 시스템 및 방법 - Google Patents

Abstract

본 발명은 분산 합의 시스템으로, 복수의 그룹을 포함하는 제1 그룹 세트(group set)에 제2 그룹 세트에서 선택된 제2 그룹을 추가하여 제1 그룹 세트를 업데이트하고, 상기 제2 그룹을 초기화하는 제1 과정, 상기 그룹 생성 과정에 기초하여 생성된 패턴을 패턴 세트(pattern set)에 저장하고, 상기 생성된 패턴을 초기화하여 업데이트된 패턴 세트를 생성하는 제2 과정을 수행하는 통신 패턴 생성부 및 상기 업데이트된 패턴 세트에서 선택된 제1 패턴 세트를 선택하는 제3 과정, 상기 업데이트된 제1 그룹 세트 내 참여자들을 제1 집합, 제2 집합 및 제3 집합으로 분류하는 제4 과정, 상기 제1 집합, 제2 집합 및 제3 집합에 속한 참여자들이 가중치 모델, 쌍대 변수, 보조 변수 및 업데이트 변수를 업데이트하는 제5 과정을 수행하는 분산 합의 최적화부를 포함하는 것을 특징으로 한다.

Description

패턴 및 그룹에 기반한 분산 합의 시스템 및 방법{SYSTEM AND METHOD FOR DISTRIBUTED CONSENSUS BASED ON PATTERN AND GROUP}

본 발명은 패턴 및 그룹에 기반한 분산 합의 시스템 및 방법에 관한 것으로, 보다 상세하게는, 업데이트 및 통신시간을 감소시키면서 프라이버시에 관한 문제를 해결할 수 있는 접근 분산 합의 시스템 및 방법에 관한 것이다.

인공지능을 이용한 데이터 활용에 대한 요구가 증가하면서 프라이버시 문제가 다수 발생하고 있다. 인공지능을 이용하기 위해서는 데이터를 한곳에 모아야 학습이 진행되기 때문인데, 이러한 경우 한곳에 모인 데이터에서 개 인정보가 누출되는 문제가 발생할 수 있다. 이러한 문제를 해결하고자 하는 방안으로 연합학습(Federated Learning)이 제안된 바 있다.

특히, 구글이 차세대 인공지능 학습으로 연합학습을 선택하였는데, 이에 따라 연합학습에 관련 기술에 대한 관심이 점차 높아지고 있다. 기존의 기계학습은 학습하고자 하는 데이터를 중앙 서버에 모으고, 서버에서 가중치 모델을 일괄적으로 업데이트하는 방식으로 수행되었다. 반면, 연합학습에서는 참여자의 개별 데이터를 중앙 서버로 전달하지 않고, 중앙 서버의 가중치 모델을 클라이언트로 전송하여 각각의 참여자가 가진 데이터로 업데이트를 수행한다. 이 경우, 데이터가 어느 한곳에 집중되지 않아 서버의 저장 공간, 연산량 등을 줄일 수 있고, 따라서 비용 측면에서 보다 효율적이고, 참여자의 데이터가 직접 노출되지 않아 프라이버시에 관한 문제를 일정 수준 해결할 수 있다.

디지털 기술이 발달함에 따라 개별 기기와 기관에서 독립적으로 생산, 수집, 저장하는 분산형 데이터양이 점차적으로 증가하고 있다. 분산형 데이터가 증가하는 경우, 서로 다른 기관에서 동일 목적을 가지고 진행되는 데이터를 통합하여 의미있는 결과가 도출되도록 할 수 있다. 종래 방식은 각 기관에서 분산형 데이터를 중앙 서버에 집중시켜 수집하고 있으며, 이러한 방식을 토대로 업데이트가 진행되고 있다. 이때 데이터를 익명으로 처리했다 할지라도, 서버에서 업데이트한 가중치 모델이 노출되면, 개인정보가 누출될 위험이 존재하기 때문에 프라이버시 문제가 발생할 수 있다

참여자의 개별 데이터를 직접적으로 노출하지 않는 연합학습의 도입을 통하여, 업데이트 및 통신 과정 중 발생하는 프라이버시 문제를 일정 수준 해결할 수 있다. 그러나 중앙 서버에서 참여자들의 가중치 모델을 집계하는 한, 가중치 모델의 집계 결과인 글로벌 가중치 모델을 편향시켜 모델 업데이트를 조작하는 모델 중독 공격, 방어 메커니즘이 약한 집계 알고리즘을 조작하여 글로벌 가중치 모델이 비정상적으로 작동하도록 하는 집계 공격 등이 발생할 수 있다. 이러한 공격으로부터 참여자의 개별 데이터가 직접적으로 노출되지는 않지만, 글로벌 가중치 모델이 노출되어 프라이버시 문제가 발생할 수 있다. 이러한 문제점 때문에 연합학습에서 중앙 서버가 존재하지 않는 탈 중앙 연합학습(Decentralized Federated Learning)이 필요한 실정이다.

상기와 같은 문제점을 해결하기 위한 본 발명의 목적은 높은 강도의 프라이버시가 보장되고, 모델이 수렴할 때까지의 통신시간을 감소시킬 수 있는 패턴 및 그룹에 기반한 분산 합의 시스템 및 방법을 제공하는 것이다.

상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 블록체인에 기반한 데이터 접근 시스템은, 복수의 그룹을 포함하는 제1 그룹 세트(group set)에 제2 그룹 세트에서 선택된 제2 그룹을 추가하여 제1 그룹 세트를 업데이트하고, 상기 제2 그룹을 초기화하는 제1 과정, 상기 그룹 생성 과정에 기초하여 생성된 패턴을 패턴 세트(pattern set)에 저장하고, 상기 생성된 패턴을 초기화하여 업데이트된 패턴 세트를 생성하는 제2 과정을 수행하는 통신 패턴 생성부 및 상기 업데이트된 패턴 세트에서 선택된 제1 패턴 세트를 선택하는 제3 과정, 상기 업데이트된 제1 그룹 세트 내 참여자들을 제1 집합, 제2 집합 및 제3 집합으로 분류하는 제4 과정, 상기 제1 집합, 제2 집합 및 제3 집합에 속한 참여자들이 가중치 모델, 쌍대 변수, 보조 변수 및 업데이트 변수를 업데이트하는 제5 과정을 수행하는 분산 합의 최적화부를 포함하는 것을 특징으로 한다.

또한, 상기 제1 과정을 번 반복하고, 상기 제2 과정을 번 반복하는 것을 특징으로 한다.

또한, 상기 제4 과정은, 하기 (수학식 1)의 방식으로 수행되는 것을 특징으로 한다.

(수학식 1)

또한, 상기 제4 과정은, 상기 제1 집합에 속한 제1 참여자들이 가중치 모델, 쌍대 변수 및 보조 변수를 제1차 업데이트하고, 상기 제2 집합에 속한 제2 참여자들에게 상기 제1차 업데이트된 보조 변수를 전송하여 업데이트 변수를 제1차 업데이트하는 제(4-1) 과정, 상기 제2 집합에 속한 제2 참여자들이 상기 제1 차 업데이트된 가중치 모델, 쌍대 변수 및 보조 변수를 제2 차 업데이트하고, 상기 제3 집합에 속한 제3 참여자들에게 상기 제2차 업데이트된 보조 변수를 전송하여 상기 제1 차 업데이트된 변수를 제2차 업데이트하는 제(4-2) 과정, 상기 제3 집합에 속한 제3 참여자들이 상기 제2 차 업데이트된 가중치 모델, 쌍대 변수 및 보조 변수를 제3차 업데이트하고, 상기 제3 집합에 속한 제3 참여자들 간 상기 제2차 업데이트된 보조 변수의 평균값을 계산하는 제(4-3) 과정, 및 상기 제3 집합에 속한 참여자들이 상기 제3차 업데이트된 가중치 모델, 쌍대 변수 및 보조 변수를 제4차 업데이트하고, 상기 제2차 업데이트된 업데이트 변수를 제3차 업데이트하는 제(4-4) 과정으로 수행되는 것을 특징으로 한다.

또한, 상기 제1 집합에 속한 제1 참여자들이 가중치 모델, 쌍대 변수 및 보조 변수를 제1차 업데이트하는 과정, 상기 제1 차 업데이트된 가중치 모델, 쌍대 변수 및 보조 변수를 제2 차 업데이트하는 과정, 상기 제2 차 업데이트된 가중치 모델, 쌍대 변수 및 보조 변수를 제3차 업데이트하는 과정은 하기 (수학식 2)로 수행되는 것을 특징으로 한다.

(수학식 2)

또한, 상기 제3 집합에 속한 참여자들이 상기 제3차 업데이트된 가중치 모델, 쌍대 변수 및 보조 변수를 제4차 업데이트하는 과정은 하기 (수학식 3)으로 수행되는 것을 특징으로 한다.

(수학식 3)

또한, 분산 합의 방법으로, 복수의 그룹을 포함하는 제1 그룹 세트(group set)에 제2 그룹 세트에서 선택된 제2 그룹을 추가하여 제1 그룹 세트를 업데이트하고, 상기 제2 그룹을 초기화하는 단계, 상기 그룹 생성 과정에 기초하여 생성된 패턴을 패턴 세트(pattern set)에 저장하고, 상기 생성된 패턴을 초기화하여 업데이트된 패턴 세트를 생성하는 제2 과정을 수행하는 단계, 상기 업데이트된 패턴 세트에서 선택된 제1 패턴 세트를 선택하는 단계, 상기 업데이트된 제1 그룹 세트 내 참여자들을 제1 집합, 제2 집합 및 제3 집합으로 분류하는 단계 및 상기 제1 집합, 제2 집합 및 제3 집합에 속한 참여자들이 가중치 모델, 쌍대 변수, 보조 변수 및 업데이트 변수를 업데이트하는 단계를 포함하는 것을 특징으로 한다.

본 발명에 따른 패턴 및 그룹에 기반한 분산 합의 시스템 및 방법은 기존의 분산 합의 최적화 방법 이상의 프라이버시를 보장하며, 모델이 수렴할 때까지의 통신시간을 감소시킬 수 있다.

또한, 특정 참여자의 가중치 모델을 다른 사람이 알기 어렵게 함으로써 프라이버시 강도를 현저하게 향상시킬 수 있다. 또한, 스마트폰, 웨어러블 기기, 스마트홈 장치, 자동차 등 개인화된 제품에서 개인정보가 효과적으로 보호되도록 할 수 있다.

다만, 본 발명의 실시 예들에 따른 패턴 및 그룹에 기반한 분산 합의 시스템 및 방법이 달성할 수 있는 효과는 이상에서 언급한 것들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

본 발명에 관한 이해를 돕기 위해 상세한 설명의 일부로 포함되는, 첨부도면은 본 발명에 대한 실시예를 제공하고, 상세한 설명과 함께 본 발명의 기술적 사상을 설명한다.
도 1은 종래 연합학습 시스템을 도시한 개념도이다.
도 2는 본 발명에 따른 패턴 및 그룹에 기반한 분산 합의 시스템(1000)의 블록도이다.
도 3은 본 발명에 따른 통신 패턴 생성부(100)에서 통신 패턴을 생성하는 과정을 도시한 것이다.
도 4는 본 발명에 따른 분산 합의 최적화부(110)에서 분산 합의를 최적화하는 과정을 도시한 것이다.
도 5는 본 발명에 따른 분산 합의 시스템의 일 실시예를 도시한 개념도이다.
도 6 및 도 7은 종래 분산 합의 시스템의 실행결과와 본 발명에 따른 분산 합의 시스템(1000)의 실행 결과를 나타낸 그래프이다.
도 8은 본 발명에 따른 패턴 및 그룹에 기반한 분산 합의 방법을 도시한 순서도이다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.

도 1은 종래 연합학습 시스템을 도시한 개념도이다.

도 1을 참조하면, 종래 연학학습 시스템은 클라이언트와 서버로 구성되며 동작과정은 다음과 같을 수 있다. 먼저, 각 클라이언트는 자신이 소유한 개별 데이터 집합을 이용하여 가중치 모델()을 업데이터한 후 서버에 전송할 수 있다. 서버는 클라이언트들의 가중치 모델을 수신하고 평균을 산출하여(=) 기존의 글로벌 가중치 모델을 업데이트하고, 뒤(), 다시 클라이언트에게 업데이트된 가중치 모델()을 전송할 수 있다.

최적화는 일반적으로 어떠한 제약조건이 존재할 수도 있는 상황에서 함수의 최대치와 최소치를 찾거나, 효율적인 실행속도와 주파수대역폭(Bandwidth)을 증가시키고, 메모리 요구량을 감소시키는 방향으로 시스템을 개선하는 과정을 의미할 수 있다. 연합학습에서의 최적화는 주어진 가중치 모델 중에서 목적함수(Objective Function) 를 최소화 (혹은 최대화) 하는 최적해(Optimum)를 찾는 것을 의미할 수 있다. 이를 수학적으로 간단히 표현하면 와 같이 표현될 수 있다.

한편, 전역 최소 해를 찾는 것이 일반적으로 어려우므로 지역 최소 해를 찾는 것만으로도 때때로 충분히 의미 있게 생각하기도 하지만, 전역 최소 해를 찾는 것이 최적화의 최종목적이다. ADMM은 원래의 문제보다 최적화가 쉬운 부분문제로 분할하고, 이를 취합함으로써 복잡한 원 문제를 해결하는 방식의 볼록 최적화(Convex Optimization) 알고리즘일 수 있다. 이러한 알고리즘은 선형 제약조건을 효과적으로 처리할 수 있다. 또한, 부드럽지 않거나 복합적인(Composite) 목적함수를 최적화할 때 유용하며, 쌍대이론을 토대로 체계적으로 알고리즘을 구성할 수 있다.

ADMM 기반의 분산 합의 최적화 알고리즘인 I-ADMM(Incremental ADMM) 알고리즘은 참여자 개인의 가중치 모델을 업데이트한 후, 다음 참여자에게 업데이트된 보조변수를 송신하는 단방향 통신 방법을 사용하기 때문에 통신시간이 다수 발생할 수 있다. 또한, , , 이 공개되어 있으므로 참여자가 보조변수를 송신할 때 악의적인 참여자나 외부 공격자가 도청을 시도한다면 해당 참여자의 개별 데이터가 노출될 수 있으므로, 프라이버시 문제가 발생할 수 있다. 따라서, 기존의 분산 합의 최적화 알고리즘보다 모든 참여자의 가중치 모델이 수렴할 때까지의 업데이트 및 통신시간은 줄이며, 프라이버시도 고려한 새로운 시스템 및 방법을 제안한다.

도 2는 본 발명에 따른 패턴 및 그룹에 기반한 분산 합의 시스템(1000)의 블록도이다.

도 2를 참조하면, 본 발명에 따른 패턴 및 그룹에 기반한 분산 합의 시스템(1000)은 통신 패턴 생성부(100) 및 분산 합의 최적화부(110)을 포함할 수 있다. 본 발명에 따른 시스템 및 방법은 모든 참여자의 가중치 모델이 수렴할 때까지의 업데이트 및 통신시간을 감소시키며, 프라이버시 문제를 해결할 수 있다.

통신 패턴 생성부(100)는 복수의 그룹을 포함하는 제1 그룹 세트(group set)에 제2 그룹 세트에서 선택된 제2 그룹을 추가하여 제1 그룹 세트를 업데이트하고, 상기 제2 그룹을 초기화하는 제1 과정, 상기 그룹 생성 과정에 기초하여 생성된 패턴을 패턴 세트(pattern set)에 저장하고, 상기 생성된 패턴을 초기화하여 업데이트된 패턴 세트를 생성하는 제2 과정을 수행할 수 있다.

통신 패턴 생성부(100)는 통신 패턴을 생성함에 있어, Kirkman Triple System을 이용할 수 있다. 여기서 Kirkman Triple System은 Kirkman’s Schoolgirl Problem에 대한 해결책으로 제안된 것이다. Kirkman’s Schoolgirl Problem이란 한 학교의 15명의 젊은 여성이 7일 동안 3명씩 나란히 걸으며, 같은 사람 2명이 나란히 두 번 걷지 않도록 매일 나란히 걷는 사람에 대해 배치를 해야 하는 문제를 의미한다. 이러한 문제를 해결하기 위해서는 사람 수와 며칠 동안 걸어야 하는지 등을 고려하여 사람을 배치하는 조합론이 필요하다. Kirkman Triple System은 15명이 3명씩 나란히 걷는 경우뿐만 아니라 고려해야 할 총인원이 6으로 나누었을 때 나머지가 3인 경우 적용이 가능하며, 같은 사람 2명이 나란히 두 번 걷지 않도록 매일 나란히 걷는 사람에 대한 배치를 만들 수 있는 조합론이라고 할 수 있다.

와 같이 참여자 수가 6으로 나누었을 때 나머지가 3이면서 9의 배수인 경우에서 Kirkman Triple System을 통한 결과은 하기 (표 1)과 같다.

Kirkman Triple System 생성에서 패턴의 개수는 이며, 그룹의 수는 이다. 그룹 내 첫 번째 참여자 에서 일 경우, 두번째 참여자 에서 일 경우, 그리고 세번째 참여자 에서 일 경우 를 만큼 감소시킨다.

한편, 본 명세서에서 사용되는 노테이션(Notation)은 하기 (표 2)와 같다.

본 명세서에서는 9의 배수이면서 6으로 나누었을 때 나머지가 3이 되는 수 중, 참여자 수가 9일 때로 국한하여 통신 패턴을 도출하였다. 예를 들어, 참여자가 9명 일 때의 Kirkman Triple System은 표 3과 같다.

도 3은 본 발명에 따른 통신 패턴 생성부(100)에서 통신 패턴을 생성하는 과정을 도시한 것이다.

도 3을 참조하면, 통신 패턴 생성부(100)는 Kirkman Triple System 방법에 기초하여 통신 패턴을 생성할 수 있다. 구체적인 동작과정은 아래와 같을 수 있다.

(초기화 단계)

통신 패턴 생성부(100)는 패턴 세트(), 그룹세트(),를 초기화할 수 있다.

(그룹 생성 및 저장)

통신 패턴 생성부(100)는 Kirkman Triple System를 통해 생성된 결과물(그룹 세트)에서 하나의 그룹()을 선택하여, 해당 그룹을 에 추가하고 를 초기화할 수 있다.

(그룹 생성 및 저장 과정 반복)

통신 패턴 생성부(100)는 그룹 생성 및 저장 단계를 번 반복하여 수행할 수 있다.

(패턴생성 및 저장)

통신 패턴 생성부(100)는 그룹 생성 및 저장 단계, 그룹 생성 및 저장 반복단계를 수행하여 생성된 패턴 를 에 추가하여 저장하고, 를 초기화할 수 있다.

(반복수행)

통신 패턴 생성부(100)는 위 그룹 생성 및 저장, 그룹 생성 및 저장 과정을 반복하고, 패턴 생성 및 저장 단계를 번 반복할 수 있다.

(반환)

통신 패턴 생성부(100)는 생성된 를 반환할 수 있다.

도 4는 본 발명에 따른 분산 합의 최적화부(110)에서 분산 합의를 최적화하는 과정을 도시한 것이다.

도 4를 참조하면, 분산 합의 최적화부(110)는 상기 업데이트된 패턴 세트에서 선택된 제1 패턴 세트를 선택하는 제3 과정, 상기 업데이트된 제1 그룹 세트 내 참여자들을 제1 집합, 제2 집합 및 제3 집합으로 분류하는 제4 과정, 상기 제1 집합, 제2 집합 및 제3 집합에 속한 참여자들이 가중치 모델, 쌍대 변수, 보조 변수 및 업데이트 변수를 업데이트하는 제5 과정을 수행할 수 있다.

여기서, 제4 과정은, 상기 제1 집합에 속한 제1 참여자들이 가중치 모델, 쌍대 변수 및 보조 변수를 제1차 업데이트하고, 상기 제2 집합에 속한 제2 참여자들에게 상기 제1차 업데이트된 보조 변수를 전송하여 업데이트 변수를 제1차 업데이트하는 제(4-1) 과정, 상기 제2 집합에 속한 제2 참여자들이 상기 제1 차 업데이트된 가중치 모델, 쌍대 변수 및 보조 변수를 제2 차 업데이트하고, 상기 제3 집합에 속한 제3 참여자들에게 상기 제2차 업데이트된 보조 변수를 전송하여 상기 제1 차 업데이트된 변수를 제2차 업데이트하는 제(4-2) 과정, 상기 제3 집합에 속한 제3 참여자들이 상기 제2 차 업데이트된 가중치 모델, 쌍대 변수 및 보조 변수를 제3차 업데이트하고, 상기 제3 집합에 속한 제3 참여자들 간 상기 제2차 업데이트된 보조 변수의 평균값을 계산하는 제(4-3) 과정 및 상기 제3 집합에 속한 참여자들이 상기 제3차 업데이트된 가중치 모델, 쌍대 변수 및 보조 변수를 제4차 업데이트하고, 상기 제2차 업데이트된 업데이트 변수를 제3차 업데이트하는 제(4-4) 과정으로 수행될 수 있다.

분산 합의 최적화부(110)는 모든 참여자의 가중치 모델이 수렴하기까지의 업데이트 및 통신시간을 줄이면서 프라이버시까지 고려한 패턴 및 그룹 기반 분산 합의 최적화 방법을 수행할 수 있다. 즉, 분산 합의 최적화부(110)는 하나의 참여자가 다른 한 명의 참여자에게만 보조변수를 송신하는 단방향 통신 방법이 아니라 그룹을 만들어 그룹 내에서는 단방향으로 통신을 하고, 그룹 간에는 양방향으로 통신을 수행하도록 할 수 있다. 모든 단방향 통신은 그룹끼리 병렬적으로 진행되기 때문에 통신시간을 줄일 수 있다. 제4 과정의 상세과정은 다음과 같을 수 있다.

(통신 패턴 생성)

통신 패턴 생성 알고리즘에 의해 그룹 안에서 중복되는 사람과의 통신을 최소화할 수 있는 Kirkman Triple System 통신 패턴을 생성할 수 있다.

(초기화 단계)

분산 합의 최적화부(110)는 쌍대 변수(), 보조 변수 (), 업데이트 변수 ()를 모두 0으로 초기화하며, 가중치 모델()을 무작위 값으로 초기화할 수 있다.

(통신 패턴 선택)

분산 합의 최적화부(110)는 패턴 집합 에서 하나의 패턴을 선택할 수 있다.

(그룹 내 참여자 순서 설정)

분산 합의 최적화부(110)는 각 그룹 내 참여자 중 무작위로 한 명씩 선택하여 선택된 순서대로 하기 (수학식 1)의 방식으로 수행할 수 있다.

여기서, 은 제1 집합, 는 제2 집합, 는 제3 집합. 는 에서의 참여자를 의미할 수 있다.

(그룹 내 합의 업데이트)

에 있는 참여자들은 병렬적으로 하기 (수학식 2)의 방식으로 , , 를 업데이트 할 수 있다.

여기서, 는 참여자 에서 번째 가중치 모델, 는 참여자 에서 번째 쌍대 변수, 참여자 에서 번째 보조 변수, 는 하이퍼 파라미터(Hyper Parameter)이다.

(그룹 내 단방향 통신)

에 있는 참여자들은 같은 그룹에 속한 다음 참여자 에게 를 전송하고, 를 업데이트할 수 있다.

(그룹 내 합의 업데이트)

에 있는 참여자들은 병렬적으로 상기 (수학식 2)를 실행하여 , , 를 업데이트 할 수 있다.

(그룹 내 단방향 통신)

에 있는 참여자들은 같은 그룹에 속한 다음 참여자 에게 를 전송하고, 를 업데이트할 수 있다.

(그룹 내 합의 업데이트)

에 있는 참여자들은 병렬적으로 상기 (수학식 2)를 실행하여 , , 를 업데이트 할 수 있다.

(그룹 간 양방향 통신 및 업데이트)

에 있는 참여자들은 다른 그룹의 참여자 들과 를 공유한 뒤, 평균을 계산하여 를 업데이트할 수 있다.

(그룹별 집계 업데이트)

에 있는 참여자들은 병렬적으로 하기 (수학식 3)의 방식으로 , , 를 업데이트 할 수 있다. 또한 를 업데이트 할 수 있다.

(반복)

분산 합의 최적화부(110)는 통신 패턴 선택 단계부터 그룹별 집계 업데이트 단계까지 모든 참여자의 가중치 모델이 수렴할 때까지 반복한다.

도 5는 본 발명에 따른 분산 합의 시스템의 일 실시예를 도시한 개념도이다.

도 5를 참조하면, 상기 (표 3)을 이용하여 참여자가 9명일 때의 시나리오를 (a), (b), (c), (d)로 도시하였다.

첫 번째로, (표 3)의 3번 행 패턴을 사용하고, 그룹 내 참여자의 업데이트 및 통신 순서는 무작위로 설정하여 패턴 및 그룹 기반 분산 합의 최적화 방법을 실행한다. 실행과정은 도 5의 (a)와 같으며, 은 참여자 1, 4, 7을 의미하고, 는 참여자 2, 5, 8을 의미하며, 는 참여자 3, 6, 9를 의미할 수 있다.

먼저, 참여자 1, 4, 7은 병렬적으로 (수학식 2)를 실행하여 자신의 가중치 모델, 쌍대 변수, 보조변수인 를 업데이트 한 뒤, 참여자 2, 5, 8에게 를 전송하여 를 업데이트 할 수 있다.

이후 참여자 2, 5, 8은 이전 참여자의 을 수신하고, 이를 이용하여 병렬적으로 상기 (수학식 2)를 실행하여 를 업데이트한 뒤, 참여자 3, 6, 9에게 을 전송하며 를 업데이트 할 수 있다. 참여자 3, 6, 9는 이전 참여자의 을 수신하고, 이를 병렬적으로 상기 (수학식 2)를 실행하여 을 업데이트할 수 있다.

이후 참여자 3, 6, 9는 양방향 통신으로 을 송수신하고 평균을 구하여 를 업데이트 할 수 있다. 또한, 병렬적으로 (수학식 3)을 실행하여 을 업데이트하며 를 업데이트 할 수 있다.

두 번째로, (표 3)의 0번 행 패턴을 사용하고, 그룹 내 참여자의 업데이트 및 통신 순서는 무작위로 설정하여 패턴 및 그룹 기반 분산 합의 최적화 알고리즘을 실행한다. 실행과정은 도 5의 (b)와 같으며, 은 참여자 4, 2, 3을 의미하고, 는 참여자 1, 5, 6을 의미하며, 는 참여자 7, 8, 9를 의미한다.

먼저, 참여자 4, 2, 3은 병렬적으로 (수학식 2)를 실행하여 자신의 가중치 모델, 쌍대 변수, 보조변수인 를 업데이트 한 뒤, 참여자 1, 5, 6에게 를 전송하여 를 업데이트 할 수 있다.

이후 참여자 1, 5, 6은 이전 참여자의 을 수신하고, 이를 이용하여 병렬적으로 상기 (수학식 2)를 실행하여 를 업데이트한 뒤, 참여자 7, 8, 9에게 을 전송하며 를 업데이트 할 수 있다. 참여자 7, 8, 9는 이전 참여자의 을 수신하고, 이를 병렬적으로 상기 (수학식 2)를 실행하여 을 업데이트할 수 있다.

이후 참여자 7, 8, 9는 양방향 통신으로 을 송수신하고 평균을 구하여 를 업데이트 할 수 있다. 또한, 병렬적으로 (수학식 3)을 실행하여 을 업데이트하며 를 업데이트 할 수 있다.

세 번째로, (표 3)의 1번 행 패턴을 사용하고, 그룹 내 참여자의 업데이트 및 통신 순서는 무작위로 설정하여 패턴 및 그룹 기반 분산 합의 최적화 알고리즘을 실행한다. 실행과정은 도 5의 (c)와 같으며, 은 참여자 5, 6, 3을 의미하고, 는 참여자 9, 7, 8을 의미하며, 는 참여자 1, 2, 4를 의미한다.

먼저, 참여자 5, 6, 3은 병렬적으로 (수학식 2)를 실행하여 자신의 가중치 모델, 쌍대 변수, 보조변수인 를 업데이트 한 뒤, 참여자 1, 2, 4에게 를 전송하여 를 업데이트 할 수 있다.

이후 참여자 9, 7, 8은 이전 참여자의 을 수신하고, 이를 이용하여 병렬적으로 상기 (수학식 2)를 실행하여 를 업데이트한 뒤, 참여자 1, 2, 4에게 을 전송하며 를 업데이트 할 수 있다. 참여자 1, 2, 4는 이전 참여자의 을 수신하고, 이를 병렬적으로 상기 (수학식 2)를 실행하여 을 업데이트할 수 있다.

이후 참여자 1, 2, 4는 양방향 통신으로 을 송수신하고 평균을 구하여 를 업데이트 할 수 있다. 또한, 병렬적으로 (수학식 3)을 실행하여 을 업데이트하며 를 업데이트 할 수 있다.

네 번째로, (표 3)의 2번 행 패턴을 사용하고, 그룹 내 참여자의 업데이트 및 통신 순서는 무작위로 설정하여 패턴 및 그룹 기반 분산 합의 최적화 알고리즘을 실행한다. 실행과정은 도 5의 (d)와 같으며, 은 참여자 8, 9, 7을 의미하고, 는 참여자 6, 2, 3을 의미하며, 는 참여자 1, 4, 5를 의미한다.

먼저, 참여자 8, 9, 7은 병렬적으로 (수학식 2)를 실행하여 자신의 가중치 모델, 쌍대 변수, 보조변수인 를 업데이트 한 뒤, 참여자 6, 2, 3에게 를 전송하여 를 업데이트 할 수 있다.

이후 참여자 6, 2, 3은 이전 참여자의 을 수신하고, 이를 이용하여 병렬적으로 상기 (수학식 2)를 실행하여 를 업데이트한 뒤, 참여자 1, 4, 5에게 을 전송하며 를 업데이트 할 수 있다. 참여자 1, 4, 5는 이전 참여자의 을 수신하고, 이를 병렬적으로 상기 (수학식 2)를 실행하여 을 업데이트할 수 있다.

이후 참여자 1, 4, 5는 양방향 통신으로 을 송수신하고 평균을 구하여 를 업데이트 할 수 있다. 또한, 병렬적으로 (수학식 3)을 실행하여 을 업데이트하며 를 업데이트 할 수 있다. 네 번째까지 진행한 결과, 모든 참여자의 가중치 모델이 수렴하지 않는다면, 패턴 및 그룹 기반 분산 합의 최적화 알고리즘의 통신 패턴 선택 단계부터 그룹별 집계 업데이트 단계까지 모든 참여자의 가중치 모델이 수렴할 때까지 반복한다.

도 6 및 도 7은 종래 분산 합의 시스템의 실행결과와 본 발명에 따른 분산 합의 시스템(1000)의 실행 결과를 나타낸 그래프이다.

도 6 및 도 7을 참조하면, 본 발명에 따른 분산 합의 시스템(1000)을 통한 패턴 및 그룹 기반 분산 합의 최적화 방법의 수렴성과 업데이트 및 통신시간을 평가하기 위한 수치 실험결과를 도시한 것이다. 본 명세서에도 가중치 모델의 수렴성과 업데이트 및 통신시간을 평가하는 실험을 수행하기 전에 Comm Pattern Generation 알고리즘으로 패턴을 생성한다.

가중치 모델의 수렴성을 평가하는 지표로써 예측값과 실제 값에 대한 분산으로 회귀 모델을 평가하는 R2-Score와 가중치 모델의 예측값과 실제값 차이의 합으로 회귀 모델을 평가하는 Mean-Squared-Error를 사용한다. 본 실험에서 목적함수를 Lasso Regression으로 설정하고, Scikit-Learn에서 지원하는 datasets.load_diabetes() 당뇨병 데이터 집합을 사용하여 1년 동안의 당뇨병 진행도를 예측하는 문제를 해결할 수 있다.

또한, 이러한 환경에서 가중치 모델의 수렴성과 업데이트 및 통신시간을 평가하였다. 종래의 분산 합의 최적화 방법과 본 발명에 따른 분산 합의 최적화 방법을 실행했을 때의 R2-Score 비교는 도 6과 같으며, Mean-Squared-Error 비교는 도 7과 같다.

도 6 및 도 7의 (a)는 종래 분산 합의 최적화 알고리즘을 실행했을 때의 결과를 나타낸 것이고, 도 6 및 도 7의 (b)는 본 발명에 따른 분산 합의 최적화 방법을 실행했을 때의 결과를 나타낸 것이다. 도 6의 (a)는 9명의 참여자 모두 R2-Score 임계점인 0.345에 도달하는데 21번의 Step이 필요한 데 반해, 도 6의 (b)는 7번의 Step이 필요한 것을 확인할 수 있다.

또한, 도 7의 (a)는 9명의 참여자 모두 Mean-Squared-Error 임계점인 3750에 도달하는데 21번의 Step이 필요한 데 반해, 도 7의 (b)는 7번의 Step이 필요한 것을 확인할 수 있다. 가중치 모델의 성능이 임계점에 도달하고, 이후의 Step들에서도 성능이 임계점과 크게 차이 나지 않을 때 수렴한다고 한다. 종래의 분산 합의 최적화 알고리즘 실험결과는 21번의 Step으로 참여자 모두의 수렴이 이루어지지만 본 발명에 따른 분산 합의 최적화 알고리즘의 실험결과는 7번의 Step만으로 참여자 모두의 수렴이 이루어진다.

한 번의 통신시간이 5초라 가정하여 실험을 진행하였으며 참여자 모두의 가중치 모델 수렴이 이루어지는 시간은 하기 (표 4)와 같다. 이러한 실험결과에 따르면 본 발명에 따른 분산 합의 최적화 알고리즘은 종래의 분산 합의 최적화 알고리즘보다 가중치 모델의 성능이 떨어지지 않으며, 모든 참여자의 가중치 모델이 수렴할 때까지 필요한 업데이트 및 통신시간을 약 66.7% 단축할 수 있다.

도 8은 본 발명에 따른 패턴 및 그룹에 기반한 분산 합의 방법을 도시한 순서도이다.

도 8을 참조하면, 본 발명에 따른 패턴 및 그룹에 기반한 분산 합의 방법은 복수의 그룹을 포함하는 제1 그룹 세트(group set)에 제2 그룹 세트에서 선택된 제2 그룹을 추가하여 제1 그룹 세트를 업데이트하고, 상기 제2 그룹을 초기화하는 단계, 상기 그룹 생성 과정에 기초하여 생성된 패턴을 패턴 세트(pattern set)에 저장하고, 상기 생성된 패턴을 초기화하여 업데이트된 패턴 세트를 생성하는 제2 과정을 수행하는 단계(S801) 및

상기 업데이트된 패턴 세트에서 선택된 제1 패턴 세트를 선택하는 단계, 상기 업데이트된 제1 그룹 세트 내 참여자들을 제1 집합, 제2 집합 및 제3 집합으로 분류하는 단계; 및 상기 제1 집합, 제2 집합 및 제3 집합에 속한 참여자들이 가중치 모델, 쌍대 변수, 보조 변수 및 업데이트 변수를 업데이트하는 단계(S802)를 포함할 수 있다.

본 발명의 실시예에 따른 방법의 동작은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 프로그램 또는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산 방식으로 컴퓨터로 읽을 수 있는 프로그램 또는 코드가 저장되고 실행될 수 있다.

또한, 컴퓨터가 읽을 수 있는 기록매체는 롬(rom), 램(ram), 플래시 메모리(flash memory) 등과 같이 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치를 포함할 수 있다. 프로그램 명령은 컴파일러(compiler)에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터(interpreter) 등을 사용해서 컴퓨터에 의해 실행될 수 있는 고급 언어 코드를 포함할 수 있다.

본 발명의 일부 측면들은 장치의 문맥에서 설명되었으나, 그것은 상응하는 방법에 따른 설명 또한 나타낼 수 있고, 여기서 블록 또는 장치는 방법 단계 또는 방법 단계의 특징에 상응한다. 유사하게, 방법의 문맥에서 설명된 측면들은 또한 상응하는 블록 또는 아이템 또는 상응하는 장치의 특징으로 나타낼 수 있다. 방법 단계들의 몇몇 또는 전부는 예를 들어, 마이크로프로세서, 프로그램 가능한 컴퓨터 또는 전자 회로와 같은 하드웨어 장치에 의해(또는 이용하여) 수행될 수 있다. 몇몇의 실시예에서, 가장 중요한 방법 단계들의 하나 이상은 이와 같은 장치에 의해 수행될 수 있다.

실시예들에서, 프로그램 가능한 로직 장치(예를 들어, 필드 프로그머블 게이트 어레이)가 여기서 설명된 방법들의 기능의 일부 또는 전부를 수행하기 위해 사용될 수 있다. 실시예들에서, 필드 프로그머블 게이트 어레이는 여기서 설명된 방법들 중 하나를 수행하기 위한 마이크로프로세서와 함께 작동할 수 있다. 일반적으로, 방법들은 어떤 하드웨어 장치에 의해 수행되는 것이 바람직하다.

이상 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

1000: 블록체인 기반 접근 시스템
100: 통신 패턴 생성부
110: 분산 합의 최적화부

Claims (7)

1. 분산 합의 시스템으로,
   복수의 그룹을 포함하는 제1 그룹 세트(group set)에 제2 그룹 세트에서 선택된 제2 그룹을 추가하여 제1 그룹 세트를 업데이트하고, 상기 제2 그룹을 초기화하는 제1 과정, 상기 그룹 생성 과정에 기초하여 생성된 패턴을 패턴 세트(pattern set)에 저장하고, 상기 생성된 패턴을 초기화하여 업데이트된 패턴 세트를 생성하는 제2 과정을 수행하는 통신 패턴 생성부; 및
   상기 업데이트된 패턴 세트에서 선택된 제1 패턴 세트를 선택하는 제3 과정, 상기 업데이트된 제1 그룹 세트 내 참여자들을 제1 집합, 제2 집합 및 제3 집합으로 분류하는 제4 과정, 상기 제1 집합, 제2 집합 및 제3 집합에 속한 참여자들이 가중치 모델, 쌍대 변수, 보조 변수 및 업데이트 변수를 업데이트하는 제5 과정을 수행하는 분산 합의 최적화부를 포함하는 것을 특징으로 하는, 분산 합의 시스템.
2. 청구항 1에 있어서,
   상기 통신 패턴 생성부는,
   상기 제1 과정을 번 반복하고, 상기 제2 과정을 번 반복하는 것을 특징으로 하는, 분산 합의 시스템.
   (여기서, 는 이고, 은 총 참여자 수임)
3. 청구항 2에 있어서,
   상기 제4 과정은,
   하기 (수학식 1)의 방식으로 수행되는 것을 특징으로 하는, 분산 합의 시스템.
   (수학식 1)
   
   (여기서, 은 제1 집합, 는 제2 집합, 는 제3 집합. 는 에서의 참여자임)
4. 청구항 3에 있어서,
   상기 제4 과정은,
   상기 제1 집합에 속한 제1 참여자들이 가중치 모델, 쌍대 변수 및 보조 변수를 제1차 업데이트하고, 상기 제2 집합에 속한 제2 참여자들에게 상기 제1차 업데이트된 보조 변수를 전송하여 업데이트 변수를 제1차 업데이트하는 제(4-1) 과정,
   상기 제2 집합에 속한 제2 참여자들이 상기 제1 차 업데이트된 가중치 모델, 쌍대 변수 및 보조 변수를 제2 차 업데이트하고, 상기 제3 집합에 속한 제3 참여자들에게 상기 제2차 업데이트된 보조 변수를 전송하여 상기 제1 차 업데이트된 변수를 제2차 업데이트하는 제(4-2) 과정,
   상기 제3 집합에 속한 제3 참여자들이 상기 제2 차 업데이트된 가중치 모델, 쌍대 변수 및 보조 변수를 제3차 업데이트하고, 상기 제3 집합에 속한 제3 참여자들 간 상기 제2차 업데이트된 보조 변수의 평균값을 계산하는 제(4-3) 과정, 및
   상기 제3 집합에 속한 참여자들이 상기 제3차 업데이트된 가중치 모델, 쌍대 변수 및 보조 변수를 제4차 업데이트하고, 상기 제2차 업데이트된 업데이트 변수를 제3차 업데이트하는 제(4-4) 과정으로 수행되는 것을 특징으로 하는, 분산 합의 시스템.
5. 청구항 4에 있어서,
   상기 제1 집합에 속한 제1 참여자들이 가중치 모델, 쌍대 변수 및 보조 변수를 제1차 업데이트하는 과정, 상기 제1 차 업데이트된 가중치 모델, 쌍대 변수 및 보조 변수를 제2 차 업데이트하는 과정, 상기 제2 차 업데이트된 가중치 모델, 쌍대 변수 및 보조 변수를 제3차 업데이트하는 과정은 하기 (수학식 2)로 수행되는 것을 특징으로 하는, 분산 합의 시스템.
   (수학식 2)
   
   (여기서, 는 참여자 에서 번째 가중치 모델, 는 참여자 에서 번째 쌍대 변수, 참여자 에서 번째 보조 변수, 는 하이퍼 파라미터(Hyper Parameter)임)
6. 청구항 5에 있어서,
   상기 제3 집합에 속한 참여자들이 상기 제3차 업데이트된 가중치 모델, 쌍대 변수 및 보조 변수를 제4차 업데이트하는 과정은 하기 (수학식 3)으로 수행되는 것을 특징으로 하는, 분산 합의 시스템.
   (수학식 3)
   
7. 분산 합의 방법으로,
   복수의 그룹을 포함하는 제1 그룹 세트(group set)에 제2 그룹 세트에서 선택된 제2 그룹을 추가하여 제1 그룹 세트를 업데이트하고, 상기 제2 그룹을 초기화하는 단계;
   상기 그룹 생성 과정에 기초하여 생성된 패턴을 패턴 세트(pattern set)에 저장하고, 상기 생성된 패턴을 초기화하여 업데이트된 패턴 세트를 생성하는 제2 과정을 수행하는 단계;
   상기 업데이트된 패턴 세트에서 선택된 제1 패턴 세트를 선택하는 단계;
   상기 업데이트된 제1 그룹 세트 내 참여자들을 제1 집합, 제2 집합 및 제3 집합으로 분류하는 단계; 및
   상기 제1 집합, 제2 집합 및 제3 집합에 속한 참여자들이 가중치 모델, 쌍대 변수, 보조 변수 및 업데이트 변수를 업데이트하는 단계를 포함하는 것을 특징으로 하는, 분산 합의 방법.