KR20220041707A - 모델 연합 트레이닝 방법, 장치, 기기 및 저장 매체 - Google Patents

모델 연합 트레이닝 방법, 장치, 기기 및 저장 매체 Download PDF

Info

Publication number
KR20220041707A
KR20220041707A KR1020210031824A KR20210031824A KR20220041707A KR 20220041707 A KR20220041707 A KR 20220041707A KR 1020210031824 A KR1020210031824 A KR 1020210031824A KR 20210031824 A KR20210031824 A KR 20210031824A KR 20220041707 A KR20220041707 A KR 20220041707A
Authority
KR
South Korea
Prior art keywords
party
model
gradation
information
sample size
Prior art date
Application number
KR1020210031824A
Other languages
English (en)
Inventor
추안위안 송
지 펭
리앙리앙 류
Original Assignee
베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디. filed Critical 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디.
Publication of KR20220041707A publication Critical patent/KR20220041707A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/602—Providing cryptographic facilities or services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/008—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols involving homomorphic encryption
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/06—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols the encryption apparatus using shift registers or memories for block-wise or stream coding, e.g. DES systems or RC4; Hash functions; Pseudorandom sequence generators
    • H04L9/0618—Block ciphers, i.e. encrypting groups of characters of a plain text message using fixed encryption transformation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Computer Hardware Design (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioethics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Electrically Operated Instructional Devices (AREA)
  • Machine Translation (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 모델 연합 트레이닝 방법, 장치, 기기 및 저장 매체를 개시하며, 인공 지능 기술분야에 관한 것이다. 구체적인 구현 수단은 제1 샘플 사이즈의 제1자 트레이닝 샘플을 사용하여, 트레이닝할 제1자 모델에 대해 트레이닝을 진행하여, 제1자 특징 그라데이션 정보를 얻고; 제2자로부터 제2자 특징 그라데이션 정보 및 제2 샘플 사이즈 정보를 획득하며, 여기서, 제2자 특징 그라데이션 정보는, 제2자가 제2 샘플 사이즈의 제2자 트레이닝 샘플을 사용하여, 트레이닝할 제2자 모델에 대해 트레이닝을 진행하여 얻고; 제1자 특징 그라데이션 정보, 제2자 특징 그라데이션 정보, 제1 샘플 사이즈 정보 및 제2 샘플 사이즈 정보에 따라 모델 연합 그라데이션 정보를 결정하며, 모델 연합 그라데이션 정보에 따라, 제1자 모델 및 제2자 모델을 업데이트한다. 본 발명의 실시예는 트레이닝하는 양자의 그라데이션 및 샘플 사이즈에 따라, 양자의 모델을 업데이트하는데 적용되는 모델 연합 그라데이션 정보를 결정함으로써, 모델 연합 트레이닝의 효율을 크게 향상시킬 수 있다.

Description

모델 연합 트레이닝 방법, 장치, 기기 및 저장 매체{MODEL FEDERATED TRAINING METHOD, APPARATUS, EQUIPMENT AND STORAGE MEDIUM}
본 발명은 컴퓨터 기술분야에 관한 것이고, 특히 인공 지능 기술에 관한 것이며, 구체적으로 모델 연합 트레이닝 방법, 장치, 기기 및 저장 매체에 관한 것이다.
데이터가 넘치는 현재 사회에서, 방대한 데이터에 포함된 가치는 갈수록 부각되고 있으며, 방대한 데이터에서 효과적인 정보를 효과적으로 마이닝하는 방법은 다양한 분야에서 직면하는 중요한 문제로 되고 있다. 방대한 데이터가 각각의 플랫폼에 흩어져 있기에, 데이터를 마이닝할 경우 방대한 정보를 통합하여 기계 모델을 트레이닝해야 하고, 여기서, 로지스틱 회귀 모델은 강력한 머신러닝 수단으로서, 데이터에 대해 효과적으로 분류할 수 있다.
그러나, 데이터는 각각의 기업 플랫폼에 흩어져 집적되며, 각 기업 플랫폼의 개인 정보 보호 규정 등 정책으로 인해, 이러한 데이터는 연합 트레이닝을 구현하도록 병합을 진행할 수 없다.
본 발명은 모델 연합 트레이닝을 위한 방법, 장치, 기기 및 저장 매체를 제공한다.
본 발명의 일 양태에 따르면, 모델 연합 트레이닝 방법을 제공하고, 상기 방법은, 제1 샘플 사이즈의 제1자 트레이닝 샘플을 사용하여, 트레이닝할 제1자 모델에 대해 트레이닝을 진행하여, 제1자 특징 그라데이션 정보를 얻는 단계; 제2자로부터 제2자 특징 그라데이션 정보 및 제2 샘플 사이즈 정보를 획득하는 단계 - 상기 제2자 특징 그라데이션 정보는 상기 제2자가 제2 샘플 사이즈의 제2자 트레이닝 샘플을 사용하여, 트레이닝할 제2자 모델에 대해 트레이닝을 진행하여 얻음 -; 및 상기 제1자 특징 그라데이션 정보, 상기 제2자 특징 그라데이션 정보, 상기 제1 샘플 사이즈 정보 및 상기 제2 샘플 사이즈 정보에 따라 모델 연합 그라데이션 정보를 결정하고, 상기 모델 연합 그라데이션 정보에 따라, 상기 제1자 모델 및 상기 제2자 모델을 업데이트하는 단계를 포함한다.
본 발명의 다른 양태에 따르면, 모델 연합 트레이닝 방법을 제공하고, 상기 방법은, 제2 샘플 사이즈의 제2자 트레이닝 샘플을 사용하여, 트레이닝할 제2자 모델에 대해 트레이닝을 진행하여, 제2자 특징 그라데이션 정보를 얻는 단계; 및 제1자가 제1 샘플 사이즈의 제1자 트레이닝 샘플을 사용하여, 트레이닝할 제1자 모델에 대해 트레이닝을 진행하여, 제1자 특징 그라데이션 정보를 얻고, 상기 제1자 특징 그라데이션 정보, 상기 제2자 특징 그라데이션 정보, 상기 제1 샘플 사이즈 정보 및 상기 제2 샘플 사이즈 정보에 따라 모델 연합 그라데이션 정보를 결정하며, 상기 모델 연합 그라데이션 정보에 따라, 상기 제1자 모델 및 상기 제2자 모델을 업데이트하도록 지시하기 위해, 제1자에게 제2 샘플 사이즈 정보 및 상기 제2자 특징 그라데이션 정보를 발송하는 단계를 포함한다.
본 발명의 또 다른 양태에 따르면, 모델 연합 트레이닝 장치를 제공하고, 상기 장치는, 제1 샘플 사이즈의 제1자 트레이닝 샘플을 사용하여, 트레이닝할 제1자 모델에 대해 트레이닝을 진행하여, 제1자 특징 그라데이션 정보를 얻기 위한 정보 결정 모듈; 제2자로부터 제2자 특징 그라데이션 정보 및 제2 샘플 사이즈 정보를 획득하기 위한 정보 획득 모듈 - 상기 제2자 특징 그라데이션 정보는 상기 제2자가 제2 샘플 사이즈의 제2자 트레이닝 샘플을 사용하여, 트레이닝할 제2자 모델에 대해 트레이닝을 진행하여 얻음 -; 및 상기 제1자 특징 그라데이션 정보, 상기 제2자 특징 그라데이션 정보, 상기 제1 샘플 사이즈 정보 및 상기 제2 샘플 사이즈 정보에 따라 모델 연합 그라데이션 정보를 결정하고, 상기 모델 연합 그라데이션 정보에 따라, 상기 제1자 모델 및 상기 제2자 모델을 업데이트하기 위한 모델 업데이트 모듈을 포함한다.
본 발명의 또 다른 양태에 따르면, 모델 연합 트레이닝 장치를 제공하고, 상기 장치는, 제2 샘플 사이즈의 제2자 트레이닝 샘플을 사용하여, 트레이닝할 제2자 모델에 대해 트레이닝을 진행하여, 제2자 특징 그라데이션 정보를 얻기 위한 정보 결정 모듈; 및 제1자가 제1 샘플 사이즈의 제1자 트레이닝 샘플을 사용하여, 트레이닝할 제1자 모델에 대해 트레이닝을 진행하여, 제1자 특징 그라데이션 정보를 얻고, 상기 제1자 특징 그라데이션 정보, 상기 제2자 특징 그라데이션 정보, 상기 제1 샘플 사이즈 정보 및 상기 제2 샘플 사이즈 정보에 따라 모델 연합 그라데이션 정보를 결정하며, 상기 모델 연합 그라데이션 정보에 따라, 상기 제1자 모델 및 상기 제2자 모델을 업데이트하도록 지시하기 위해, 제1자에게 제2 샘플 사이즈 정보 및 상기 제2자 특징 그라데이션 정보를 발송하기 위한 정보 발송 모듈을 포함한다.
본 발명의 또 다른 양태에 따르면, 전자 기기를 제공하고, 상기 전자 기기는, 적어도 하나의 프로세서; 및 상기 적어도 하나의 프로세서와 통신 연결된 메모리를 포함하고, 상기 메모리에 상기 적어도 하나의 프로세서에 의해 실행 가능한 명령이 저장되고, 상기 명령이 상기 적어도 하나의 프로세서에 의해 실행될 경우, 상기 적어도 하나의 프로세서가 본 발명의 임의의 실시예에서 제공되는 모델 연합 트레이닝 방법을 수행할 수 있도록 한다.
본 발명의 또 다른 양태에 따르면, 컴퓨터 명령이 저장된 비일시적 컴퓨터 판독 가능 저장 매체를 제공하고, 여기서, 상기 컴퓨터 명령은 상기 컴퓨터가 본 발명의 임의의 실시예에서 제공되는 모델 연합 트레이닝 방법을 수행하도록 한다.
본 발명에 따른 기술은 모델 연합 트레이닝의 보안성을 향상시킨다.
본 부분에서 설명되는 내용은 본 발명의 실시예의 핵심적이거나 중요한 특징을 식별하기 위한 것이 아니며, 본 발명의 범위를 제한하려는 의도도 아님을 이해해야 한다. 본 발명의 다른 특징은 아래의 명세서에 의해 쉽게 이해될 것이다.
도면은 본 해결수단을 더 잘 이해하기 위한 것이며, 본 발명을 한정하지 않는다.
도 1은 본 발명의 실시예에 따라 제공되는 모델 연합 트레이닝 방법의 모식도이다.
도 2는 본 발명의 실시예에 따라 제공되는 다른 모델 연합 트레이닝 방법의 모식도이다.
도 3은 본 발명의 실시예에 따라 제공되는 또 다른 모델 연합 트레이닝 방법의 모식도이다.
도 4는 본 발명의 실시예에 따라 제공되는 또 다른 모델 연합 트레이닝 방법의 모식도이다.
도 5는 본 발명의 실시예에 따라 제공되는 모델 연합 트레이닝 장치의 모식도이다.
도 6은 본 발명의 실시예에 따라 제공되는 다른 모델 연합 트레이닝 장치의 모식도이다.
도 7은 본 발명의 실시예의 모델 연합 트레이닝 방법을 구현하기 위한 전자 기기의 블록도이다.
아래 도면과 결부하여 본 발명의 예시적 실시예를 설명하되, 여기에 이해를 돕기 위한 본 발명의 실시예의 다양한 세부사항들이 포함되지만, 이들은 단지 예시적인 것으로 이해해야 한다. 따라서, 본 기술분야의 통상의 기술자는 본 발명의 범위 및 정신을 벗어나지 않는 전제 하에 여기서 설명된 실시예에 대해 다양한 변형 및 수정을 진행할 수 있음을 이해해야 한다. 마찬가지로, 명확 및 간략을 위해, 아래의 설명에서 공지 기능 및 구조에 대한 설명을 생략한다.
도 1은 본 발명의 실시예에 따라 제공되는 모델 연합 트레이닝 방법의 모식도이고, 본 발명의 실시예는 모델 연합 트레이닝을 효율적으로 구현하는 경우에 적용될 수 있다. 상기 방법은 모델 연합 트레이닝 장치에 의해 수행될 수 있고, 상기 장치는 하드웨어 및/또는 소프트웨어의 방식을 사용하여 구현될 수 있으며, 전자 기기에 배치될 수 있다. 상기 방법은 구체적으로 아래의 단계를 포함한다.
단계(S110)에서, 제1 샘플 사이즈의 제1자 트레이닝 샘플을 사용하여, 트레이닝할 제1자 모델에 대해 트레이닝을 진행하여, 제1자 특징 그라데이션 정보를 얻는다.
본 발명의 실시예에서, 제1자와 제2자는 연합 트레이닝을 진행할 수 있고, 본 발명의 실시예는 모델 연합 트레이닝의 참여자 수에 대해 구체적으로 한정하지 않으며, 예를 들어 적어도 3자가 참여할 수도 있음을 유의해야 한다. 제1 샘플 사이즈는 제1자 트레이닝 샘플의 샘플 개수이며, 랜덤으로 추출된 샘플 개수일 수 있고, 전부의 샘플 개수일 수도 있으며; 트레이닝할 제1자 모델은 모델 연합 트레이닝의 한 참여자가 트레이닝한 머신러닝 모델이고, 예를 들어 로지스틱 회귀 모델이며; 제1자 특징 그라데이션 정보는 모델 연합 트레이닝의 제1자가 제1자 트레이닝 샘플을 기반으로 산출하여 얻은 제1 그라데이션이다.
구체적으로, 제1자는 제1자 모델의 트레이닝 파라미터와 제1 샘플 사이즈의 제1자 트레이닝 샘플의 곱을 산출하고; 상기 곱 및 라벨 벡터에 따라 제1자 트레이닝 샘플의 잔차를 산출하며; 제1자 트레이닝 샘플의 잔차와 제1자 트레이닝 샘플의 곱에 따라 제1자 특징 그라데이션 정보를 얻고, 여기서, 라벨 벡터는 제1자 트레이닝 샘플의 라벨 값에 따라 구축되어 얻는다.
단계(S120)에서, 제2자로부터 제2자 특징 그라데이션 정보 및 제2 샘플 사이즈 정보를 획득하고, 여기서, 제2자 특징 그라데이션 정보는, 제2자가 제2 샘플 사이즈의 제2자 트레이닝 샘플을 사용하여, 트레이닝할 제2자 모델에 대해 트레이닝을 진행하여 얻는다.
본 발명의 실시예에서, 제2 샘플 사이즈 정보는 제2 샘플 사이즈의 특징 정보이고, 제2 샘플 사이즈 평문 또는 제2 샘플 사이즈 암호문일 수 있다. 제2 샘플 사이즈는 제2자 트레이닝 샘플의 샘플 개수이며, 랜덤으로 추출된 샘플 개수일 수 있고, 전부의 샘플 개수일 수도 있다. 본 실시예에서, 제1자와 제2자의 특징 차원은 동일하고, 제1자 및 제2자 중 각각의 특징 차원은 하나의 그라데이션 합에 대응되므로, 제1자 및 제2자의 그라데이션 합 개수는 동일하다. 본 발명의 실시예는 제1자 모델 및 제2자 모델의 네트워크 구조에 대해 구체적으로 한정하지 않음을 유의해야 한다.
구체적으로, 제2자가 제2자 특징 그라데이션 정보를 결정하는 단계는, 제2자 모델의 트레이닝 파라미터와 제2 샘플 사이즈의 제2자 트레이닝 샘플의 곱을 산출하는 단계; 상기 곱 및 라벨 벡터에 따라 제2자 트레이닝 샘플의 잔차를 산출하는 단계; 및 제2자 트레이닝 샘플의 잔차와 제2자 트레이닝 샘플의 곱에 따라 제2자 특징 그라데이션 정보를 얻는 단계를 포함할 수 있고, 여기서, 라벨 벡터는 제2자 트레이닝 샘플의 라벨 값에 따라 구축되어 얻는다.
여기서, 제2자 모델의 트레이닝 파라미터 및 제1자 모델의 트레이닝 파라미터는 동일할 수 있고, 또한 제1자 모델 및 제2자 모델은 동일할 수 있다. 구체적으로, 제1자가 결정된 트레이닝할 제1자 모델 및 트레이닝 파라미터를 제2자에 발송하고, 제2자에서 트레이닝할 제2자 모델 및 제2자 모델의 트레이닝 파라미터로 할 수 있다.
단계(S130)에서, 제1자 특징 그라데이션 정보, 제2자 특징 그라데이션 정보, 제1 샘플 사이즈 정보 및 제2 샘플 사이즈 정보에 따라 모델 연합 그라데이션 정보를 결정하며, 모델 연합 그라데이션 정보에 따라, 제1자 모델 및 제2자 모델을 업데이트한다.
본 발명의 실시예에서, 모델 연합 그라데이션 정보는 제1자의 그라데이션 및 샘플 사이즈, 및 제2자의 그라데이션 및 샘플 사이즈를 기반으로 연합 산출하여 얻어지므로, 제1자 및 제2자가 모델 연합 그라데이션 정보에 따라 제1자 모델 및 제2자 모델을 각각 효과적으로 업데이트하도록 한다.
구체적으로, 제1자 특징 그라데이션 정보, 제2자 특징 그라데이션 정보, 제1 샘플 사이즈 정보 및 제2 샘플 사이즈 정보에 따라 모델 연합 그라데이션 정보를 결정하고, 아래의 공식에 따라 결정할 수 있다.
Figure pat00001
여기서, gradi는 모델 연합 그라데이션 정보이고; gradAi는 제1자 특징 그라데이션 정보이며; gradBi는 제2자 특징 그라데이션 정보이고; line_A는 제1 샘플 사이즈 정보이며; line_B는 제2 샘플 사이즈 정보이고; i는 제1자 트레이닝 샘플이며; n은 제1 샘플 사이즈 개수이다.
양자의 모델을 업데이트하는 과정에서, 제1자 모델을 업데이트하는 것을 예로 들면, 모델 연합 그라데이션 정보에 따라 제1자 모델을 업데이트한 후, 제1자는 업데이트된 후의 제1자 모델의 타깃 함수를 산출하고, 상기 타깃 함 수가 수렴 조건에 부합되는지 여부를 판단해야 하며; 부합될 경우, 업데이트된 후의 제1자 모델이 제1자가 모델 연합 트레이닝하여 얻은 최종 모델이고; 부합되지 않을 경우, 반복 산출을 진행하여, 새로운 제1자 특징 그라데이션 정보를 다시 산출하며, 제2자로부터 새로운 제2자 특징 그라데이션 정보 및 새로운 제2 샘플 사이즈 정보를 획득해야 하고; 새로운 제1자 특징 그라데이션 정보, 새로운 제2자 특징 그라데이션 정보, 새로운 제1 샘플 사이즈 정보 및 새로운 제2 샘플 사이즈 정보에 따라 새로운 모델 연합 그라데이션 정보를 결정하며, 새로운 모델 연합 그라데이션 정보에 따라 결정된 타깃 함수가 수렴 조건에 부합되면, 반복을 종료하여, 모델 연합 트레이닝의 최종 모델을 얻는다.
본 실시예의 기술적 해결수단은, 제1자가 제1 샘플 사이즈의 제1자 트레이닝 샘플을 사용하여, 트레이닝할 제1자 모델에 대해 트레이닝을 진행하여, 제1자 특징 그라데이션 정보를 얻고; 제2자로부터 제2자 특징 그라데이션 정보 및 제2 샘플 사이즈 정보를 획득하며; 제1자 특징 그라데이션 정보, 제2자 특징 그라데이션 정보, 제1 샘플 사이즈 정보 및 제2 샘플 사이즈 정보에 따라 모델 연합 그라데이션 정보를 결정하고, 모델 연합 그라데이션 정보에 따라, 제1자 모델 및 제2자 모델을 업데이트한다. 본 발명의 실시예는 트레이닝하는 양자의 그라데이션 및 샘플 사이즈에 따라, 양자의 모델을 업데이트하는데 적용되는 모델 연합 그라데이션 정보를 결정함으로써, 모델 연합 트레이닝의 효율을 크게 향상시킬 수 있다.
본 발명의 실시예는 모델 연합 트레이닝의 트레이닝 효율을 더 향상시킬 수 있는 모델 연합 트레이닝 방법의 하나의 바람직한 실시형태를 더 제공한다. 도 2는 본 발명의 실시예에 따라 제공되는 다른 모델 연합 트레이닝 방법의 흐름 모식도이다. 구체적으로 아래의 단계를 포함한다.
단계(S210)에서, 제1 샘플 사이즈의 제1자 트레이닝 샘플을 사용하여, 트레이닝할 제1자 모델에 대해 트레이닝을 진행하여, 제1자 특징 그라데이션 정보를 얻는다.
단계(S220)에서, 제2자로부터 제2자 특징 그라데이션 정보 및 제2 샘플 사이즈 정보를 획득하고, 여기서, 제2자 특징 그라데이션 정보는, 제2자가 제2 샘플 사이즈의 제2자 트레이닝 샘플을 사용하여, 트레이닝할 제2자 모델에 대해 트레이닝을 진행하여 얻는다.
단계(S230)에서, 제1자 특징 그라데이션 평문, 제2자 특징 그라데이션 평문, 제1 샘플 사이즈 평문 및 제2 샘플 사이즈 평문에 따라, 모델 연합 그라데이션 평문을 결정한다.
본 발명의 실시예에서, 제1자 특징 그라데이션 평문은 제1자가 산출하고 암호화 동작을 진행하지 않은 제1자 특징 그라데이션 정보이고; 제2자 특징 그라데이션 평문은 제2자가 산출하고 암호화 동작을 진행하지 않은 제2자 특징 그라데이션 정보이며; 제1 샘플 사이즈 평문은 제1자 트레이닝 데이터의 제1 샘플 사이즈 정보이고, 예를 들어 제1 샘플 사이즈 line_A이며; 제2 샘플 사이즈 평문은 제2자 트레이닝 데이터의 제2 샘플 사이즈 정보이고, 예를 들어 제2 샘플 사이즈 line_B이다. 본 실시예는 암호화하지 않은 제1자의 그라데이션 및 샘플 사이즈 및 제2자 그라데이션 및 샘플 사이즈에 따라, 모델 연합 그라데이션 평문을 산출하여, 모델 연합 트레이닝의 트레이닝 효율을 더 향상시킴으로써, 제1자 모델 및 제2자 모델을 빠르고 효과적으로 결정할 수 있다.
단계(S240)에서, 모델 연합 그라데이션 평문에 따라 제1자 모델을 업데이트한다.
본 발명의 실시예에서, 제1자 데이터는 모델을 업데이트하기 위한 모델 연합 그라데이션 평문을 산출한 후, 제1자 모델을 업데이트하는 과정에서, 먼저 모델 연합 그라데이션 평문이 사용 가능한지 여부를 검증해야 하며; 구체적으로, 모델 연합 그라데이션 평문에 따라 제1자 모델을 업데이트하고, 제1자 모델의 타깃 함수를 산출하며; 타깃 함수가 수렴 조건에 부합되는지 여부를 판단하고, 즉 업데이트된 후의 제1자 모델이 합격되는지 여부를 결정하며; 타깃 함수가 수렴 조건에 부합될 경우, 제1자 모델을 모델 연합 트레이닝의 최종 모델로 결정하고; 부합되지 않을 경우, 타깃 함수가 수렴 조건에 부합될 때까지 반복 산출을 진행한다.
단계(S250)에서, 제2자가 모델 연합 그라데이션 평문에 따라 제2자 모델을 업데이트하도록 지시하기 위해, 제2자에게 모델 연합 그라데이션 평문을 발송한다.
본 발명의 실시예에서, 제1자는 모델 연합 그라데이션 평문을 산출하여 얻은 후, 제2자가 제2자 모델을 적시에 정확하게 업데이트하도록 보장하기 위해, 모델 연합 그라데이션 평문을 제2자에 발송하여, 제2자가 모델 연합 그라데이션 평문에 따라 제2자 모델을 업데이트할 수 있도록 해야 한다.
상기 실시예를 기반으로, 선택 가능하게, 제1자 트레이닝 샘플은 제1자가 제1자 샘플 데이터로부터 랜덤으로 샘플링하여 얻고, 랜덤으로 추출된 샘플 개수를 제1 샘플 사이즈로 하며; 제2자 트레이닝 샘플은 제2자가 제2자 샘플 데이터로부터 랜덤으로 샘플링하여 얻고, 랜덤으로 추출된 샘플 개수를 제2 샘플 사이즈로 한다.
본 발명의 실시예에서, 제1자 트레이닝 샘플 및 제2자 트레이닝 샘플은 랜덤으로 추출하는 방식을 사용하였는 바, 즉 제1 샘플 사이즈 및 제2 샘플 사이즈가 난수라 추산하기 어려움을 나타내므로, 모델 연합 그라데이션 평문을 산출할 경우, 일부분 트레이닝 샘플을 랜덤으로 선택하여 모델 연합 그라데이션 평문을 산출하도록 함으로써, 산출자(예를 들어 제1자)가 참여자(예를 들어 제2자)의 구체적 샘플 사이즈를 확인할 수 없도록 하여, 참여자의 원본 데이터 정보를 역추산할 수 없으므로, 트레이닝 과정에서 참여자 데이터가 유출되는 문제를 효과적으로 해결하고, 참여자 데이터의 보안성을 최대한 보호한다.
상기 실시예를 기반으로, 선택 가능하게, 제1자 트레이닝 샘플은 제2자 트레이닝 샘플과 데이터 구조가 동일하다.
본 발명의 실시예에서, 예시적으로, 제1자 및 제2자는 모두 샘플 데이터 Qa 및 Qb 집합을 구비하고, 두 샘플의 차원은 동일하며, 모두 D이고, 샘플 개수는 각각 Sa 및 Sb이며; 데이터의 샘플 사이즈를 최대한 확장시키기 위해 양자의 데이터를 행별로 수평 융합하면, 확장한 후의 샘플 개수는 Sa+Sb이다. 동일한 차원에서 데이터는, 동일한 차원 특징을 구비하지만, 모델 연합 트레이닝 과정에서 보다 큰 데이터 오차를 생성하지 않으며; 본 실시예는 수평 차원에서 제1자 및 제2자의 융합 데이터를 선택하여, 모델 연합 트레이닝의 샘플 사이즈를 효과적으로 확장시키는 것을 구현한다.
상기 실시예를 기반으로, 선택 가능하게, 본 실시예의 방법은, 보안 교집합 획득 프로토콜(security intersection protocol)을 통해, 제1자 샘플 데이터와 제2자 샘플 데이터 사이의 공통 특징 차원을 결정하는 단계; 및 공통 특징 차원에 기반하여, 제1자 트레이닝 샘플 및 제2자 트레이닝 샘플을 결정하는 단계를 더 포함한다.
본 발명의 실시예에서, 제1자 및 제2자의 데이터 집합은 비교적 크고, 차원이 비교적 많을 수 있으며, 일치한 차원 명명 방식을 사용하여, 차원을 명명하고, 보안 교집합 획득 프로토콜을 사용하여 양자의 동일한 차원의 집합을 획득한다. 양자는 최종적으로 교집합 차원 정보를 얻으며, 다른 차원 정보는 획득하지 못한다. 여기서, 보안 교집합 획득 프로토콜은 양자가 사전에 구축한 공통 차원을 결정하는 전송 프로토콜이고, 상기 프로토콜을 통해 차원을 결정하는 과정에서 개인 정보 보안성을 보장할 수 있으며; 예를 들어, 보안 교집합 획득 프로토콜은 OT를 기반으로 구현된 개인 정보 집합 교집합 획득 프로토콜일 수 있고, 상기 프로토콜은 참여자가 비밀 집합에서 교집합 작업을 진행하도록 허용하며, 교집합 이외의 정보를 유출하지 않는다. 본 실시예는 보안 교집합 획득 프로토콜에 따라, 공통 차원에서 양자의 트레이닝 샘플을 안전하고 정확하게 식별할 수 있다.
본 발명의 실시예는 모델 연합 그라데이션 정보를 안전하고 효과적으로 결정할 수 있는 모델 연합 트레이닝 방법의 하나의 바람직한 실시형태를 더 제공한다. 도 3은 본 발명의 실시예에 따라 제공되는 또 다른 모델 연합 트레이닝 방법의 흐름 모식도이다. 구체적으로 아래의 단계를 포함한다.
단계(S310)에서, 제1 샘플 사이즈의 제1자 트레이닝 샘플을 사용하여, 트레이닝할 제1자 모델에 대해 트레이닝을 진행하여, 제1자 특징 그라데이션 정보를 얻는다.
단계(S320)에서, 제2자로부터 제2자 특징 그라데이션 정보 및 제2 샘플 사이즈 정보를 획득하고, 여기서, 제2자 특징 그라데이션 정보는, 제2자가 제2 샘플 사이즈의 제2자 트레이닝 샘플을 사용하여, 트레이닝할 제2자 모델에 대해 트레이닝을 진행하여 얻는다.
단계(S330)에서, 제1자 특징 그라데이션 암호문, 제2자 특징 그라데이션 암호문, 제1 샘플 사이즈 암호문 및 제2 샘플 사이즈 암호문에 따라 모델 연합 그라데이션 암호문을 결정하고, 여기서, 제1자 특징 그라데이션 암호문 및 제1 샘플 사이즈 암호문은, 제1자가 제2자로부터 획득한 제1 동형 암호화 비밀 키를 사용하여 제1자 특징 그라데이션 평문 및 제1 샘플 사이즈 평문에 대해 각각 암호화하여 얻으며; 제2자 특징 그라데이션 암호문 및 제2 샘플 사이즈 암호문은 제2자가 제1 동형 암호화 비밀 키를 사용하여 제2자 특징 그라데이션 평문 및 제2 샘플 사이즈 평문에 대해 각각 암호화하여 얻는다.
본 발명의 실시예에서, 전송 과정에서 데이터의 보안성을 보장하기 위해, 제2자가 그라데이션 및 샘플 사이즈의 데이터를 제1자에 전송할 경우, 전송하는 데이터에 대해 암호화 동작을 진행하여, 전송 과정에서 데이터가 왜곡되어, 보안 위험을 유발하는 문제를 방지한다. 여기서, 제2자가 암호화할 때 사용되는 제1 동형 암호화 비밀 키는 제2자에 의해 생성되고, 동시에 제2 동형 암호화 비밀 키도 생성되며, 즉 제1 동형 암호화 비밀 키의 복호화 비밀 키에 대응되고; 구체적으로, 본 실시예에서, 제1자는 제1자 모델 및 모델 파라미터를 제2자에 발송하여, 제2자의 제2자 모델 및 모델 파라미터로 할 수 있고; 상응하게, 제2자는 제1자가 발송한 제1자 모델 및 모델 파라미터의 타임스탬프에 따라 비대칭 비밀 키를 생성할 수 있으며 즉 제1 동형 암호화 비밀 키 및 제2 동형 암호화 비밀 키이고; 제1자로 하여금 처리 데이터에 대해 암호화하도록, 제1 동형 암호화 비밀 키를 제1자에 발송함으로써, 데이터 전송의 보안성을 효과적으로 보장한다.
단계(S340)에서, 제2자가 제2 동형 암호화 비밀 키를 사용하여 모델 연합 그라데이션 암호문에 대해 복호화하여 모델 연합 그라데이션 평문을 얻고, 모델 연합 그라데이션 평문에 따라 제2자 모델을 업데이트하도록 지시하기 위해, 제2자에게 모델 연합 그라데이션 암호문을 발송한다.
본 발명의 실시예에서, 제1자가 모델 연합 그라데이션 암호문을 산출할 경우, 모델 연합 그라데이션 암호문에는 제2자의 암호화 데이터를 포함하기에, 모델 연합 그라데이션 암호문을 제2자에 발송하여 복호화 해야 하고; 본 실시예에서 제1자는 제2자가 암호화한 그라데이션 및 샘플 사이즈, 및 그 그라데이션 및 샘플 사이즈에 따라 모델 연합 그라데이션 암호문을 산출하며, 산출 과정에서 제1자는 제2자 그라데이션 및 샘플 사이즈의 참여 데이터를 알 수 없으므로, 제2자 데이터를 충분히 이용하는 동시에 데이터가 절취 당하지 않게 보장할 수 있다.
단계(S350)에서, 제2자로부터 모델 연합 그라데이션 평문을 획득하고, 모델 연합 그라데이션 평문에 따라 제1자 모델을 업데이트한다.
본 발명의 실시예에서, 제1자가 제2자로부터 획득한 모델 연합 그라데이션 평문은 암호화하지 않은 데이터이고, 제1자는 상기 모델 연합 그라데이션 평문에 따라 제1자 모델을 직접 업데이트할 수 있으며; 업데이트하는 과정에서, 제1자 모델의 타깃 함수를 참조하고, 수렴 조건에 부합되는지 여부를 판단하여, 제1자 모델이 업데이트를 완성하였는지 여부를 결정해야 한다.
본 발명의 실시예에서, 모델 연합 트레이닝의 두 참여자만을 통해 모델 연합 그라데이션 정보를 산출하고 양자의 모델을 각각 업데이트하는 과정에는, 제3자를 인입하여 모델 연합 그라데이션 정보를 산출할 필요가 없으므로, 모델의 트레이닝 효율을 효과적으로 향상시키며; 본 실시예에서 양자가 제공하는 데이터 구조는 유사하고, 동일한 업종에 속해야만 상이한 사용자량에 기반하여 모델링 한다.
도 4는 본 발명의 실시예에 따라 제공되는 또 다른 모델 연합 트레이닝 방법의 모식도이고, 본 발명의 실시예는 모델 연합 트레이닝을 구현하기 위해 모델 수요자에 모델 트레이닝 데이터를 발송하는 경우에 적용된다. 상기 방법은 모델 연합 트레이닝 장치에 의해 수행될 수 있고, 상기 장치는 하드웨어 및/또는 소프트웨어의 방식으로 구현될 수 있으며, 전자 기기에 배치될 수 있다. 상기 방법은 구체적으로 아래의 단계를 포함한다.
단계(S410)에서, 제2 샘플 사이즈의 제2자 트레이닝 샘플을 사용하여, 트레이닝할 제2자 모델에 대해 트레이닝을 진행하여, 제2자 특징 그라데이션 정보를 얻는다.
본 발명의 실시예에서, 제2 샘플 사이즈는 제2자 트레이닝 샘플의 샘플 개수이며, 랜덤으로 추출된 샘플 개수일 수 있고, 전부의 샘플 개수일 수도 있으며; 트레이닝할 제2자 모델은 모델 연합 트레이닝에 참여하는 트레이닝하기 위한 제2자 로컬 모델이고, 머신러닝 모델 중의 로지스틱 회귀 모델일 수 있으며; 제2자 특징 그라데이션 정보는 제2자가 산출한 그라데이션이다.
구체적으로, 제2자가 제2자 특징 그라데이션 정보를 결정할 경우, 제2자 모델의 트레이닝 파라미터와 제2 샘플 사이즈의 제2자 트레이닝 샘플의 곱을 산출하는 단계를 포함할 수 있고, 여기서, 제2자 모델의 트레이닝 파라미터는 제1자로부터 획득한 제1자 모델의 트레이닝 파라미터일 수 있으며; 상기 곱 및 라벨 벡터에 따라 제2자 트레이닝 샘플의 잔차를 산출하는 단계를 포함할 수 있고, 여기서, 라벨 벡터는 제2자 트레이닝 샘플의 라벨 값에 따라 구축되어 얻으며; 제2자 트레이닝 샘플의 잔차와 제2자 트레이닝 샘플의 곱에 따라 제2자 특징 그라데이션 정보를 얻는 단계를 포함할 수 있다.
단계(S420)에서, 제1자가 제1 샘플 사이즈의 제1자 트레이닝 샘플을 사용하여, 트레이닝할 제1자 모델에 대해 트레이닝을 진행하여, 제1자 특징 그라데이션 정보를 얻고, 제1자 특징 그라데이션 정보, 제2자 특징 그라데이션 정보, 제1 샘플 사이즈 정보 및 제2 샘플 사이즈 정보에 따라 모델 연합 그라데이션 정보를 결정하며, 모델 연합 그라데이션 정보에 따라, 제1자 모델 및 제2자 모델을 업데이트하도록 지시하기 위해, 제1자에게 제2 샘플 사이즈 정보 및 제2자 특징 그라데이션 정보를 발송한다.
본 실시예에서, 제1자가 모델 연합 그라데이션 정보를 산출할 경우, 제2자의 그라데이션 및 샘플 사이즈를 결합해야 하면, 제2자는 모델 연합 그라데이션 정보를 산출하는 그라데이션 및 샘플 사이즈를 제1자에 발송해야 함으로써, 모델 연합 그라데이션 정보를 결정하는 것을 효과적으로 구현한다.
본 실시예의 기술적 해결수단은, 제2자가 제2 샘플 사이즈의 제2자 트레이닝 샘플을 사용하여, 트레이닝할 제2자 모델에 대해 트레이닝을 진행하여, 제2자 특징 그라데이션 정보를 얻고; 제1자에게 제2 샘플 사이즈 정보 및 제2자 특징 그라데이션 정보를 발송하여, 제1자가 모델 연합 그라데이션 정보를 결정하도록 한다. 본 발명의 실시예에서 제2자는 그라데이션 및 샘플 사이즈를 제1자에 발송하여, 제1자가 제2자의 그라데이션 및 샘플 사이즈를 결합하여 모델 연합 그라데이션 정보를 효과적으로 산출하도록 함으로써, 양자의 모델을 효과적으로 업데이트하는 것을 구현할 수 있다.
상기 실시예를 기반으로, 선택 가능하게, 제1자 트레이닝 샘플은 제1자가 제1자 샘플 데이터로부터 랜덤으로 샘플링하여 얻고, 랜덤으로 추출된 샘플 개수를 제1 샘플 사이즈로 하며; 제2자 트레이닝 샘플은 제2자가 제2자 샘플 데이터로부터 랜덤으로 샘플링하여 얻고, 랜덤으로 추출된 샘플 개수를 제2 샘플 사이즈로 한다.
본 발명의 실시예에서, 제1자 트레이닝 샘플 및 제2자 트레이닝 샘플은 랜덤으로 추출하는 방식을 사용하였는 바, 즉 제1 샘플 사이즈 및 제2 샘플 사이즈가 난수라 추산하기 어려움을 나타내므로; 모델 연합 그라데이션 평문을 산출할 경우, 일부분 트레이닝 샘플을 랜덤으로 선택하여 모델 연합 그라데이션 평문을 산출하도록 함으로써, 산출자(예를 들어 제1자)가 참여자(예를 들어 제2자)의 구체적 샘플 사이즈를 확인할 수 없도록 하여, 참여자의 원본 데이터 정보를 역추산할 수 없으므로, 트레이닝 과정에서 참여자 데이터가 유출되는 문제를 효과적으로 해결하여, 참여자 데이터의 보안성을 최대한 보호한다.
상기 실시예를 기반으로, 선택 가능하게, 제1자에게 제2 샘플 사이즈 정보 및 제2자 특징 그라데이션 정보를 발송하는 단계는, 제1자가 제1자 특징 그라데이션 평문, 제2자 특징 그라데이션 평문, 제1 샘플 사이즈 평문 및 제2 샘플 사이즈 평문에 따라, 모델 연합 그라데이션 평문을 결정하고; 모델 연합 그라데이션 평문에 따라 제1자 모델을 업데이트하도록 지시하기 위해, 제1자에게 제2 샘플 사이즈 평문 및 제2자 특징 그라데이션 평문을 발송하는 단계; 및 제1자로부터 모델 연합 그라데이션 평문을 획득하고, 모델 연합 그라데이션 평문에 따라 제2자 모델을 업데이트하는 단계를 포함한다.
본 발명의 실시예에서, 제2자는 제1자에 암호화 처리를 진행하지 않은 제2자 특징 그라데이션 정보(제2자 특징 그라데이션 평문) 및 제2 샘플 사이즈 정보(제1 샘플 사이즈 평문)를 직접 발송하며, 여기서, 제2 샘플 사이즈 평문은 제2자 중 제2자 트레이닝 데이터의 제2 샘플 사이즈 정보이고, 예를 들어 제2자 트레이닝 데이터의 행의 개수이다. 본 실시예 중의 제2자는 암호화 처리를 진행하지 않은 그라데이션 및 샘플 사이즈를 제1자에 직접 발송하여, 데이터의 전송 효율을 효과적으로 향상시킬 수 있으며; 동시에, 제1자의 제2 샘플 사이즈 평문은 랜덤으로 추출되므로, 제1자가 모델 연합 그라데이션 정보를 산출할 경우 제2자의 어떠한 정보도 역추산 할 수 없으므로, 제2자의 정보의 보안을 효과적으로 보장한다.
상기 실시예를 기반으로, 선택 가능하게, 본 실시예의 방법은, 제1 동형 암호화 비밀 키 및 제2 동형 암호화 비밀 키를 결정하고, 제1자에 제1 동형 암호화 비밀 키를 발송하는 단계를 더 포함하며;
여기서, 제1자에게 제2 샘플 사이즈 정보 및 제2자 특징 그라데이션 정보를 발송하는 단계는, 제1자가 제1자 특징 그라데이션 암호문, 제2자 특징 그라데이션 암호문, 제1 샘플 사이즈 암호문 및 제2 샘플 사이즈 암호문에 따라 모델 연합 그라데이션 암호문을 결정하고, 여기서, 제1자 특징 그라데이션 암호문 및 제1 샘플 사이즈 암호문은, 제1자가 제1 동형 암호화 비밀 키를 사용하여 제1자 특징 그라데이션 평문 및 제1 샘플 사이즈 평문에 대해 각각 암호화하여 얻으며; 제2자 특징 그라데이션 암호문 및 제2 샘플 사이즈 암호문은 제2자가 제1 동형 암호화 비밀 키를 사용하여 제2자 특징 그라데이션 평문 및 제2 샘플 사이즈 평문에 대해 암호화하여 얻도록 지시하기 위해 제1자에게 제2 샘플 사이즈 암호문 및 제2자 특징 그라데이션 암호문을 발송하는 단계; 제1자로부터 모델 연합 그라데이션 암호문을 획득하고, 제2 동형 암호화 비밀 키를 사용하여 모델 연합 그라데이션 암호문에 대해 복호화하여 모델 연합 그라데이션 평문을 얻으며, 모델 연합 그라데이션 평문에 따라 제2자 모델을 업데이트하는 단계; 및 제1자가 모델 연합 그라데이션 평문에 따라 제1자 모델을 업데이트하도록 지시하기 위해, 제1자에 모델 연합 그라데이션 평문을 발송하는 단계를 포함한다.
본 발명의 실시예에서, 데이터에 대해 암호화를 진행하는 암호화 방식은 비대칭 암호화를 사용하고, 비밀 키는 암호화 비밀 키(제1 동형 암호화 비밀 키) 및 복호화 비밀 키(제2 동형 암호화 비밀 키)를 포함하며; 비밀 키는 제2자에 의해 생성되고; 본 실시예 중의 제1자는 제2 동형 암호화 비밀 키를 획득할 수 없으므로, 본 실시예는 비대칭 암호화 방식을 사용하여, 데이터 처리 과정에서 데이터 완전성을 효과적으로 보장할 수 있다.
제2자는 제1자에 그라데이션 및 샘플 사이즈를 발송하기 이전에, 제1 동형 암호화 비밀 키를 사용하여 암호화하여, 그라데이션 암호문 및 샘플 사이즈 암호문을 얻어 다시 발송해야 하므로, 데이터가 임의로 왜곡되는 문제를 방지할 수 있으며; 제1자는 모델 연합 그라데이션 정보를 산출한 후, 제1 동형 암호화 비밀 키를 사용하여 모델 연합 그라데이션 정보를 암호화하여, 모델 연합 그라데이션 암호문을 얻어 제2자에 다시 발송함으로써, 제2자가 모델 연합 그라데이션 암호문을 복호화하여, 양자의 모델을 업데이트하기 위한 모델 연합 그라데이션 평문을 얻도록 하고; 이로써, 모델 연합 그라데이션 평문을 산출하는 과정에서, 산출 과정이 어느 한 자에 의해 수정되지 않도록 보장할 수 있으며; 참여자 데이터 보안성을 보장하는 전제하에, 참여자 데이터를 충분히 이용하여 모델 연합 트레이닝을 구현한다.
상기 실시예를 기반으로, 선택 가능하게, 제1자 트레이닝 샘플은 제2자 트레이닝 샘플과 데이터 구조가 동일하다.
본 발명의 실시예에서, 예시적으로, 제1자 및 제2자는 모두 샘플 데이터 Qa 및 Qb 집합을 구비하고, 두 샘플의 차원은 동일하며, 모두 D이고, 샘플 개수는 각각 Sa 및 Sb이며; 데이터의 샘플 사이즈를 최대한 확장시키기 위해 양자의 데이터를 행별로 수평 융합하면, 확장한 후의 샘플 개수는 Sa+Sb이다. 동일한 차원에서 데이터는, 동일한 차원 특징을 구비하지만, 모델 연합 트레이닝 과정에서 보다 큰 데이터 오차를 생성하지 않으며; 본 실시예는 수평 차원에서 제1자 및 제2자의 융합 데이터를 선택하여, 모델 연합 트레이닝의 샘플 사이즈를 효과적으로 확장시키는 것을 구현한다.
도 5는 본 발명의 실시예에 따라 제공되는 모델 연합 트레이닝 장치의 모식도이고, 본 실시예는 연합 모델 트레이닝을 효율적으로 진행하는 경우에 적용되며, 상기 장치는 전자 기기에 배치되고, 본 발명의 임의의 실시예에 따른 모델 연합 트레이닝 방법을 구현할 수 있다. 모델 연합 트레이닝 장치(500)는 구체적으로 아래와 같은 모듈을 포함한다.
정보 결정 모듈(510)은 제1 샘플 사이즈의 제1자 트레이닝 샘플을 사용하여, 트레이닝할 제1자 모델에 대해 트레이닝을 진행하여, 제1자 특징 그라데이션 정보를 얻는다.
정보 획득 모듈(520)은 제2자로부터 제2자 특징 그라데이션 정보 및 제2 샘플 사이즈 정보를 획득하고, 여기서, 상기 제2자 특징 그라데이션 정보는 상기 제2자가 제2 샘플 사이즈의 제2자 트레이닝 샘플을 사용하여, 트레이닝할 제2자 모델에 대해 트레이닝을 진행하여 얻는다.
모델 업데이트 모듈(530)은 상기 제1자 특징 그라데이션 정보, 상기 제2자 특징 그라데이션 정보, 상기 제1 샘플 사이즈 정보 및 상기 제2 샘플 사이즈 정보에 따라 모델 연합 그라데이션 정보를 결정하고, 상기 모델 연합 그라데이션 정보에 따라, 상기 제1자 모델 및 상기 제2자 모델을 업데이트한다.
상기 실시예를 기반으로, 선택 가능하게, 상기 제1자 트레이닝 샘플은 제1자가 제1자 샘플 데이터로부터 랜덤으로 샘플링하여 얻고, 랜덤으로 추출된 샘플 개수를 상기 제1 샘플 사이즈로 하며; 상기 제2자 트레이닝 샘플은 상기 제2자가 제2자 샘플 데이터로부터 랜덤으로 샘플링하여 얻고, 추출된 샘플 개수를 상기 제2 샘플 사이즈로 한다.
상기 실시예를 기반으로, 선택 가능하게, 모델 업데이트 모듈(530)은 구체적으로, 제1자 특징 그라데이션 평문, 제2자 특징 그라데이션 평문, 제1 샘플 사이즈 평문 및 제2 샘플 사이즈 평문에 따라, 모델 연합 그라데이션 평문을 결정하고; 상기 모델 연합 그라데이션 평문에 따라 상기 제1자 모델을 업데이트하며; 상기 제2자가 상기 모델 연합 그라데이션 평문에 따라 상기 제2자 모델을 업데이트하도록 지시하기 위해, 상기 제2자에게 상기 모델 연합 그라데이션 평문을 발송한다.
상기 실시예를 기반으로, 선택 가능하게, 모델 업데이트 모듈(530)은 또한 구체적으로, 제1자 특징 그라데이션 암호문, 제2자 특징 그라데이션 암호문, 제1 샘플 사이즈 암호문 및 제2 샘플 사이즈 암호문에 따라 모델 연합 그라데이션 암호문을 결정하며, 여기서, 상기 제1자 특징 그라데이션 암호문 및 상기 제1 샘플 사이즈 암호문은, 제1자가 상기 제2자로부터 획득한 제1 동형 암호화 비밀 키를 사용하여 제1자 특징 그라데이션 평문 및 제1 샘플 사이즈 평문에 대해 각각 암호화하여 얻고; 상기 제2자 특징 그라데이션 암호문 및 상기 제2 샘플 사이즈 암호문은 상기 제2자가 상기 제1 동형 암호화 비밀 키를 사용하여 제2자 특징 그라데이션 평문 및 제2 샘플 사이즈 평문에 대해 각각 암호화하여 얻으며; 상기 제2자가 제2 동형 암호화 비밀 키를 사용하여 상기 모델 연합 그라데이션 암호문에 대해 복호화하여 모델 연합 그라데이션 평문을 얻고; 상기 모델 연합 그라데이션 평문에 따라 상기 제2자 모델을 업데이트하도록 지시하기 위해, 상기 제2자에게 상기 모델 연합 그라데이션 암호문을 발송하며; 상기 제2자로부터 모델 연합 그라데이션 평문을 획득하고, 상기 모델 연합 그라데이션 평문에 따라 상기 제1자 모델을 업데이트한다.
상기 실시예를 기반으로, 선택 가능하게, 상기 제1자 트레이닝 샘플은 상기 제2자 트레이닝 샘플과 데이터 구조가 동일하다.
상기 실시예를 기반으로, 선택 가능하게, 본 실시예의 장치는 아래와 같은 모듈을 더 포함한다.
차원 결정 모듈은 보안 교집합 획득 프로토콜을 통해, 제1자 샘플 데이터와 제2자 샘플 데이터 사이의 공통 특징 차원을 결정한다.
트레이닝 샘플 결정 모듈은 상기 공통 특징 차원에 기반하여, 상기 제1자 트레이닝 샘플 및 상기 제2자 트레이닝 샘플을 결정한다.
본 실시예의 기술적 해결수단은, 트레이닝하는 양자의 그라데이션 및 샘플 사이즈에 따라, 양자의 모델을 업데이트하는데 적용되는 모델 연합 그라데이션 정보를 결정함으로써, 모델 연합 트레이닝의 효율을 크게 향상시킬 수 있다.
도 6은 본 발명의 실시예에 따라 제공되는 다른 모델 연합 트레이닝 장치의 모식도이고, 본 실시예는 모델 연합 트레이닝을 구현하기 위해 모델 수요자에 모델 트레이닝 데이터를 발송하는 경우에 적용되며, 상기 장치는 전자 기기에 배치되고, 본 발명의 임의의 실시예에 따른 모델 연합 트레이닝 방법을 구현할 수 있다. 모델 연합 트레이닝 장치(600)는 구체적으로, 제2 샘플 사이즈의 제2자 트레이닝 샘플을 사용하여, 트레이닝할 제2자 모델에 대해 트레이닝을 진행하여, 제2자 특징 그라데이션 정보를 얻기 위한 정보 결정 모듈(610); 및 제1자가 제1 샘플 사이즈의 제1자 트레이닝 샘플을 사용하여, 트레이닝할 제1자 모델에 대해 트레이닝을 진행하여, 제1자 특징 그라데이션 정보를 얻고; 상기 제1자 특징 그라데이션 정보, 상기 제2자 특징 그라데이션 정보, 상기 제1 샘플 사이즈 정보 및 상기 제2 샘플 사이즈 정보에 따라 모델 연합 그라데이션 정보를 결정하며, 상기 모델 연합 그라데이션 정보에 따라, 상기 제1자 모델 및 상기 제2자 모델을 업데이트하도록 지시하기 위해, 제1자에게 제2 샘플 사이즈 정보 및 상기 제2자 특징 그라데이션 정보를 발송하기 위한 정보 발송 모듈(620)을 포함한다.
상기 실시예를 기반으로, 선택 가능하게, 상기 제1자 트레이닝 샘플은 상기 제1자가 제1자 샘플 데이터로부터 랜덤으로 샘플링하여 얻고, 랜덤으로 추출된 샘플 개수를 상기 제1 샘플 사이즈로 하며; 상기 제2자 트레이닝 샘플은 상기 제2자가 제2자 샘플 데이터로부터 랜덤으로 샘플링하여 얻고, 추출된 샘플 개수를 상기 제2 샘플 사이즈로 한다.
상기 실시예를 기반으로, 선택 가능하게, 정보 발송 모듈(620)은 구체적으로, 상기 제1자가 제1자 특징 그라데이션 평문, 상기 제2자 특징 그라데이션 평문, 제1 샘플 사이즈 평문 및 상기 제2 샘플 사이즈 평문에 따라, 모델 연합 그라데이션 평문을 결정하고, 상기 모델 연합 그라데이션 평문에 따라 상기 제1자 모델을 업데이트하도록 지시하기 위해, 제1자에게 제2 샘플 사이즈 평문 및 제2자 특징 그라데이션 평문을 발송하며; 제1자로부터 상기 모델 연합 그라데이션 평문을 획득하고, 상기 모델 연합 그라데이션 평문에 따라 상기 제2자 모델을 업데이트한다.
상기 실시예를 기반으로, 선택 가능하게, 본 실시예의 장치는, 제1 동형 암호화 비밀 키 및 제2 동형 암호화 비밀 키를 결정하고, 상기 제1자에게 상기 제1 동형 암호화 비밀 키를 발송하기 위한 암호화 비밀 키 결정 모듈을 더 포함하며; 여기서, 정보 발송 모듈(620)은 또한 구체적으로, 상기 제1자가 제1자 특징 그라데이션 암호문, 상기 제2자 특징 그라데이션 암호문, 제1 샘플 사이즈 암호문 및 상기 제2 샘플 사이즈 암호문에 따라 모델 연합 그라데이션 암호문을 결정하고, 여기서, 상기 제1자 특징 그라데이션 암호문 및 상기 제1 샘플 사이즈 암호문은 상기 제1자가 상기 제1 동형 암호화 비밀 키를 사용하여 제1자 특징 그라데이션 평문 및 제1 샘플 사이즈 평문에 대해 각각 암호화하여 얻으며; 상기 제2자 특징 그라데이션 암호문 및 상기 제2 샘플 사이즈 암호문은 상기 제2자가 상기 제1 동형 암호화 비밀 키를 사용하여 제2자 특징 그라데이션 평문 및 제2 샘플 사이즈 평문에 대해 암호화하여 얻도록 지시하기 위해 상기 제1자에게 제2 샘플 사이즈 암호문 및 제2자 특징 그라데이션 암호문을 발송하고; 상기 제1자로부터 상기 모델 연합 그라데이션 암호문을 획득하며, 상기 제2 동형 암호화 비밀 키를 사용하여 상기 모델 연합 그라데이션 암호문에 대해 복호화하여 모델 연합 그라데이션 평문을 얻고, 상기 모델 연합 그라데이션 평문에 따라 상기 제2자 모델을 업데이트하며; 상기 제1자가 상기 모델 연합 그라데이션 평문에 따라 상기 제1자 모델을 업데이트하도록 지시하기 위해, 제1자에게 상기 모델 연합 그라데이션 평문을 발송한다.
상기 실시예를 기반으로, 선택 가능하게, 상기 제1자 트레이닝 샘플은 상기 제2자 트레이닝 샘플과 데이터 구조가 동일하다.
본 실시예의 기술적 해결수단은, 제2자가 그라데이션 및 샘플 사이즈를 제1자에 발송하여, 제1자가 제2자의 그라데이션 및 샘플 사이즈를 결합하여 모델 연합 그라데이션 정보를 효과적으로 산출하도록 함으로써, 양자의 모델을 효과적으로 업데이트하는 것을 구현할 수 있다.
본 발명의 실시예에 따르면, 본 발명은 전자 기기 및 판독 가능 저장 매체를 더 제공한다.
도 7에 도시된 바와 같이, 본 발명의 실시예에 따른 모델 연합 트레이닝 방법의 전자 기기의 블록도이다. 전자 기기는 랩톱 컴퓨터, 데스크톱 컴퓨터, 운영 플랫폼, 개인 정보 단말기, 서버, 블레이드 서버, 대형 컴퓨터, 및 다른 적합한 컴퓨터와 같은 다양한 형태의 디지털 컴퓨터를 의미한다. 전자 기기는 개인 디지털 처리, 셀룰러폰, 스마트폰, 웨어러블 기기 및 다른 유사한 컴퓨팅 장치와 같은 다양한 형태의 이동 장치를 의미할 수도 있다. 본문에서 나타낸 부재, 이들의 연결과 관계, 및 이들의 기능은 단지 예시적인 것으로, 본문에서 설명 및/또는 요구된 본 발명의 구현을 한정하지 않는다.
도 7에 도시된 바와 같이, 상기 전자 기기는 하나 또는 다수의 프로세서(701), 메모리(702), 및 고속 인터페이스 및 저속 인터페이스를 포함하는 각 부재를 연결하기 위한 인터페이스를 포함한다. 각 부재는 상이한 버스를 이용하여 서로 연결되고, 공통 메인보드에 장착될 수 있거나 필요에 따라 다른 방식으로 장착될 수 있다. 프로세서는, 메모리에 저장되거나 메모리에서 외부 입력/출력 장치(예를 들어, 인터페이스에 커플링된 표시 기기)에 GUI의 그래픽 정보를 표시하는 명령을 포함하는 전자 기기 내에서 실행되는 명령을 처리할 수 있다. 다른 실시형태에서, 필요에 따라 다수의 프로세서 및/또는 다수의 버스를 다수의 메모리와 함께 사용할 수 있다. 마찬가지로, 다수의 전자 기기를 연결할 수 있고, 각 기기는 일부 필요한 동작(예를 들어, 서버 어레이, 한 그룹의 블레이드 서버, 또는 다중프로세서 시스템)을 제공한다. 도 7에서 하나의 프로세서(701)를 예로 든다.
메모리(702)는 본 발명에서 제공하는 비일시적 컴퓨터 판독 가능 저장 매체이다. 여기서, 상기 메모리에는 적어도 하나의 프로세서에 의해 실행되는 명령이 저장되어, 상기 적어도 하나의 프로세서가 본 발명에서 제공하는 모델 연합 트레이닝 방법을 수행하도록 한다. 본 발명의 비일시적 컴퓨터 판독 가능 저장 매체는 컴퓨터 명령을 저장하고, 상기 컴퓨터 명령은 컴퓨터가 본 발명에 제공하는 모델 연합 트레이닝 방법을 수행하도록 한다.
메모리(702)는 비일시적 컴퓨터 판독 가능한 저장 매체로서, 비일시적 소프트웨어 프로그램, 비일시적 컴퓨터 실행 가능한 프로그램, 및 본 발명의 실시예의 모델 연합 트레이닝 방법에 대응되는 프로그램 명령/모듈과 같은 모듈을 저장할 수 있다. 프로세서(701)는 메모리(702)에 저장된 비일시적 소프트웨어 프로그램, 명령 및 모듈을 실행함으로써, 서버의 다양한 기능 애플리케이션 및 데이터 처리를 수행하는데, 즉 상기 방법 실시예의 모델 연합 트레이닝 방법을 구현한다.
메모리(702)는 프로그램 저장 영역 및 데이터 저장 영역을 포함할 수 있고, 여기서, 프로그램 저장 영역은 운영 체제, 적어도 하나의 기능에 필요한 응용 프로그램을 저장할 수 있으며; 데이터 저장 영역은 모델 연합 트레이닝 전자 기기의 사용에 따라 구축된 데이터 등을 저장할 수 있다. 이 밖에, 메모리(702)는 고속 랜덤 액세스 메모리를 포함할 수 있고, 적어도 하나의 자기 디스크 메모리, 플래시 메모리, 또는 다른 비일시적 고체 상태 메모리와 같은 비일시적 메모리를 더 포함할 수 있다. 일부 실시예에서, 메모리(702)는 프로세서(701)에 대해 원격으로 설치된 메모리를 선택적으로 포함할 수 있고, 이러한 원격 메모리는 네트워크를 통해 모델 연합 트레이닝 전자 기기에 연결될 수 있다. 상기 네트워크의 구현예로 인터넷, 인트라넷, 근거리 통신망, 이동 통신망 및 이들의 조합을 포함하지만 이에 한정되지 않는다.
모델 연합 트레이닝 방법의 전자 기기는 입력 장치(703) 및 출력 장치(704)를 더 포함할 수 있다. 프로세서(701), 메모리(702), 입력 장치(703) 및 출력 장치(704)는 버스 또는 다른 방식을 통해 연결될 수 있고, 도 7에서 버스를 통해 연결되는 것을 예로 든다.
입력 장치(703)는 입력된 디지털 또는 캐릭터 정보를 수신할 수 있고, 모델 연합 트레이닝 전자 기기의 사용자 설정 및 기능 제어와 관련된 키 신호 입력을 발생할 수 있으며, 상기 입력 장치는 예를 들어 터치 스크린, 키패드, 마우스, 트랙 패널, 터치 패널, 지시 바, 하나 또는 다수의 마우스 버튼, 트랙 볼, 조이스틱 등 입력 장치이다. 출력 장치(704)는 표시 기기, 보조 조명 장치(예를 들어, LED) 및 촉각 피드백 장치(예를 들어, 진동 모터) 등을 포함할 수 있다. 상기 표시 기기는 액정 표시 장치(LCD), 발광 다이오드(LED) 표시 장치 및 플라스마 표시 장치를 포함할 수 있지만 이에 한정되지 않는다. 일부 실시형태에서, 표시 기기는 터치 스크린일 수 있다.
여기서 설명된 시스템 및 기술의 다양한 실시형태는 디지털 전자 회로 시스템, 집적 회로 시스템, 전용 ASIC(전용 집적 회로), 컴퓨터 하드웨어, 펌웨어, 소프트웨어, 및/또는 이들의 조합에서 구현될 수 있다. 이러한 다양한 실시형태는 하나 또는 다수의 컴퓨터 프로그램에서의 구현을 포함할 수 있고, 상기 하나 또는 다수의 컴퓨터 프로그램은 적어도 하나의 프로그램 가능 프로세서를 포함하는 프로그램 가능 시스템에서 실행 및/또는 해석될 수 있으며, 상기 프로그램 가능 프로세서는 전용 또는 범용 프로그램 가능 프로세서일 수 있고, 저장 시스템, 적어도 하나의 입력 장치, 및 적어도 하나의 출력 장치로부터 데이터 및 명령을 수신할 수 있으며, 데이터 및 명령을 상기 저장 시스템, 상기 적어도 하나의 입력 장치, 및 상기 적어도 하나의 출력 장치에 전송할 수 있다.
이러한 컴퓨팅 프로그램(프로그램, 소프트웨어, 소프트웨어 애플리케이션, 또는 코드라고도 함)은 프로그램 가능 프로세서의 기계 명령을 포함하고, 하이레벨 프로세스 및/또는 객체에 대한 프로그래밍 언어, 및/또는 어셈블리/기계 언어를 이용하여 이러한 컴퓨팅 프로그램을 실행할 수 있다. 본문에서 사용된 바와 같이, 용어 "기계 판독 가능한 매체” 및 "컴퓨터 판독 가능한 매체”는 기계 명령 및/또는 데이터를 프로그램 가능 프로세서에 제공하기 위한 임의의 컴퓨터 프로그램 제품, 기기, 및/또는 장치(예를 들어, 자기 디스크, 광 디스크, 메모리, 프로그램 가능 로직 장치(PLD))를 의미하고, 기계 판독 가능한 신호인 기계 명령을 수신하는 기계 판독 가능한 매체를 포함한다. 용어 "기계 판독 가능한 신호”는 기계 명령 및/또는 데이터를 프로그램 가능 프로세서에 제공하기 위한 임의의 신호를 의미한다.
사용자와의 인터랙션을 제공하기 위하여, 컴퓨터에서 여기서 설명된 시스템 및 기술을 실시할 수 있고, 상기 컴퓨터는 사용자에게 정보를 표시하기 위한 표시 장치(예를 들어, CRT(음극선관) 또는 LCD(액정 표시 장치) 모니터); 및 키보드 및 지향 장치(예를 들어, 마우스 또는 트랙 볼)를 구비하며, 사용자는 상기 키보드 및 상기 지향 장치를 통해 컴퓨터에 입력을 제공한다. 다른 타입의 장치는 또한 사용자와의 인터랙션을 제공할 수 있는데, 예를 들어, 사용자에게 제공된 피드백은 임의의 형태의 감지 피드백(예를 들어, 시각 피드백, 청각 피드백, 또는 촉각 피드백)일 수 있고; 임의의 형태(소리 입력, 음성 입력, 또는 촉각 입력)로 사용자로부터의 입력을 수신할 수 있다.
여기서 설명된 시스템 및 기술을 백그라운드 부재를 포함하는 컴퓨팅 시스템(예를 들어, 데이터 서버), 또는 미들웨어 부재를 포함하는 컴퓨팅 시스템(예를 들어, 응용 서버), 또는 프론트 엔드 부재를 포함하는 컴퓨팅 시스템(예를 들어, 그래픽 사용자 인터페이스 또는 웹 브라우저를 구비하는 사용자 컴퓨터이고, 사용자는 상기 그래픽 사용자 인터페이스 또는 웹 브라우저를 통해 여기서 설명된 시스템 및 기술의 실시형태와 인터랙션할 수 있음), 또는 이러한 백그라운드 부재, 미들웨어 부재, 또는 프론트 엔드 부재의 임의의 조합을 포함하는 컴퓨팅 시스템에서 실시할 수 있다. 임의의 형태 또는 매체의 디지털 데이터 통신(예를 들어, 통신 네트워크)을 통해 시스템의 부재를 서로 연결시킬 수 있다. 통신 네트워크의 예시로 근거리 통신망(LAN), 광역 통신망(WAN), 인터넷, 블록체인 네트워크를 포함한다.
컴퓨터 시스템은 클라이언트 및 서버를 포함할 수 있다. 클라이언트 및 서버는 일반적으로 서로 멀리 떨어져 있고 일반적으로 통신 네트워크를 통해 서로 인터랙션한다. 대응되는 컴퓨터에서 실행되고 또한 서로 클라이언트-서버 관계를 가지는 컴퓨터 프로그램을 통해 클라이언트 및 서버의 관계를 생성한다. 서버는 클라우드 컴퓨팅 서버 또는 클라우드 호스트라고도 칭하는 클라우드 서버일 수 있고, 기존 물리적 호스트와 VPS 서비스의 관리가 어렵고, 업무 확장성이 약한 흠결을 해결하는 클라우드 컴퓨팅 서비스 시스템 중의 호스트 제품이다.
본 발명의 실시예의 기술적 해결수단에 따르면, 트레이닝하는 양자의 그라데이션 및 샘플 사이즈에 따라, 양자의 모델을 업데이트하는데 적용되는 모델 연합 그라데이션 정보를 결정함으로써, 모델 연합 트레이닝의 효율을 크게 향상시킬 수 있다.
위에서 설명한 다양한 형태의 프로세스를 사용하여 단계를 재배열, 추가 또는 삭제할 수 있음을 이해해야 한다. 예를 들어, 본 발명에 기재된 각 단계는 동시에 수행될 수 있거나 순차적으로 수행될 수 있거나 상이한 순서로 수행될 수 있고, 본 발명에서 공개된 기술적 해결수단이 이루고자 하는 결과를 구현할 수만 있으면, 본문은 여기서 한정하지 않는다.
상기 구체적인 실시형태는 본 발명의 보호 범위를 한정하지 않는다. 본 기술분야의 통상의 기술자는 설계 요구 및 다른 요소에 따라 다양한 수정, 조합, 서브 조합 및 대체를 진해할 수 있음을 이해해야 한다. 본 발명의 정신 및 원칙 내에서 진행한 임의의 수정, 등가적 대체 및 개선 등은 모두 본 발명의 보호 범위 내에 속해야 한다.

Claims (16)

  1. 모델 연합 트레이닝 방법으로서,
    제1 샘플 사이즈의 제1자 트레이닝 샘플을 사용하여, 트레이닝할 제1자 모델에 대해 트레이닝을 진행하여, 제1자 특징 그라데이션 정보를 얻는 단계;
    제2자로부터 제2자 특징 그라데이션 정보 및 제2 샘플 사이즈 정보를 획득하는 단계 - 상기 제2자 특징 그라데이션 정보는 상기 제2자가 제2 샘플 사이즈의 제2자 트레이닝 샘플을 사용하여, 트레이닝할 제2자 모델에 대해 트레이닝을 진행하여 얻음 -; 및
    상기 제1자 특징 그라데이션 정보, 상기 제2자 특징 그라데이션 정보, 상기 제1 샘플 사이즈 정보 및 상기 제2 샘플 사이즈 정보에 따라 모델 연합 그라데이션 정보를 결정하고, 상기 모델 연합 그라데이션 정보에 따라, 상기 제1자 모델 및 상기 제2자 모델을 업데이트하는 단계를 포함하는 모델 연합 트레이닝 방법.
  2. 제1항에 있어서,
    상기 제1자 트레이닝 샘플은, 제1자가 제1자 샘플 데이터로부터 랜덤으로 샘플링하여 얻고, 랜덤으로 추출된 샘플 개수를 상기 제1 샘플 사이즈로 하며; 상기 제2자 트레이닝 샘플은, 상기 제2자가 제2자 샘플 데이터로부터 랜덤으로 샘플링하여 얻고, 랜덤으로 추출된 샘플 개수를 상기 제2 샘플 사이즈로 하는 모델 연합 트레이닝 방법.
  3. 제1항 또는 제2항에 있어서,
    상기 제1자 특징 그라데이션 정보, 상기 제2자 특징 그라데이션 정보, 상기 제1 샘플 사이즈 정보 및 상기 제2 샘플 사이즈 정보에 따라 모델 연합 그라데이션 정보를 결정하고, 상기 모델 연합 그라데이션 정보에 따라, 상기 제1자 모델 및 상기 제2자 모델을 업데이트하는 단계는,
    제1자 특징 그라데이션 평문(plaintext), 제2자 특징 그라데이션 평문, 제1 샘플 사이즈 평문 및 제2 샘플 사이즈 평문에 따라, 모델 연합 그라데이션 평문을 결정하는 단계;
    상기 모델 연합 그라데이션 평문에 따라 상기 제1자 모델을 업데이트하는 단계; 및
    상기 제2자가 상기 모델 연합 그라데이션 평문에 따라 상기 제2자 모델을 업데이트하도록 지시하기 위해, 상기 제2자에게 상기 모델 연합 그라데이션 평문을 발송하는 단계를 포함하는 모델 연합 트레이닝 방법.
  4. 제1항에 있어서,
    상기 제1자 특징 그라데이션 정보, 상기 제2자 특징 그라데이션 정보, 상기 제1 샘플 사이즈 정보 및 상기 제2 샘플 사이즈 정보에 따라 모델 연합 그라데이션 정보를 결정하고, 상기 모델 연합 그라데이션 정보에 따라, 상기 제1자 모델 및 상기 제2자 모델을 업데이트하는 단계는,
    제1자 특징 그라데이션 암호문, 제2자 특징 그라데이션 암호문, 제1 샘플 사이즈 암호문 및 제2 샘플 사이즈 암호문에 따라 모델 연합 그라데이션 암호문을 결정하는 단계 - 상기 제1자 특징 그라데이션 암호문 및 상기 제1 샘플 사이즈 암호문은, 제1자가 상기 제2자로부터 획득한 제1 동형 암호화 비밀 키를 사용하여 제1자 특징 그라데이션 평문 및 제1 샘플 사이즈 평문에 대해 각각 암호화하여 얻고, 상기 제2자 특징 그라데이션 암호문 및 상기 제2 샘플 사이즈 암호문은, 상기 제2자가 상기 제1 동형 암호화 비밀 키를 사용하여 제2자 특징 그라데이션 평문 및 제2 샘플 사이즈 평문에 대해 각각 암호화하여 얻음 -;
    상기 제2자가 제2 동형 암호화 비밀 키를 사용하여 상기 모델 연합 그라데이션 암호문에 대해 복호화하여 모델 연합 그라데이션 평문을 얻고, 상기 모델 연합 그라데이션 평문에 따라 상기 제2자 모델을 업데이트하도록 지시하기 위해, 상기 제2자에게 상기 모델 연합 그라데이션 암호문을 발송하는 단계; 및
    상기 제2자로부터 모델 연합 그라데이션 평문을 획득하고, 상기 모델 연합 그라데이션 평문에 따라 상기 제1자 모델을 업데이트하는 단계를 포함하는 모델 연합 트레이닝 방법.
  5. 제1항에 있어서,
    상기 제1자 트레이닝 샘플은 상기 제2자 트레이닝 샘플과 데이터 구조가 동일한 모델 연합 트레이닝 방법.
  6. 제5항에 있어서,
    보안 교집합 획득 프로토콜을 통해, 제1자 샘플 데이터와 제2자 샘플 데이터 사이의 공통 특징 차원을 결정하는 단계; 및
    상기 공통 특징 차원에 기반하여, 상기 제1자 트레이닝 샘플 및 상기 제2자 트레이닝 샘플을 결정하는 단계를 더 포함하는 모델 연합 트레이닝 방법.
  7. 모델 연합 트레이닝 방법으로서,
    제2 샘플 사이즈의 제2자 트레이닝 샘플을 사용하여, 트레이닝할 제2자 모델에 대해 트레이닝을 진행하여, 제2자 특징 그라데이션 정보를 얻는 단계; 및
    제1자가 제1 샘플 사이즈의 제1자 트레이닝 샘플을 사용하여, 트레이닝할 제1자 모델에 대해 트레이닝을 진행하여, 제1자 특징 그라데이션 정보를 얻고, 상기 제1자 특징 그라데이션 정보, 상기 제2자 특징 그라데이션 정보, 상기 제1 샘플 사이즈 정보 및 상기 제2 샘플 사이즈 정보에 따라 모델 연합 그라데이션 정보를 결정하며, 상기 모델 연합 그라데이션 정보에 따라, 상기 제1자 모델 및 상기 제2자 모델을 업데이트하도록 지시하기 위해, 제1자에게 제2 샘플 사이즈 정보 및 상기 제2자 특징 그라데이션 정보를 발송하는 단계를 포함하는 모델 연합 트레이닝 방법.
  8. 제7항에 있어서,
    상기 제1자 트레이닝 샘플은 상기 제1자가 제1자 샘플 데이터로부터 랜덤으로 샘플링하여 얻고, 랜덤으로 추출된 샘플 개수를 상기 제1 샘플 사이즈로 하며; 상기 제2자 트레이닝 샘플은 상기 제2자가 제2자 샘플 데이터로부터 랜덤으로 샘플링하여 얻고, 랜덤으로 추출된 샘플 개수를 상기 제2 샘플 사이즈로 하는 모델 연합 트레이닝 방법.
  9. 제7항 또는 제8항에 있어서,
    상기 제1자에게 제2 샘플 사이즈 정보 및 상기 제2자 특징 그라데이션 정보를 발송하는 단계는,
    상기 제1자가 제1자 특징 그라데이션 평문, 상기 제2자 특징 그라데이션 평문, 제1 샘플 사이즈 평문 및 상기 제2 샘플 사이즈 평문에 따라, 모델 연합 그라데이션 평문을 결정하고, 상기 모델 연합 그라데이션 평문에 따라 상기 제1자 모델을 업데이트하도록 지시하기 위해, 제1자에게 제2 샘플 사이즈 평문 및 제2자 특징 그라데이션 평문을 발송하는 단계; 및
    제1자로부터 상기 모델 연합 그라데이션 평문을 획득하고, 상기 모델 연합 그라데이션 평문에 따라 상기 제2자 모델을 업데이트하는 단계를 포함하는 모델 연합 트레이닝 방법.
  10. 제7항에 있어서,
    제1 동형 암호화 비밀 키 및 제2 동형 암호화 비밀 키를 결정하고, 상기 제1자에게 상기 제1 동형 암호화 비밀 키를 발송하는 단계를 더 포함하며;
    상기 제1자에게 제2 샘플 사이즈 정보 및 상기 제2자 특징 그라데이션 정보를 발송하는 단계는,
    상기 제1자가 제1자 특징 그라데이션 암호문, 상기 제2자 특징 그라데이션 암호문, 제1 샘플 사이즈 암호문 및 상기 제2 샘플 사이즈 암호문에 따라 모델 연합 그라데이션 암호문을 결정하도록 지시하기 위해, 상기 제1자에게 제2 샘플 사이즈 암호문 및 제2자 특징 그라데이션 암호문을 발송하는 단계 - 상기 제1자 특징 그라데이션 암호문 및 상기 제1 샘플 사이즈 암호문은 상기 제1자가 상기 제1 동형 암호화 비밀 키를 사용하여 제1자 특징 그라데이션 평문 및 제1 샘플 사이즈 평문에 대해 각각 암호화하여 얻으며, 상기 제2자 특징 그라데이션 암호문 및 상기 제2 샘플 사이즈 암호문은 상기 제2자가 상기 제1 동형 암호화 비밀 키를 사용하여 제2자 특징 그라데이션 평문 및 제2 샘플 사이즈 평문에 대해 암호화하여 얻음 - ;
    상기 제1자로부터 상기 모델 연합 그라데이션 암호문을 획득하고, 상기 제2 동형 암호화 비밀 키를 사용하여 상기 모델 연합 그라데이션 암호문에 대해 복호화하여 모델 연합 그라데이션 평문을 얻으며, 상기 모델 연합 그라데이션 평문에 따라 상기 제2자 모델을 업데이트하는 단계; 및
    상기 제1자가 상기 모델 연합 그라데이션 평문에 따라 상기 제1자 모델을 업데이트하도록 지시하기 위해, 제1자에게 상기 모델 연합 그라데이션 평문을 발송하는 단계를 포함하는 모델 연합 트레이닝 방법.
  11. 제7항에 있어서,
    상기 제1자 트레이닝 샘플은 상기 제2자 트레이닝 샘플과 데이터 구조가 동일한 모델 연합 트레이닝 방법.
  12. 모델 연합 트레이닝 장치로서,
    제1 샘플 사이즈의 제1자 트레이닝 샘플을 사용하여, 트레이닝할 제1자 모델에 대해 트레이닝을 진행하여, 제1자 특징 그라데이션 정보를 얻기 위한 정보 결정 모듈;
    제2자로부터 제2자 특징 그라데이션 정보 및 제2 샘플 사이즈 정보를 획득하기 위한 정보 획득 모듈 - 상기 제2자 특징 그라데이션 정보는 상기 제2자가 제2 샘플 사이즈의 제2자 트레이닝 샘플을 사용하여, 트레이닝할 제2자 모델에 대해 트레이닝을 진행하여 얻음 -; 및
    상기 제1자 특징 그라데이션 정보, 상기 제2자 특징 그라데이션 정보, 상기 제1 샘플 사이즈 정보 및 상기 제2 샘플 사이즈 정보에 따라 모델 연합 그라데이션 정보를 결정하고, 상기 모델 연합 그라데이션 정보에 따라, 상기 제1자 모델 및 상기 제2자 모델을 업데이트하기 위한 모델 업데이트 모듈을 포함하는 모델 연합 트레이닝 장치.
  13. 모델 연합 트레이닝 장치로서,
    제2 샘플 사이즈의 제2자 트레이닝 샘플을 사용하여, 트레이닝할 제2자 모델에 대해 트레이닝을 진행하여, 제2자 특징 그라데이션 정보를 얻기 위한 정보 결정 모듈; 및
    제1자가 제1 샘플 사이즈의 제1자 트레이닝 샘플을 사용하여, 트레이닝할 제1자 모델에 대해 트레이닝을 진행하여, 제1자 특징 그라데이션 정보를 얻고, 상기 제1자 특징 그라데이션 정보, 상기 제2자 특징 그라데이션 정보, 상기 제1 샘플 사이즈 정보 및 상기 제2 샘플 사이즈 정보에 따라 모델 연합 그라데이션 정보를 결정하며, 상기 모델 연합 그라데이션 정보에 따라, 상기 제1자 모델 및 상기 제2자 모델을 업데이트하도록 지시하기 위해, 제1자에게 제2 샘플 사이즈 정보 및 상기 제2자 특징 그라데이션 정보를 발송하기 위한 정보 발송 모듈을 포함하는 모델 연합 트레이닝 장치.
  14. 전자 기기로서,
    적어도 하나의 프로세서; 및
    상기 적어도 하나의 프로세서와 통신 연결되는 메모리를 포함하고,
    상기 메모리에 상기 적어도 하나의 프로세서에 의해 실행 가능한 명령이 저장되고, 상기 명령이 상기 적어도 하나의 프로세서에 의해 실행될 경우, 상기 적어도 하나의 프로세서가 제1항 내지 제6항 중 어느 한 항에 따른 방법 또는 제7항 내지 제11항 중 어느 한 항에 따른 방법을 수행할 수 있도록 하는 전자 기기.
  15. 컴퓨터 명령이 저장된 비일시적 컴퓨터 판독 가능 저장 매체로서,
    상기 컴퓨터 명령은, 상기 컴퓨터가 제1항 내지 제6항 중 어느 한 항에 따른 방법 또는 제7항 내지 제11항 중 어느 한 항에 따른 방법을 수행하도록 하는 비일시적 컴퓨터 판독 가능 저장 매체.
  16. 컴퓨터 판독 가능한 저장 매체에 저장된 컴퓨터 프로그램으로서,
    상기 컴퓨터 프로그램이 프로세서에 의해 실행될 경우, 제1항 내지 제6항 중 어느 한 항에 따른 방법 또는 제7항 내지 제11항 중 어느 한 항에 따른 방법을 구현하도록 하는 컴퓨터 프로그램.
KR1020210031824A 2020-09-25 2021-03-11 모델 연합 트레이닝 방법, 장치, 기기 및 저장 매체 KR20220041707A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202011025747.4 2020-09-25
CN202011025747.4A CN112016632B (zh) 2020-09-25 2020-09-25 模型联合训练方法、装置、设备和存储介质

Publications (1)

Publication Number Publication Date
KR20220041707A true KR20220041707A (ko) 2022-04-01

Family

ID=73527527

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210031824A KR20220041707A (ko) 2020-09-25 2021-03-11 모델 연합 트레이닝 방법, 장치, 기기 및 저장 매체

Country Status (5)

Country Link
US (1) US20210209515A1 (ko)
EP (1) EP3896599A3 (ko)
JP (1) JP7280303B2 (ko)
KR (1) KR20220041707A (ko)
CN (1) CN112016632B (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220144502A (ko) * 2021-04-20 2022-10-27 성신여자대학교 연구 산학협력단 인공지능 학습장치 및 인공지능 학습장치의 동작방법

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112765559B (zh) * 2020-12-29 2024-08-20 平安科技（深圳）有限公司 联邦学习的过程中模型参数的处理方法、装置及相关设备
CN113722738B (zh) * 2021-09-02 2023-08-08 脸萌有限公司 数据保护方法、装置、介质及电子设备
WO2023097602A1 (zh) * 2021-12-02 2023-06-08 东莞理工学院 协同训练数据属性的推断方法、装置、设备及存储介质
CN114595835B (zh) * 2022-05-07 2022-07-22 腾讯科技（深圳）有限公司 基于联邦学习的模型训练方法及装置、设备、存储介质
CN114611131B (zh) * 2022-05-10 2023-05-30 支付宝(杭州)信息技术有限公司 保护隐私的确定共有数据的方法、装置和系统
CN115021985B (zh) * 2022-05-23 2023-06-16 北京融数联智科技有限公司 一种无需第三方参与的逻辑回归模型训练方法及系统
CN115098885B (zh) * 2022-07-28 2022-11-04 清华大学 数据处理方法、系统及电子设备
CN118607006A (zh) * 2024-08-08 2024-09-06 贵州数据宝网络科技有限公司 一种基于二级隐私求交的数据保护方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10320752B2 (en) * 2014-10-24 2019-06-11 National Ict Australia Limited Gradients over distributed datasets
CN109165725B (zh) * 2018-08-10 2022-03-29 深圳前海微众银行股份有限公司 基于迁移学习的神经网络联邦建模方法、设备及存储介质
CN109325584B (zh) * 2018-08-10 2021-06-25 深圳前海微众银行股份有限公司 基于神经网络的联邦建模方法、设备及可读存储介质
CN109886417B (zh) * 2019-03-01 2024-05-03 深圳前海微众银行股份有限公司 基于联邦学习的模型参数训练方法、装置、设备及介质
US11455573B2 (en) * 2019-09-30 2022-09-27 International Business Machines Corporation Data protection distributed learning
US11188791B2 (en) * 2019-11-18 2021-11-30 International Business Machines Corporation Anonymizing data for preserving privacy during use for federated machine learning
CN111428887B (zh) * 2020-03-19 2023-05-12 腾讯云计算（北京）有限责任公司 一种基于多个计算节点的模型训练控制方法、装置及系统
CN111461215B (zh) 2020-03-31 2021-06-29 支付宝(杭州)信息技术有限公司 业务模型的多方联合训练方法、装置、系统及设备
CN111177768A (zh) * 2020-04-10 2020-05-19 支付宝(杭州)信息技术有限公司 保护数据隐私的双方联合训练业务预测模型的方法和装置
CN113689006B (zh) * 2020-04-23 2024-06-11 支付宝(杭州)信息技术有限公司 一种模型联合训练的方法和系统
EP4205344A1 (en) * 2020-08-27 2023-07-05 Ecole Polytechnique Federale De Lausanne (Epfl) System and method for privacy-preserving distributed training of neural network models on distributed datasets

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220144502A (ko) * 2021-04-20 2022-10-27 성신여자대학교 연구 산학협력단 인공지능 학습장치 및 인공지능 학습장치의 동작방법

Also Published As

Publication number Publication date
US20210209515A1 (en) 2021-07-08
CN112016632B (zh) 2024-04-26
CN112016632A (zh) 2020-12-01
JP7280303B2 (ja) 2023-05-23
EP3896599A2 (en) 2021-10-20
EP3896599A3 (en) 2022-02-16
JP2022054386A (ja) 2022-04-06

Similar Documents

Publication Publication Date Title
KR20220041707A (ko) 모델 연합 트레이닝 방법, 장치, 기기 및 저장 매체
US9225515B2 (en) Shared portal context session
US20150149763A1 (en) Server-Aided Private Set Intersection (PSI) with Data Transfer
CN113609508A (zh) 一种基于区块链的联邦学习方法、装置、设备及存储介质
US11410081B2 (en) Machine learning with differently masked data in secure multi-party computing
CN111934872B (zh) 密钥处理方法、装置、电子设备以及存储介质
US11789929B2 (en) Method, apparatus, device and medium for performing review based on blockchain
CN109981576B (zh) 密钥迁移方法和装置
CN113722739B (zh) 梯度提升树模型的生成方法、装置、电子设备和存储介质
CN113722753B (zh) 基于区块链的隐私数据处理方法、装置及系统
CN114223175B (zh) 在防止获取或操控时间数据的同时生成网络数据的序列
CN116502732B (zh) 基于可信执行环境的联邦学习方法以及系统
US20230254113A1 (en) Correlation coefficient acquisition method, electronic device and non-transitory computer readable storage medium
US20180025172A1 (en) Data storage apparatus, data processing method, and computer readable medium
CN113300999A (zh) 信息处理方法、电子设备和可读存储介质
CN114429223A (zh) 异构模型建立方法及装置
US20170244753A1 (en) Establishing a secure data exchange channel
CN109120576A (zh) 数据分享方法及装置、计算机设备及存储介质
CN112565156A (zh) 信息注册方法、装置和系统
CN116405199A (zh) 基于ntru算法和sm2算法的加密方法、装置、设备和介质
CN113806760B (zh) 获取特征间相关系数方法、装置、电子设备及存储介质
CN114745179A (zh) 多方隐私求交的方法、装置、设备及存储介质
CN113626848A (zh) 样本数据生成方法、装置、电子设备及计算机可读介质
CN111832046A (zh) 一种基于区块链技术的可信数据存证方法
CN114186669B (zh) 神经网络模型的训练方法、装置、设备和存储介质

Legal Events

Date Code Title Description
E601 Decision to refuse application