KR102532368B1 - 공유 엔코더 생성 방법, 장치 및 전자 기기 - Google Patents

공유 엔코더 생성 방법, 장치 및 전자 기기 Download PDF

Info

Publication number
KR102532368B1
KR102532368B1 KR1020207035376A KR20207035376A KR102532368B1 KR 102532368 B1 KR102532368 B1 KR 102532368B1 KR 1020207035376 A KR1020207035376 A KR 1020207035376A KR 20207035376 A KR20207035376 A KR 20207035376A KR 102532368 B1 KR102532368 B1 KR 102532368B1
Authority
KR
South Korea
Prior art keywords
shared encoder
node
target
target shared
encoder
Prior art date
Application number
KR1020207035376A
Other languages
English (en)
Other versions
KR20210065069A (ko
Inventor
다썅 동
원후이 쟝
즈화 우
디엔하이 위
옌쥔 마
하이펑 왕
Original Assignee
베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디. filed Critical 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디.
Publication of KR20210065069A publication Critical patent/KR20210065069A/ko
Application granted granted Critical
Publication of KR102532368B1 publication Critical patent/KR102532368B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061—Partitioning or combining of resources
    • G06F9/5072—Grid computing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G06N5/022—Knowledge engineering; Knowledge acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/546—Message passing systems or structures, e.g. queues

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Medical Informatics (AREA)
  • Mobile Radio Communication Systems (AREA)
  • Devices For Executing Special Programs (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Transmission And Conversion Of Sensor Element Output (AREA)
  • Feedback Control In General (AREA)

Abstract

본 출원은 공유 엔코더 생성 방법, 장치 및 전자 기기를 제공하는데 이는 컴퓨터 분야에 속한다. 여기서, 당해 방법은, 메인 노드가 서브 노드에 공유 엔코더의 트레이닝 명령을 송신하고, 상기 트레이닝 명령에는 트레이닝 해야 할 목표 공유 엔코더의 유형이 포함되어 각각의 서브 노드가 목표 공유 엔코더의 유형에 따라 트레이닝 샘플을 획득하는 단계; 각 서브 노드에 의해 리턴된 확인 정보를 획득한 후, 각 서브 노드에 트레이닝 해야 할 목표 공유 엔코더의 초기 파라미터 집합을 송신하여 각 서브 노드가 각자의 트레이닝 샘플을 이용해 상기 목표 공유 엔코더의 초기 파라미터 집합을 트레이닝하는 단계; 각 서브 노드에 의해 리턴된 목표 공유 엔코더의 업데이트 파라미터 집합을 획득하는 단계; 및 제1 사전 설정된 규칙 및 각 서브 노드에 의해 리턴된 목표 공유 엔코더의 업데이트 파라미터에 따라 상기 목표 공유 엔코더에 대응하는 목표 파라미터 집합을 결정하는 단계; 를 포함한다. 이와 같은 공유 엔코더 생성 방법을 통해 여러 분야 트레이닝 코퍼스의 획득 난이도와 원가를 낮추고 공유 엔코더의 기능을 제고시킨다.

Description

공유 엔코더 생성 방법, 장치 및 전자 기기
본 출원은 BEIJING BAIDU NETCOM SCIENCE AND TECHNOLOGY CO., LTD가 2019년 11월 22일 중국지식재산권국에 제출한, 특허 출원 번호가 "201911155509.2"이고 발명 명칭이 공유 엔코더 생성 방법, 장치 및 전자 기기인, 특허 출원의 우선권을 청구한다.
본 출원은 컴퓨터 기술 분야, 특히 빅 데이터 기술 분야와 관련되고 공유 인코더 생성 방법, 장치 및 전자 기기에 관한 것이다.
예비 트레이닝 모델은 이미 컴퓨터 시각, 자연어 처리(NLP) 등 분야의 응용 실천에서 유효한 것으로 입증되었고, 빅 데이터에서 트레이닝한 후 구체적인 임무에 따라 모델 파라미터를 조금씩 조정하는 것은 이미 유행된 방법이다.
하지만 관련 기술에 있어서, 여러 분야 트레이닝 코퍼스를 획득하는 난이도가 크고, 원가가 높은 것으로 인하여, 예비 트레이닝 모델의 실현 난이도가 크다.
본 출원에서 제공한 엔코더 생성 방법, 장치 및 전자 기기는, 관련 기술 중 여러 분야 트레이닝 코퍼스를 획득하는 난이도가 크고, 원가가 높은 것으로 인하여 트레이닝 모델의 실현 난이도가 큰 문제를 해결하는데 사용된다.
본 출원 실시 예에서 제출한 공유 엔코더 생성 방법은, 메인 노드가 서브 노드에 공유 엔코더의 트레이닝 명령을 송신하고, 상기 트레이닝 명령에는 트레이닝 해야 할 목표 공유 엔코더의 유형이 포함되어 각각의 서브 노드가 목표 공유 엔코더의 유형에 따라 트레이닝 샘플을 획득하는 단계; 각 서브 노드에 의해 리턴된 확인 정보를 획득한 후, 각 서브 노드에 트레이닝 해야 할 목표 공유 엔코더의 초기 파라미터 집합을 송신하여 각 서브 노드가 각자의 트레이닝 샘플을 이용해 상기 목표 공유 엔코더의 초기 파라미터 집합을 트레이닝하는 단계; 각 서브 노드에 의해 리턴된 목표 공유 엔코더의 업데이트 파라미터 집합을 획득하는 단계; 및 제1 사전 설정된 규칙 및 각 서브 노드에 의해 리턴된 목표 공유 엔코더의 업데이트 파라미터에 따라 상기 목표 공유 엔코더에 대응하는 목표 파라미터 집합을 결정하는 단계; 를 포함한다.
본 출원의 다른 실시 예에서 제출한 공유 엔코더 생성 방법은, 제2 서브 노드는 메인 노드에 의해 송신된 공유 엔코더 트레이닝 명령을 획득하는 단계 - 상기 트레이닝 명령에는 트레이닝 해야 할 목표 공유 엔코더의 유형을 포함함- ; 상기 목표 공유 엔코더의 유형에 매칭되는 트레이닝 샘플을 결정한 후, 상기 메인 노드에 확인 정보를 리턴하는 단계; 상기 메인 노드에 의해 송신된 목표 공유 엔코더의 초기 파라미터 집합을 획득하는 단계; 상기 목표 공유 엔코더의 유형에 매칭되는 트레이닝 샘플을 이용하여 모델 트레이닝함으로써, 상기 목표 공유 엔코더의 업데이트 파라미터를 결정하는 단계; 및 상기 메인 노드에 상기 목표 공유 엔코더의 업데이트 파라미터를 리턴하는 단계; 를 포함한다.
본 출원 또다른 실시예에 제출한 공유 엔코더 생성 장치는, 메인 노드가 각 서브 노드에 공유 엔코더의 트레이닝 명령을 송신하고, 상기 트레이닝 명령에는 트레이닝 해야 할 목표 공유 엔코더의 유형을 포함되어 각각의 서브 노드가 목표 공유 엔코더의 유형에 따라 트레이닝 샘플을 획득하는 제1 송신 모듈; 각 서브 노드에 의해 리턴된 확인 정보를 획득한 후, 각 노드에 트레이닝 해야 할 목표 공유 엔코더의 초기 파라미터 집합을 송신하여 각 노드가 각자의 트레이닝 샘플을 이용해 상기 목표 공유 엔코더의 초기 파라미터 집합을 트레이닝하는 제2 송신 모듈; 서브 노드에 의해 리턴된 목표 공유 엔코더의 업데이트 파라미터 집합을 획득하도록 구성된 제1 획득 모듈; 및 제1 사전 설정된 규칙 및 각 노드에 의해 리턴 목표 공유 엔코더의 업데이트 파라미터 집합에 따라 상기 목표 공유 엔코더에 대응하는 목표 파라미터 집합을 결정하는 제1 결정 모듈; 를 포함한다.
본 출원 또 다른 실시 예에서 제출한 공유 엔코더 생성 장치는, 제2 서브 노드에 의해 송신된 공유 엔코더 트레이닝 명령을 획득하도록 사용되는 제1 획득 모듈 - 상기 트레이닝 명령에는 트레이닝 해야 할 목표 공유 엔코더의 유형을 포함함- ; 상기 목표 공유 엔코더의 유형에 매칭되는 트레이닝 샘플을 결정한 후, 상기 메인 노드에 확인 정보를 리턴하는 제1 리턴 모듈; 상기 메인 노드에 의해 송신된 목표 공유 엔코더의 초기 파라미터 집합을 획득하는 제2 획득 모듈; 상기 목표 공유 엔코더의 유형에 매칭되는 트레이닝 샘플을 이용하여 모델 트레이닝함으로써, 상기 목표 공유 엔코더의 업데이트 파라미터를 결정하는 제1 결정 모듈; 및 상기 메인 노드에 상기 목표 공유 엔코더의 업데이트 집함을 리턴하는 제2 리턴 모듈; 을 포함한다.
본 출원 또 다른 실시 예에서 제출한 전자 기기는, 적어도 하나의 프로세서; 및 상기 적어도 하나의 프로세서와 통신 가능하게 연결되는 메모리; 를 포함하고, 상기 메모리에는 상기 적어도 하나의 프로세서에 의해 실행 가능한 명령이 저장되고, 상기 명령이 상기 적어도 하나의 프로세서에 의해 실행될 경우, 상기 적어도 하나의 프로세서가 상술한 공유 엔코더 생성 방법을 실행한다.
본 출원 또 다른 실시 예에서 제출한 컴퓨터 명령이 저장되어 있는 비일시적 컴퓨터 판독 가능 저장 매체는, 상기 컴퓨터 명령이 실행될 경우, 상술한 공유 엔코더 생성 방법이 실행된다.
본 출원의 또 다른 실시예에 따르면, 컴퓨터 판독 가능 매체에 저장되어 있는 컴퓨터 프로그램을 더 제공한다. 상기 컴퓨터 프로그램중의 명령이 실행될 경우, 상기 공유 엔코더 생성 방법이 실행된다.
상기 출원 중 임의의 실시 예는 아래와 같은 이점 또는 유익한 효과가 있다. 메인 노드는 각 노드를 조직하고 사유 트레이닝 샘플을 이용하여 목표 공유 엔코더를 트레이닝함으로써, 각 노드가 목표 공유 엔코더에 대한 트레이닝 결과에 따라 목표 공유 엔코더의 목적 파라미터 집합을 결정하기 때문에 여러 분야의 트레이닝 코퍼스의 공유를 실현하였을 뿐만 아니라 여러 분야 트레이닝 코퍼스의 획득 난이도와 원가를 낮추고 공유 엔코더의 기능을 제고시킨다. 메인 노드에 의해 각 서브 노드에 공유 엔코더의 트레이닝 명령을 송신하는 방법을 사용하였기에 각각의 서브 노드가 트레이닝 명령에 포함된 목표 공유 엔코더의 유형에 따라 트레이닝 샘플을 획득할 수 있고, 각 서브 노드에 의해 리턴된 확인 정보를 획득한 후, 각 서브 노드에 트레이닝 해야 할 목표 공유 엔코더의 초기 파리미터 집합을 송신하고, 각 서브 노드가 각자의 트레이닝 샘플을 이용하여 목표 공유 엔코더의 초기 파리미터 집합을 트레이닝한 후, .각 서브 노드에 의해 리턴된 목표 공유 엔코더의 업데이트 파라미터 집합을 획득함으로써, 제1 사전 설정된 규칙 및 각 노드에 의해 리턴된 목표 공유 엔코더의 업데이트 파라미터 집합에 따라 목표 공유 엔코더에 대응하는 목표 파라미터 집합을 결정하였기 때문에 여러 분야 트레이닝 코퍼스의 획득 난이도가 크고 원가가 높은 것으로 인하여 예비 트레이닝 모델의 실현 난이도가 큰 문제를 극복하고, 여러 분야 트레이닝 코퍼스의 공유를 실현하고 여러 분야 트레이닝 코퍼스의 획득 난이도와 원가를 낮추고 공유 엔코더의 기능을 제고시킨다.
상기 선택 가능한 방식에 구비한 기타 효과는 이하에서 구체적인 실예와 결합하여 설명할 것이다.
도1은 본 출원 실시 예에서 제공한 공유 엔코더 생성 방법의 흐름 안내도이다.
도2는 본 출원 실시 예에서 제공한 다른 엔코더 생성 방법의 흐름 안내도이다.
도3은 본 출원 실시 예에서 제공한 또 다른 엔코더 생성 방법의 흐름 안내도이다.
도4는 본 출원 실시 예에서 제공한 또 다른 엔코더 생성 방법의 흐름 안내도이다.
도5는 본 출원 실시 예에서 제공한 또 다른 엔코더 생성 방법의 흐름 안내도이다.
도6은 본 출원 실시 예에서 제공한 공유 엔코더 생성 장치의 구성 안내도이다.
도7은 본 출원 실시 예에서 제공한 다른 공유 엔코더 생성 장치의 구성 안내도이다.
도8은 본 출원 실시 예에서 제공한 전자 기기의 구성 안내도이다.
이하 도면을 참조하여 본 출원의 예시적 실시 예를 설명하려 한다. 여기에는 이해를 돕기 위해 본 출원 실시 예의 복수의 세부 사항을 포함하고 실시예들은 단지 예시적인 것으로 간주되어야 한다. 당해 발명에 속하는 기술 분야의 통상의 기술자는 본 출원의 범위 및 사상을 벗어나지 않고 실시 예에 여러가지 변경과 수정을 할 수 있다는 것을 인식해야 한다. 동시에 정확성과 간결성을 위해 이하의 설명에서는 공지 기능과 구조에 대한 설명은 생략한다.
본 출원 실시 예에서 여러 분야 트레이닝 코퍼스를 획득하는 난이도가 크고, 원가가 높은 것으로 인하여 예비 트레이닝 모델의 실현 난이도가 큰 문제에 관하여 공유 엔코더 생성 방법을 제출하였다.
이하 참조 도면은 본 출원에서 제공한 공유 엔코더 생성 방법, 장치, 전자 기기 및 저장 매체에 관하여 상세하게 설명한다.
이하 메인 노드측과 서브 노드측을 예로, 본 출원 실시 예의 공유 엔코더 생성 방법에 관하여 상세하게 설명한다.
먼저 메인 노드측을 예로, 본 출원 실시 예에서 제공한 공유 엔코더 생성 방법을 상세하게 설명한다.
하기에서는 도1을 결부하여, 본 출원 실시 예에서 제공한 공유 엔코더 생성 방법을 상세하게 설명한다.
도1은 본 출원 실시 예에서 제공한 공유 엔코더 생성 방법의 흐름 안내도이다. 당해 방법은 메인 노드에 응용된다.
도1에 도시한 바와 같이, 당해 공유 엔코더 생성 방법에는 이하 단계를 포함한다.
단계101, 메인 노드가 서브 노드에 공유 엔코더의 트레이닝 명령을 송신하고, 상기 트레이닝 명령에는 트레이닝 해야 할 목표 공유 엔코더의 유형이 포함되어 각각의 서브 노드가 목표 공유 엔코더의 유형에 따라 트레이닝 샘플을 획득한다.
설명해야할 것은, 예비 트레이닝 모델은 이미 컴퓨터 시각, 자연어 처리(NLP) 등 분야의 응용 실천에서 유효한 것으로 입증되었고, 빅 데이터에서 예비 트레이닝한 후 구체적인 임무에 따라 모델 파라미터를 조금씩 조정하는 것은 이미 유행된 방법니다. 하지만 관련 기술에 있어서, 여러 분야 트레이닝 코퍼스를 획득하는 난이도가 크고, 원가가 높인 것으로 인하여, 예비 트레이닝 모델의 실현 난이도가 크다. 이외에 부동한 회사, 조직은 자기의 분야 업무와 관련한 대량의 무감독 코퍼스를 갖고 있으나 이러한 것은 개방되지 않을 수 있다. 이로하여 공유 엔코더를 트레이닝하여, 더 강한 예비 트레이닝 모델을 얻는 것은 비교적 어려운 것이다. 본 출원 실시 예의 공유 엔코더 생성 방법은 딥 러닝 중의 분포식 트레이닝 기술을 통해 복수의 노드가(복수의 조식)트레이닝 코퍼스 중의 트레이닝 정보를 공유하여 공유 엔코더를 획득함으로써 서브 노드의 트레이닝 코퍼스의 안전성과 은밀성을 보증하였다.
여기서, 메인 노드는 공유 엔코더의 트레이닝 과정을 트리거링 하는 노드를 가리킨다. 예를 들면, 본 출원 실시 예의 공유 엔코더 생성 방법이 페더레이트 러닝 시스템에 응용될 경우, 메인 노드는 페더레이트 러닝 시스템의 서버일 수 있다.
서브 노드는 자신의 트레이닝 샘플을 이용하여 공유 엔코더 트레이닝에 참여하는 노드이다. 예를 들면, 공유 엔코더 트레이닝에 참여하는 회사 또는 조직에서 모텔을 트레이닝하는 과정에 사용되는 서버일 수 있다.
실제 사용할 경우, 본 출원 실시 예의 공유 엔코더 생성 방법은 임의의 페더레이트 트레이닝 장면에 응용될 수 있다. 본 출원 실시 예에서는 이에 한정하지 않는다. 이하, 본 출원 실시 예의 공유 엔코더 생성 방법의 응용 장면은 페더레이트 시스템을 예로 상세하게 설명한다.
본 출원 실시 예에서 메인 노드는 공유 엔코더를 트레이닝하는 수요가 있을 경우, 페더레이트 러닝 시스템 중의 각 노드에 공유 엔코더의 트레이닝 명령을 송신하여 각 노드가 공유 엔코더 트레이닝 명령을 획득하면, 트레이닝 명령에 포함한 트레이닝 해야 할 목표 공유 엔코더의 유형에 따라, 로컬에 당해 목표 공유 엔코더의 유형에 대응하는 트레이닝 샘플이 있는지 여부를 판단한다. 로컬에 당해 목표 공유 엔코더의 유형에 대응하는 트레이닝 샘플이 있을 경우, 당해 목표 공유 엔코더의 유형에 대응하는 트레이닝 샘플을 획득한다.
설명해야 할 것은, 서브 노드는 여러 유형의 트레이닝 샘플을 포함함으로써 부동한 유형의 공유 엔코더를 트레이닝하는데 사용된다. 메인 노드가 각 서브 노드에 엔코더 트레이닝 명령을 송신할 경우, 트레이닝 해야 할 목표 엔코더를 포함할 수 있기에, 서브 노드는 여러 종류의 트레이닝 샘플에서 목표 공유 엔코더의 유형에 대응하는 트레이닝 샘플을 획득할 수 있다.
나아가, 메인 노드는 서브 노드에 대응하는 목표 공유 엔코더의 획득 청구 또는 업데이트 청구에 떠라 목표 공유 엔코더에 대한 트레이닝을 트리거링할 수 있다. 즉 본 출원 실시 예의 가능한 실현 형식에서 상기 단계101 전에,
상기 메인 노드는 적어도 하나의 서브 노드에 의해 송신된 목표 공유 엔고더의 청구를 획득하는 단계;
또는,
상기 메인 노드는 적어도 하나의 서브 노드에 의해 송신된 공유 엔코더의 업데이트 청구를 획득하는 단계 - 상기 업데이트 청구에는 상기 목표 공유 엔코더의 식별자를 포함함 - 를 더 포함할 수 있다.
하나의 실현 가능한 방식으로서, 메인 노드는 목표 공유 엔코더에 트레이닝을 하기 전에, 각 서브 노드가 목표 공유 엔코더에 대한 획득 청구에 따라 목표 공유 엔코더의 트레이닝 과정을 트리거링할 수 있다. 즉 메인 노드는 적어도 하나의 서브 노드에 의해 송신된 목표 공유 엔고더의 청구를 획득하고, 획득한 청구에 목표 공유 엔코더에 대응하는 초기 파라미터가 포함할 경우, 적어도 하나의 서브 노드에 대응하는 목표 공유 엔코더에 대한 획득 청구를 획득하였다고 결정하며, 각 서브 노드에 공유 엔코더의 트레이닝 명령을 송신하여, 목표 공유 엔코더의 트레이닝 과정을 트리거링할 수 있다.
하나의 실현 가능한 방식으로서, 메인 노드는 목표 공유 엔코더에 대하여 한번 또는 복수의 트레이닝을 한 후, 각 서브 노드가 목표 공유 엔코더에 대한 업데이트 수요에 따라 목표 공유 엔코더의 트레이닝 과정을 트리거링한다. 즉 메인 노드는 적어도 하나의 서브 노드에 의해 송신된 공유 엔코더의 업데이트 청구를 획득할 경우, 각 서브 노드에 공유 엔코더의 트레이닝 명령을 송신하여 목표 공유 엔코더의 트레이닝 과정을 트리거링함으로써, 목표 공유 엔코더의 업데이트를 실현한다. 여기서 서브 노드에 의해 송신된 공유 엔코더의 업데이트 청구에는 목표 공유 엔코더의 식별자를 포함할 수 있기에, 메인 노드는 목표 공유 엔코더의 식별자에 따라 목표 공유 엔코더의 유형을 결정할 수 있음으로써, 목표 공유 엔코더의 유형에 따라 각 서브 노드에 공유 엔코더의 트레이닝 명령을 송신한다.
하나의 실현 가능한 방식으로서, 메인 노드는 주동적으로 업데이트 규칙에 따라 목표 공유 엔코더의 트레이닝 과정을 트리거링한다. 예를 들면 업데이트 규칙이 사전 설정된 빈도에 따라 목표 공유 엔코더를 업데이트하는 것일 경우, 메인 노드는 사전 설정된 빈도에 따라 각 노드에 공유 엔코더의 트레이닝 명령을 송신하여 목표 공유 엔코더의 트레이닝 과정을 트리거링할 수 있다.
설명해야 할 것은, 목표 공유 엔코더의 트레이닝 과정을 트리거링하는 방식에는 상기 실시 예에서 예를 들어 설명한 경우를 포함할 수 있으나 이에 한정되지 않는다. 실제 사용할 경우, 실제 수요 또는 구체적인 응용 장면에 따라 목표 공유 엔코더의 트레이닝을 트리거링하는 적합한 방식을 결정할 수 있다. 본 출원 실시 예에서는 이를 한정하지 않는다.
단계102, 각 서브 노드에 의해 리턴된 확인 정보를 획득한 후, 각 서브 노드에 트레이닝 해야 할 목표 공유 엔코더의 초기 파라미터 집합을 송신하여 각 서브 노드가 각자의 트레이닝 샘플을 이용해 목표 공유 엔코더의 초기 파라미터 집합을 트레이닝한다.
본 출원 실시 예에서, 메인 노드가 각 서브 노드에 공유 엔코더의 트레이닝 명령을 송신한 후, 각 서브 노드는 목표 공유 엔코더에 대한 각자의 수요 또는 목표 공유 엔코더의 유형에 적합한 트레이닝 샘플이 존재 하는지 여부에 따라, 목표 공유 엔코더에 대한 트레이닝에 가입할지 여부를 판단한다. 만약 목표 공유 엔코더의 트레이닝에 가입할 수 있으면, 메인 노드에 확인 정보를 리턴할 수 있고; 만약 목표 공유 엔코더의 트레이닝에 가입할 수 없으면, 메인 노드에 확인 정보를 리턴하지 않는다.
따라서, 메인 노드는 서브 노드에 의해 리턴된 결정 정보를 획득하였을 경우, 목표 공유 엔코더 트레이닝의 각 서브 노드(즉 확인 정보를 리턴하는 각 서브 노드)에 참여한다고 결정하고, 트레이닝 해야 할 목표 공유 엔코더의 초기 파라미터 집합을 획득하며, 목표 공유 엔코더의 초기 파라미터 집합을 목표 공유 엔코더 트레이닝에 참여하는 각 서브 노드에 송신하여 각 서브 노드가 각자의 트레이닝 샘플에 따라 목표 공유 엔코더의 초기 파라미터를 트레이닝한다.
하나의 실현 가능한 방식으로서, 메인 노드는 서브 노드에 의해 리턴된 확인 정보를 획득한 후, 사전 설정된 실행 가능한 프로그램과 트레이닝 해야 할 목표 공유 엔코더의 초기 파라미터 집합을 동시에 목표 공유 엔코더 트레이닝에 참여하는 각 서브 노드에 송신하여, 목표 공유 엔코더 트레이닝에 참여하는 각 서브 노드가 집행 가능한 프로그램에 따라 목표 공유 엔코더를 트레이닝한다.
설명해야 할 것은, 메인 노드가 각 서브 노드에 송신한 실행 가능한 프로그램에는, 서브 노드가 목표 공유 엔코더를 트레이닝하는 규칙, 목표 공유 엔코더의 업데이트 파라미터 집합을 리턴하는 규칙 등을 포함한다. 예를 들면, 실행 가능한 프로그램에는 서브 노드가 매번 메인 노드에 의해 송신된 트레이닝 명령을 획득할 경우, 목표 공유 엔코더를 트레이닝한 횟수, 또는 서브 노드가 매번 메인 노드에 의해 송신된 트레이닝 명령을 획득한 후, 메인 노드에 목표 공유 엔코더의 업데이트 파라미터 집합을 리턴하는 시간 주기 등을 포함할 수 있다. 본 출원 실시 예에서는 이를 한정하지 않는다.
나아가, 목표 공유 엔코더를 트레이닝하기 전에, 메인 노드는 목표 공유 엔코더에 대응하는 초기 파라미터 집합을 결정해야 한다. 즉 본 출원 실시 예의 실현 가능한 형식에서 상기 단계102전에,
제2 사전 설정된 규칙에 따라 상기 트레이닝 해야 할 목표 공유 엔코더를 생성하는 단계를 더 포함할 수 있다.
여기서, 제2 사전 설정된 규칙은 트레이닝 해야 할 목표 공유 엔코더의 초기 파라미터 집합을 획득하는 사전 설정된 규칙을 가리키고, 제2 사전 설정된 규칙은 실제 수요에 따라 수정할 수 있다.
하나의 실현 가능한 방식으로서, 제2 사전 설정된 규칙은 "각 노드에 의해 사전에 정의된"것일 수 있으며, 메인 노드는 사전에 각 서브 노드로부터 각 서브 노드가 목표 공유 엔코더를 사전 정의한 초기 파라미터 집합을 획득할 수 있고, 목표 공유 엔코더의 초기 파라미터는 각 서브 노드가 협상에 의해 정의한 것이다. 때문에 각 서브 노드에 의해 사전 설정된 초기 파라미터 집합은 같다.
하나의 실현 가능한 방식으로서, 제2 사전 설정된 규칙은 "공개 모델 중, 이미 존재한 같은 유형 엔코더의 파라미터 집합에 의해 결정된 것"일 수 있으며, 메인 노드는 공개 모델로부터 목표 공유 엔코더의 유형과 같은 엔코더를 획득할 수 있기에, 획득한 엔코더의 파라미터 집합을 목표 공유 엔코더의 초기 파라미터 집합으로 결정할 수 있다.
단계103, 각 서브 노드에 의해 리턴된 목표 공유 엔코더의 업데이트 파라미터 집합을 획득한다.
본 출원 실시 예에서, 메인 노드가 각 서브 노드에 트레이닝 해야 할 목표 공유 엔코더의 초기 파리미터 집합을 송신한 후, 실시간으로 각 노드에 의해 리턴된 목표 공유 엔코더의 업데이트 파라미터 집합을 획득할 수 있다. 여기서, 각 서브 노드에 의해 리턴된 목표 공유 엔코더의 업데이트 파라미터 집합은, 각 서브 노드가 각자의 트레이닝 샘플을 이용하여, 목표 공유 엔코더의 초기 파라미터 집합에 따라 획득한 것이다.
단계104, 제1 사전 설정된 규칙 및 각 서브 노드에 의해 리턴된 목표 공유 엔코더의 업데이트 파라미터에 따라 목표 공유 엔코더에 대응하는 목표 파라미터 집합을 결정한다.
여기서, 제1 사전 설정된 규칙은 각 노드에 의해 리턴된 목표 공유 엔코더의 업데이트 파라미터를 융합하여 목표 공유 엔코더에 대응하는 목표 파라미터 집합을 획득하는 사전 설정된 규칙을 가리킨다. 예를 들면, 제1 사전 설정된 규칙은 각 노드에 의해 리턴된 업데이트 파라미터 집합의 각 파라미터의 평균 값을 목표 파라미터 집합에 대응한 파라미터의 값으로 결정하거나; 또는 각 노드에 의해 리턴된 업데이트 파라미터 집합의 각 파라미터의 분산, 표준 편차, 중간 값 등을 목표 파라미터 집합에 대응하는 파라미터 값으로 결정할 수 있다.
설명해야 할 것은, 제1 사전 설정된 규칙은 상기 실시 예에서 설명한 것을 포함하지만 이에 한정하지 않는다. 실제 사용할 경우, 실제 수요에 의해 사전 설정 및 실시간으로 수정할 수 있기에 현재 수요와 응용 장면에 적응할 수 있다. 본 출원 실시 예에서는 이를 한정하지 않는다.
본 실시 예에서, 메인 노드는 각 노드에 의해 리턴된 목표 공유 엔코더의 업데이트 파라미터 집합을 획득한 후, 제1 사전 설정된 규칙에 따라, 획득한 각 업데이트 파라미터를 융합하여 목표 공유 엔코더에 대응하는 목표 파라미터 집합을 결정 할 수 있다.
예를 들면, 제1 사전 설정된 규칙이 "각 노드에 의해 리턴된 업데이트 파라미터 집합중의 각 파라미터의 평균값을, 목표 파라미터 집합에 대응한 파라미터의 값으로 결정한다"는 것일 경우, 현재 페더레이트 러닝 시스템에 3개의 노드 X, Y, Z를 구비하고, 목표 공유 엔코더의 파라미터 집합에는 3개의 파라미터를 포함하며, 서브 노드X에 의해 리턴된 목표 공유 엔코더의 업데이터 파라미터 집합은{a1, b1, c1}이고, 서브 노드 Y에 의해 리턴된 목표 공유 엔코더의 업데이트 파라미터 집합은 {a2, b2, c2}이며, 서브 노드Z에 의해 리턴된 목표 공유 엔코더의 업데이트 파라미터 집합은 {a3, b3, c3}이라고 가설하면, 목표 공유 엔코더에 대응하는 목표 공유 파라미터 집합은{a, b, c}이고, 여기서, a=(a1+a2+a3)/3，b=(b1+b2+b3)/3，c=(c1+c2+c3)/3이다.
본 출원 실시 예의 기술 방안에 따르면, 메인 노드에 의해 각 서브 노드에 공유 엔코더의 트레이닝 명령을 송신하는 방법을 사용하였기에 각각의 서브 노드가 트레이닝 명령에 포함된 목표 공유 엔코더의 유형에 따라 트레이닝 샘플을 획득할 수 있고, 각 서브 노드에 의해 리턴된 확인 정보를 획득한 후, 각 서브 노드에 트레이닝 해야 할 목표 공유 엔코더의 초기 파리미터 집합을 송신하고, 각 서브 노드가 각자의 트레이닝 샘플을 이용하여 목표 공유 엔코더의 초기 파리미터 집합을 트레이닝한 후, .각 서브 노드에 의해 리턴된 목표 공유 엔코더의 업데이트 파라미터 집합을 획득함으로써, 제1 사전 설정된 규칙 및 각 노드에 의해 리턴된 목표 공유 엔코더의 업데이트 파라미터 집합에 따라 목표 공유 엔코더에 대응하는 목표 파라미터 집합을 결정한다.따라서 메인 노드는 각 노드를 조직하고 사유 트레이닝 샘플을 이용하여 목표 공유 엔코더를 트레이닝함으로써, 각 노드가 목표 공유 엔코더에 대한 트레이닝 결과에 따라 목표 공유 엔코더의 목적 파라미터 집합을 결정하기 때문에 여러 분야의 트레이닝 코퍼스의 공유를 실현하였을 뿐만 아니라 여러 분야 트레이닝 코퍼스의 획득 난이도와 원가를 낮추고 공유 엔코더의 기능을 제고시킨다.
본 출원의 실현 가능한 형식에서, 최종 획득한 공유 엔코더의 기능을 더욱 제고하고 각 서브 노드가 공유 엔코더의 트레이닝 과정에서의 중요성을 균형하기 위해, 서브 노드의 트레이닝 샘플의 수량에 따라 각 서브 노드에 부동한 가중치를 부여할 수 있다.
이하 도2를 결합하여 본 출원 실시 예에서 제공한 공유 엔코더 생성 방법에 대해 진일보 설명한다.
도2는 본 출원 실시 예에서 제공한 다른 엔코더 생성 방법의 흐름 안내도이다. 당해 방법은 메인 노드에 응용된다.
도2에 도시된 바와 같이, 당해 공유 엔코더 생성 방법은, 단계201 ~ 단계206을 포함한다.
단계201， 메인 노드가 서브 노드에 공유 엔코더의 트레이닝 명령을 송신하고, 트레이닝 명령에는 트레이닝 해야 할 목표 공유 엔코더의 유형이 포함되어 각각의 서브 노드가 목표 공유 엔코더의 유형에 따라 트레이닝 샘플을 획득한다.
단계202, 각 서브 노드에 의해 리턴된 확인 정보를 획득한 후, 각 서브 노드에 트레이닝 해야 할 목표 공유 엔코더의 초기 파라미터 집합을 송신하여 각 서브 노드가 각자의 트레이닝 샘플을 이용해 목표 공유 엔코더의 초기 파라미터 집합을 트레이닝한다.
상기 단계201 - 단계202의 구체적인 실현 과정 및 원리는 상기 실시 예의 상세한 설명을 참조할 수 있음으로 상세하게 설명하지 않는다.
단계203, 각 서브 노드에 포함한 트레이닝 샘플의 수량을 획득한다.
여기서, 서브 노드에 포함한 트레이닝 샘플의 수량은, 서브 노드에 포함된, 트레이닝 목표 공유 엔코더에 사용되는 트레이닝 샘플의 수량일 수 있다.
하나의 실현 가능한 실현 방식으로서, 메인 노드는 각 서브 노드에 포함된, 목표 공유 엔코더를 트레이닝하는데 사용되는 트레이닝 샘플의 수량에 따라 각 서브 노드가 목표 공유 엔코더를 트레이닝할 때 가중치를 결정할 수 있다. 때문에, 메인 노드는 각 서브 노드에 트레이닝 해야 할 목표 공유 엔코더의 초기 파라미터 집합을 송신한 후, 실시간으로 각 서브 노드에 포함한 트레이닝 해야 할 목표 공유 엔코더의 트레이닝 샘플의 수량을 획득할 수 있다.
단계204, 각각의 서브 노드에 포함한 트레이닝 샘플의 수량에 따라 각각의 서브 노드의 가중치를 결정한다.
본 출원 실시 예에서, 서브 노드에 포함한 트레이닝 샘플의 수량이 많을수록 당해 서브 노드에 의해 리턴된 업데이트 파라미터 집합에 따라 결정된 목표 공유 엔코더의 기능이 더욱 좋기 때문에, 메인 노드는 각각의 서브 노드에 포함한 트레이닝 샘플의 수량에 따라 각각의 서브 노드의 가중치를 결정할 수 있다.
하나의 실현 가능한 실현 방식으로서, 서브 노드의 가중치는 서브 노드에 포함한 트레이닝 샘플의 수량에 정비례되는바, 즉 서브 노드에 포함한 트레이닝 샘플의 수량이 많을수록 당해 서브 노드의 가중치가 더욱 크므로, 트레이닝 샘플의 수량이 많은 서브 노드로 목표 공유 엔코더를 트레이닝할 경우, 효과가 더욱 크기 때문에, 최종 획득한 목표 공유 엔코더의 기능을 향상시킨다.
예를 들면, 각각의 서브 노드에 포함한 트레이닝 샘플의 수량과 모든 서브 노드에 포함한 트레이닝 샘플의 수량의 비율을 각각의 서브 노드의 가중치로 결정할 수 있다. 현재 페더레이트 러닝 시스템에 3개의 노드 X, Y, Z를 구비하고, 서브 노드X에 포함한 트레이닝 샘플의 수량이 m이며, 서브 노드Y에 포함한 트레이닝 샘플의 수량이 n이고, 서브 노드Z에 포함한 트레이닝 샘플의 수량이 k라고 가설하면, 서브 노드X의 가중치는 m/(m+n+k)이고, 서브 노드Y의 가중치는 n/(m+n+k)이며, 서브 노드Z의 가중치는 k/(m+n+k)이다.
단계205, 각 서브 노드에 의해 리턴된 목표 공유 엔코더의 업데이트 파라미터 집합을 획득한다.
상기 단계205의 구체적인 실현 과정 및 원리는 상기 실시 예의 상세한 설명을 참조할 수 있음으로 상세하게 설명하지 않는다.
단계206, 제1 사전 설정된 규칙, 각각의 서브 노드의 가중치 및 각 서브 노드에 의해 리턴된 목표 공유 엔코더의 업데이트 파라미터 집합에 따라 목표 공유 엔코더에 대응하는 목표 파라미터 집합을 결정한다.
본 실시 예에서, 메인 노드의 가중치를 결정하고 각 노드에 의해 리턴된 목표 공유 엔코더의 업데이트 파라미터 집합을 획득한 후, 제1 사전 설정된 규칙 및 각각의 서브 노드의 가중치에 따라 각 서브 노드에 의해 리턴된 목표 공유 엔코더의 업데이트 파라미터를 융합하여 목표 공유 엔코더에 대응하는 목표 파라미터 집합을 결정할 수 있다.
하나의 실현 가능한 방식으로서, 먼저 각각의 서브 노드의 가중치에 따라 각각의 서브 노드에 의해 리턴된 목표 공유 엔코더의 업데이트 파라미터를 수정하고, 즉 각각의 서브 노드의 가중치와 대응하는 업데이트 파라미터 집합 중의 각 파라미터의 승적을 각각의 서브 노드를 수정한 후의 업데이트 파라미터 집합 중의 각 파라미터의 값으로 결정한다. 그리고 제1 사전 설정된 규칙에 따라 수정한 후 각각의 서브 노드의 업데이트 파라미터 집합을 융합하여 목표 공유 엔코더에 대응하는 목표 파라미터 집합을 결정한다.
예를 들면, 제1 사전 설정된 규칙이 "각 서브 노드에 의해 리턴된 업데이트 파라미터 중의 각 파라미터의 평균치를 목표 파라미터 집합 중의 해당 파라미터의 값으로 한다"일 경우, 현재 페더레이트 러닝 시스템에는 3개의 서브 노드 X, Y ,Z를 구비하고, 서브 노드X의 가중치는 w1이며, 리턴된 목표 공유 엔코더의 업데이트 파라미터 집합은 {a1, b1, c1}이고, 서브 노드Y의 가중치는 w2이며, 리턴된 목표 공유 엔코더의 업데이트 파라미터 집합은 {a2, b2, c2}이고, 서브 노드Z의 가중치는 w3이며, 리턴된 목표 공유 엔코더의 업데이트 파라미터 집합은 {a3, b3, c3}이라면, 서브 노드X의 수정 후의 업데이트 파라미터 집합은 { w1·a1, w1·b1, w1·c1}이고, 서브 노드Y의 수정 후의 업데이트 파라미터 집합은 { w2·a2, w2·b2, w2·c2}이며, 서브 노드Z의 수정 후의 업데이트 파라미터 집합은 { w3·a3, w3·b3, w3·c3}이다. 이로 하여 목표 공유 엔코더에 대응한 목표 공유 파라미터 집합은 {a, b, c}이고, 여기서, a=( w1·a1+ w2·a2+ w3·a3)/3，b=( w1·b1+ w2·b2+ w3·b3)/3，c=( w1·c1+ w2·c2 + w3·c3)/3이다.
본 출원 실시 예의 기술 방안에 의하면, 메인 노드에 의해 각 서브 노드에 공유 엔코더의 트레이닝 명령을 송신하는 방법을 사용하였기에 각각의 서브 노드가 트레이닝 명령에 포함된 목표 공유 엔코더의 유형에 따라 트레이닝 샘플을 획득할 수 있고, 각 노드에 의해 리턴된 확인 정보를 획득한 후, 각 서브 노드에 트레이닝 해야 할 목표 공유 엔코더의 초기 파라미터 집합을 송신하여 각 서브 노드가 각각의 트레이닝 샘플을 이용하여 목표 공유 엔코더의 초기 파라미터 집합을 트레이닝하고, 획득한 각각의 서브 노드에 포함한 트레이닝 샘플의 수량에 따라 각각의 서브 노드의 가중치를 결정한 후, 각 서브 노드에 의해 리턴된 목표 공유 엔코더의 업데이트 파라미터 집합을 획득함으로써, 제1 사전 설정된 규칙, 각각의 서브 노드의 가중치 및 각 서브 노드에 의해 리턴된 목표 공유 엔코더의 업데이트 파라미터 집합에 따라 목표 공유 엔코더에 대응하는 목표 파라미터 집합을 결정한다. 이로하여 메인 노드를 통해 각 서브 노드를 조직하고 사유 트레이닝 샘플을 이용하여 목표 공유 엔코더를 트레이닝하며, 각 서브 노드에 포함한 트레이닝 샘플의 수량에 따라 각 서브 노드의 가중치를 조정함으로써, 여러 분야 트레이닝 코퍼스의 공유를 실현하였을 뿐만 아니라, 획득 난이도와 원가를 낮추고 공유 엔코더의 기능을 제고시킨다.
본 출원 실현 가능한 실시예에서는, 공유 엔코더의 믿음성과 강인성을 제고하기 위해 메인 노드는 앞서 트레이닝 과정에서 획득한 목표 파라미터 집합에 따라 공유 엔코더가 기능 요구를 만족하는지 여부를 판단한다. 만족하지 않으면 앞서 트레이닝한 기초상에서 공유 엔코더에 대해 재차 트레이닝한다.
이하 도3을 결합하여 본 출원 실시 예에서 제공한 공유 엔코더 생성 방법을 진일보 상세하게 설명한다.
도3은 본 출원 실시 예에서 제공한 다른 엔코더 생성 방법의 흐름 안내도이다. 당해 방법은 메인 노드에 응용된다.
도3에 도시된 바와 같이, 당해 공유 엔코더 생성 방법은, 단계301 내지 단계305를 포함한다.
단계301，메인 노드가 서브 노드에 공유 엔코더의 트레이닝 명령을 송신하고, 상기 트레이닝 명령에는 트레이닝 해야 할 목표 공유 엔코더의 유형이 포함되어 각각의 서브 노드가 목표 공유 엔코더의 유형에 따라 트레이닝 샘플을 획득한다.
단계302, 각 서브 노드에 의해 리턴된 확인 정보를 획득한 후, 각 서브 노드에 트레이닝 해야 할 목표 공유 엔코더의 초기 파라미터 집합을 송신하여 각 서브 노드가 각자의 트레이닝 샘플을 이용해 상기 목표 공유 엔코더의 초기 파라미터 집합을 트레이닝한다.
단계303, 각 서브 노드에 의해 리턴된 목표 공유 엔코더의 업데이트 파라미터 집합을 획득한다.
단계304, 제1 사전 설정된 규칙 및 각 서브 노드에 의해 리턴된 목표 공유 엔코더의 업데이트 파라미터에 따라 상기 목표 공유 엔코더에 대응하는 목표 파라미터 집합을 결정한다.
상기 단계301 내지 단계304의 구체적인 실현 과정 및 원리는 상기 실시 예의 상세한 설명을 참조할 수 있음으로 상세하게 설명하지 않는다.
단계305, 상기 목표 공유 엔코더에 대응하는 목표 파라미터 집합을 각각의 서브 노드에 송신하여 각각의 서브 노드가 상기 목표 공유 엔코더에 대응하는 목표 파라미터 집합에 따라 상기 목표 공유 엔코더에 대한 트레이닝을 계속한다.
본 출원 실시 예에서 메인 노드는 매번 목표 공유 엔코더에 대응하는 목표 파라미터 집합을 결정한 후, 목표 공유 엔코더가 기능 수요에 만족하는지 여부를 판단한다. 기능 수요에 만족하면 이번 목표 공유 엔코더의 트레이닝 과정을 완성하였음을 결정하고; 기능 수요에 만족하지 못하면 목표 공유 엔코더에 대하여 재차 트레이닝을 해야함을 결정하기 때문에, 목표 공유 엔코더의 기능을 제고한다.
따라서, 메인 노드는 목표 공유 엔코더에 대응하는 목표 파라미터가 기능 수요에 적합하지 않다고 결정한 후, 목표 공유 엔코더에 대응하는 목표 파라미터 집합을 각 서브 노드에 송신하여, 각 서브 노드가 자신의 트레이닝 샘플을 이용하고 목표 공유 엔코더의 목표 파라미터 집합에 따라 목표 공유 엔코더에 대하여 계속 트레이닝한다. 메인 노드는 각 서브 노드에 의해 리턴된 업데이트 파라미터에 따라 목표 공유 엔코더에 대응하는 목표 파라미터 집합이 기능 수요를 만족하면, 계속되는 트레이닝을 중지하고, 더는 각 서브 노드에 목표 공유 엔코더에 대응하는 목표 파라미터 집합을 송신하지 않는다. 즉, 목표 공유 엔코더에 대한 이번 트레이닝 과정을 완성하였다.
나아가, 목표 공유 엔코더를 여러번 트레이닝할 경우, 각 서브 노드가 목표 공유 엔코더를 트레이닝한 횟수에 따라 각 서브 노드의 가중치를 결정함으로써, 각 서브 노드가 목표 공유 엔코더를 트레이닝하는 과정에서의 작용을 균형할 수 있다. 즉 본 출원 실시 예의 가능한 실현 형식에서, 상기 단계305이후,
제1 서브 노드에 의해 재차 리턴된 목표 공유 엔코더의 파라미터 집합을 획득하는 단계;
이미 획득된, 상기 제1 서브 노드가 목표 공유 엔코더 파라미터 집합을 리턴한 횟수에 따라 상기 제1 서브 노드의 현재 가중치를 결정하는 단계; 및
제1 사전 설정된 규칙, 상기 제1 서브 노드의 현재 가중치 및 현재 재차 리턴된 목표 공유 엔코더 파라미터 집합에 따라 상기 목표 공유 엔코더에 대응하는 목표 파라미터 집합을 업데이트하는 단계; 를 더 포함한다.
여기서, 제1 서브 노드는 복수의 서브 노드 중 목표 공유 엔코더 트레이닝에 참여한 서브 노드를 가리킨다.
하나의 실현 가능한 방식으로서, 메인 노드는 제1 서브 노드에 의해 재차 리턴된 공유 엔코더 파라미터 집합을 획득할 경우, 획득한 제1 서브 노드가 목표 공유 엔코더 파라미터를 리턴한 횟수(즉 제1 서브 노드가 목표 공유 엔코더의 트레이닝에 참여한 횟수)를 결정할 수 있고, 제1 서브 노드가 목표 공유 엔코더의 파라미터를 리턴한 횟수에 따라 제1 서브 노드의 현재 가중치를 결정한다.
선택적으로, 서브 노드가 참여한 목표 공유 엔코데 트레이닝이 많을수록 당해 서브에 의해 리턴된 목표 공유 엔코더의 파라미터가 최종 목표 공유 엔코더에 대응하는 목표 공유 파라미터에 대한 영향이 더욱 크므로, 최종 획득한 목표 공유 엔코더가 과분하게 당해 서브 노드의 트레이닝 샘플에 접합하여 목표 공유 엔코더의 보편성이 나빠지게 된다. 따라서, 본 출원 실시 예의 실현 가능한 형식에서 제1 서브 노드의 현재 가중치는, 제1 서브 노드가 목표 공유 엔코더 파라미터 집합을 리턴한 횟수와 역상관될 수 있다.
본 출원 실시 예에서, 각각의 서브 노드가 목표 공유 엔코더의 파라미터 집합을 리턴하는 시각은 다를 수 있다. 때문에 매번 제1 서브 노드에 의해 재차 리턴된 목표 공유 파라미터 집함을 획득할 경우, 당해 제1 서브 노드의 가중치를 결정할 수 있다. 그리고 나서 메인 노드는 제1 서브 노드의 현재 가중치에 따라 제1 서브 노드에 의해 재차 리턴된 목표 공유 엔코더 파라미터 집합을 수정한 후, 제1 사전 설정된 규칙에 따라 제1 서브 노드에 의해 재차 리턴된 수정 후의 목표 공유 엔코더 파라미터 집합 및 앞서 결정된 목표 공유 엔코더에 대응하는 목표 파라미터를 융합하여 목표 공유 엔코더에 대응하는 목표 파라미터 집합을 업데이트한다.
예를 들면, 제1 사전 설정된 규칙이 "각 서브 노드에 의해 리턴된 업데이트 파라미터 집합 중의 각 파라미터의 합을, 목표 파라미터 집합 중의 해당 파라미터의 값으로 결정하는 것"이고, 메인 노드가 앞서 결정한 목표 공유 엔코더에 대응하는 목표 파라미터 집합은 {a, b, c}이고, 현재 획득한 제1 서브 노드X에 의해 재차 리턴된 목표 공유 엔코더 파라미터 집합은 {ax, bx, cx}이며, 제1 서브 노드 X에 의해 재차 리턴된 목표 공유 엔코더 파라미터 집합에 따라 제1 서브 노드X의 가중치를 wx 로 결정하면, 수정 후의 제1 서브 노드 X에 의해 재차 리턴된 목표 공유 엔코더 파라미터 집합이 {wx·ax, wx·bx, wx·cx}임을 결정할 수 있고, 업데이트 후의 목표 공유 엔코더에 대응하는 목표 파라미터 집합이 {a+wx·ax, b+wx·bx, c+wx·cx}임을 결정할 수 있다.
본 출원 실시 예의 기술 방안에 의하면, 메인 노드에 의해 각 서브 노드에 공유 엔코더의 트레이닝 명령을 송신하는 방법을 사용하였기에 각각의 서브 노드가 트레이닝 명령에 포함된 목표 공유 엔코더의 유형에 따라 트레이닝 샘플을 획득할 수 있고, 각 노드에 의해 리턴된 확인 정보를 획득한 후, 각 서브 노드에 트레이닝 해야 할 목표 공유 엔코더의 초기 파라미터 집합을 송신하여 각 서브 노드가 각각의 트레이닝 샘플을 이용하여 목표 공유 엔코더의 초기 파라미터 집합을 트레이닝함으로써, 각 서브 노드에 의해 리턴된 목표 공유 엔코더의 업데이트 파라미터 집합을 획득하며, 제1 사전 설정된 규칙 및 각 서브 노드에 의해 리턴된 목표 공유 엔코더의 업데이트 파라미터 집합에 따라 목표 공유 엔코더에 대응하는 목표 파라미터 집합을 결정하고, 목표 공유 엔코더에 대응하는 목표 파라미터 집합을 각 서브 노드에 각각 송신하여, 각 서브 노드는 목표 공유 엔코더에 대응하는 목표 파라미터 집합에 따라 목표 공유 엔코더를 트레이닝한다. 메인 노드는 각 노드를 조직하고 사유 트레이닝 샘플을 이용하여 목표 공유 엔코더를 여러번 트레이닝함으로써, 각 노드가 목표 공유 엔코더에 대한 복수의 트레이닝 결과에 따라 목표 공유 엔코더의 목적 파라미터 집합을 결정하기 때문에 여러 분야의 트레이닝 코퍼스의 공유를 실현하였을 뿐만 아니라 여러 분야 트레이닝 코퍼스의 획득 난이도와 원가를 낮추고 공유 엔코더의 기능을 제고시킨다.
이하, 서브 노드측을 예로, 본 출원 실시 예에서 제공한 공유 엔코더 생성 방법에 상세한 설명을 하려 한다.
이하 도4를 결합하여, 본 출원 실시 예에서 제공한 공유 엔코더 생성 방법을 진일보 상세하게 설명한다.
도4는 본 출원 실시 예에서 제공한 다른 엔코더 생성 방법의 흐름 안내도이다. 당해 방법은 서브 노드에 응용된다.
도4에 도시한 바와 같이, 당해 공유 엔코더 생성 방법은 이하 단계를 포함한다.
단계401, 제2 서브 노드는 메인 노드에 의해 송신된 공유 엔코더 트레이닝 명령을 획득하고, 트레이닝 명령에는 트레이닝 해야 할 목표 공유 엔코더의 유형을 포함한다.
여기서, 메인 노드는 공유 엔코더 트레이닝 과정을 트리거링 하는 노드를 가리킨다. 예를 들면, 본 출원 실시 예의 공유 엔코더 생성 방법이 페더레이트 러닝 시스템에 응용될 경우, 메인 노드는 페더레이트 러닝 시스템의 서버일 수 있다.
서브 노드는 신의 트레이닝 샘플을 이용하여 공유 엔코더 트레이닝에 참여하는 노드이다. 예를 들면, 공유 엔코더 트레이닝에 참여하는 회사 또는 조직에서 모텔을 트레이닝하는 과정에 사용되는 서버일 수 있다. 제2 서브 노드는 복수의 서브 노드 중의 하나를 가리킨다.
실제 사용할 경우, 본 출원 실시 예의 공유 엔코더 생성 방법은 임의의 페더레이트 트레이닝 장면에 응용될 수 있다. 본 출원 실시 예에서는 이에 한정하지 않는다. 이하, 본 출원 실시 예의 공유 엔코더 생성 방법의 응용 장면은 페더레이트 시스템을 예로 상세하게 설명한다.
본 출원 실시 예에서, 제2 서브 노드는 실시간으로 메인 노드가 공유 엔코더에 대한 트레이닝 수요를 획득할 경우, 각 서브 노드에 공유 엔코더의 트레이닝 명령을 송신하고, 제2 서브 노드는 공유 엔코더의 트레이닝 명령을 획득할 경우, 트레이닝 명령에 포함한 트레이닝 해야 할 목표 공유 엔코더의 유형에 따라 목표 공유 엔코에 대한 트레이닝을 추가할지 여부를 판단하다.
단계402, 목표 공유 엔코더의 유형에 매칭되는 트레이닝 샘플을 결정한 후, 메인 노드에 확인 정보를 리턴한다.
본 출원 실시 예에서, 제2 서브 노드는 목표 공유 엔코더의 유형에 매칭되는 트레이닝 샘플이 포함한다고 결정하면, 목표 공유 엔코더에 대한 트레이닝을 추가한다고 결정하고 메인 노드에 확인 정보를 리턴할 수 있다. 이로하여, 메인 노드는 확인 정보를 획득할 경우, 목표 공유 엔코더에 대하여 트레이닝하는 서브 노드를 추가한다고 결정하고, 트레이닝 해야 할 목표 공유 엔코더의 초기 파라미터 집합을 획득하며 제2 서브 노드로 송신한다.
단계403, 메인 노드에 의해 송신된 목표 공유 엔코더의 초기 파라미터 집합을 획득한다.
본 출원 실시 예에서, 제2 서브 노드는 메인 노드에 확인 정보를 리턴한 후, 실시간으로 메인 노드에 의해 리턴된 목표 공유 엔코더의 초기 파라미터 집합을 획득할 수 있음으로써, 목표 공유 엔코더의 초기 파라미터 집합에 따라 목표 공유 엔코더를 트레이닝한다.
단계404, 목표 공유 엔코더의 유형에 매칭되는 트레이닝 샘플을 이용하여 모델 트레이닝함으로써, 목표 공유 엔코더의 업데이트 파라미터를 결정한다.
본 출원 실시 예에서, 제2 서브 노드는 목표 공유 엔코더의 초기 파라미터 집합을 획득한 후, 목표 공유 엔코더의 유형에 매칭되는 트레이닝 샘플 및 획득한 목표 공유 엔코더의 초기 파라미터 집합을 이용하여 모델 트레이닝을 진행함으로써, 목표 공유 엔코더의 업데이트 파라미터 집합을 결정한다.
단계405, 메인 노드에 상기 목표 공유 엔코더의 업데이트 파라미터를 리턴한다.
본 출원 실시 예에서, 제2 서브 노드는 목표 공유 엔코더에 대한 트레이닝을 완성한 후, 결정한 목표 공유 엔코더의 업데이트 파라미터를 메인 노드로 리턴함으로써, 메인 노드는 각 서브 노드에 의해 리턴된 업데이트 파라미터에 따라 목표 공유 엔코더에 대응하는 목표 파라미터 집합을 결정한다.
나아가, 최종 획득한 공유 엔코더의 기능을 진일보 제고하고 각 서브 노드가 공유 엔코더의 트레이닝 과정에서의 중요성을 균형하기 위해, 메인 노드는 서브 노드의 트레이닝 샘플의 수량에 따라 각 서브 노드에 부동한 가중치를 부여할 수 있다. 즉 본 출원 실시 예의 실현 가능한 형식에 있어서, 상기 방법은,
상기 메인 노드에 상기 목표 공유 엔코더의 유형에 매칭되는 트레이닝 샘플의 수량을 송신하는 단계를 더 포함한다.
하나의 실현 가능한 방식으로서, 메인 노드는 제2 서브 노드에 포함한 목표 공유 엔코더를 트레이닝하는 트레이닝 샘플의 수량, 즉 목표 공유 엔코더의 유형에 매칭되는 트레이닝 샘플의 수량에 따라, 제2 서브 노드가 목표 공유 엔코더를 트레이닝할 때의 가중치를 결정한다. 때문에 제2 서브 노드는 메인 노드에 목표 공유 엔코더의 유형에 매칭되는 트레이닝 샘플의 수량을 리턴할 수 있음으로써, 메인 노드는 제2 서브 노드에 포함한, 목표 공유 엔코더의 유형에 매칭되는 트레이닝 샘플의 수량에 따라 제2 서브 노드의 가중치를 결정한다.
나아가, 서브 노드는 사유 트레이닝 샘플에 따라 사유 엔코더와 사유 디코더를 설계하여, 설계한 사유 엔코더와 사유 디코더에 따라 공유 엔코더에 추가하는 트레이닝 임무를 결정할 수 있다. 즉 본 출원 실시 예의 실현 가능한 형식 중, 상기 단계405이후 상기 방법은, 상기 목표 공유 엔코더에 대응하는 사유 엔코더 및 사유 디코더를 결정하는 단계를 더 포함한다.
본 출원 실시 가능한 형식에서, 제2 서브 노드는 트레이닝 샘플에 따라 사유 엔코더와 사유 디코더를 설계할 수 있고, 목표 공유 엔코더의 유형에 매칭되는 트레이닝 샘플을 이용하여 목표 공유 엔코더를 트레이닝한 후, 목표 공유 엔코더에 대응하는 사유 엔코더와 사유 디코더를 획득할 수 있다. 이로하여, 목표 공유 엔코더의 트레이닝 결과 및 목표 공유 엔코더에 대응하는 사유 엔코더와 사유 디코더에 따라, 목표 공유 엔코더의 업데이트 파라미터 집합을 공동으로 결정한다.
본 출원 실시 예의 기술 방안에 따르면, 제2 서브 노드를 통해 메인 노드가 송신한 공유 엔코더의 트레이닝 명령을 획득하고, 목표 공유 엔코더의 유형에 매칭되는 트레이닝 샘플을 결정한 후, 메인 노드에 확인 정보를 리턴하고, 메인 노드에 의해 송신된 목표 공유 엔코더의 초기 파라미터 집합을 획득한 후, 목표 공유 엔코더의 유형에 매칭되는 트레이닝 샘플을 이용하여 모델 트레이닝을 하고 목표 공유 엔코더의 업데이트 파라미터 집합을 결정하여 메인 노드에 목표 공유 엔코더의 업데이트 파라미터 집합을 리턴한다. 따라서 메인 노드는 각 노드를 조직하고 사유 트레이닝 샘플을 이용하여 목표 공유 엔코더를 트레이닝함으로써, 각 노드가 목표 공유 엔코더에 대한 트레이닝 결과에 따라 목표 공유 엔코더의 목적 파라미터 집합을 결정하기 때문에 여러 분야의 트레이닝 코퍼스의 공유를 실현하였을 뿐만 아니라 여러 분야 트레이닝 코퍼스의 획득 난이도와 원가를 낮추고 공유 엔코더의 기능을 제고시킨다.
본 출원 실현 가능한 형식에서, 서브 노드는 메인 노드가 사전 설정된 업데이트 규칙에 의해 메인 노드에 목표 공유 엔코더의 업데이트 파라미터 집합을 리턴할 수 있다.
이하 도5를 결합하여 본 출원 실시 예에서 제공한 공유 엔코더 생성 방법을 진일보 상세하게 설명한다.
도5는 본 출원 실시 예에서 제공한 다른 엔코더 생성 방법의 흐름 안내도이다. 당해 방법은 서브 노드에 응용된다.
도5에 도시된 바와 같이, 당해 공유 엔코더 생성 방법은, 단계501 내지 단계506을 포함한다.
단계501, 제2 서브 노드는 메인 노드에 의해 송신된 공유 엔코더 트레이닝 명령을 획득하고, 트레이닝 명령에는 트레이닝 해야 할 목표 공유 엔코더의 유형을 포함한다.
단계502, 목표 공유 엔코더의 유형에 매칭되는 트레이닝 샘플을 결정한 후, 메인 노드에 확인 정보를 리턴한다.
상기 단계501 내지 단계502의 구체적인 실현 과정 및 원리는 상기 실시 예의 상세한 설명을 참조할 수 있기에 상세하게 설명하지 않는다.
단계503, 메인 노드에 의해 리턴된 목표 공유 엔코더의 파라미터 업데이트 규칙을 획득한다.
여기서, 목표 공유 엔코더의 업데이트 규칙은, 메인 노드에 의해 리턴된 실행 가능한 프로그램에 포함할 수 있다.
하나의 실현 가능한 방식으로서, 메인 노드는 서브 노드에 의해 리턴된 확인 정보를 획득한 후, 사전 설정된 실행 가능한 프로그램을 목표 공유 엔코더 트레이닝에 참여한 각 서브 노드에 송신함으로써, 제2 서브 노드는 실행 가능한 프로그램에 따라 목표 공유 엔코더를 트레이닝할 수 있게 하고, 실행 가능한 프로그램에 포함한 목표 공유 엔코더의 파라미터 업데이트 규칙에 따라, 결정된 업데이트 파라미터를 메인 노드에 리턴할지 여부를 판단한다.
설명해야 할 것은, 목표 공유 엔코더의 업데이터 규칙은, 제2 서브 노드가 매번 메인 노드에서 송신한 트레이닝 명령을 획득할 경우, 목표 공유 엔코더에 트레이닝을 진행한 횟수, 또는 서브 노드가 매번 메인 노드에서 송신한 트레이닝 명령을 획득한 후, 메인 노드에 목표 공유 엔코더의 업데이트 파라미터 집합을 리턴하는 시간 주기 등일 수 있다. 본 출원 실시 예에서는 이를 한정하지 않는다.
예를 들면, 목표 공유 엔코더의 파라미터 업데이트 규칙은 "목표 공유 엔코더에 대하여 5번의 트레이닝을 진행한 후, 메인 노드에 리턴한 목표 공유 엔코더 의 업데이트 파라미터 집합"일 수 있고 또는 "매달 마다 메인 노드에 한번 리턴한 목표 공유 엔코더의 업데이트 파라미터 집합"을 수도 있다.
단계504, 메인 노드에 의해 송신된 목표 공유 엔코더의 초기 파라미터 집합을 획득한다.
단계505, 목표 공유 엔코더의 유형에 매칭되는 트레이닝 샘플을 이용하여 모델 트레이닝함으로써, 목표 공유 엔코더의 업데이트 파라미터 집합을 결정한다.
상기 단계504 내지 단계505의 구체적인 실현 과정 및 원리는 상기 실시 예의 상세한 설명을 참조할 수 있기 때문에 상세하게 설명하지 않는다.
단계506, 업데이트 규칙을 만족한다고 결정할 경우, 메인 노드에 목표 공유 엔코더의 업데이트 파라미터 집합을 리턴한다.
본 출원 실시 예에서 제2 서브 노드는 목표 공유 엔코더에 대한 한번의 트레이닝이 완성되면, 현재가 목표 공유 엔코더의 파라미터 업데이트 규칙을 만족하는지 여부를 결정할 수 있다. 만족하면 메인 노드에 현재 획득한 목표 공유 엔코더의 업데이트 파라미터 집합을 리턴하고; 만족하지 못하면, 현재 목표 공유 엔코더의 파라미터 업데이트 규칙에 만족할 때까지, 목표 공유 엔코더에 대하여 재차 트레이닝을 진행한다.
예를 들면, 목표 공유 엔코더의 파라미터 업데이트 규칙이 "서브 노드는 매번 목표 공유 엔코더에 대하여 5번의 트레이닝을 진행한 후, 메인 노드에 목표 공유 엔코더의 업데이트 파라미터 집합을 리턴하는" 것일 경우, 만약 제2 서브 노드가 목표 공유 엔코더에 대하여 제4번째 트레이닝을 완성하면 현재 목표 공유 엔코더 파라미터의 업데이트 규칙에 만족하지 않는다고 결정하고, 즉 목표 공유 엔코더에 대하여 계속하여 트레이닝을 진행한다. 만약 제2 서브 노드가 목표 공유 엔코더에 대하여 제5번째 트레이닝을 완성하면, 현재 목표 공유 엔코더의 파라미터 업데이트 규칙에 만족한다고 결정하고, 제5 번째 트레이닝이 끝난 후 획득한 목표 공유 엔코더의 업그레이드 파라미터 집합을 메인 노드로 리턴할 수 있다.
본 출원 실시 예의 기술 방안에 따르면, 제2 서브 노드를 통해 메인 노드에 의해 송신된 공유 엔코더의 트레이닝 명령을 획득하고, 목표 공유 엔코더의 유형에 매칭되는 트레이닝 샘플이 포함한다고 결정한 후, 메인 노드에 확인 정보를 리턴하고, 메인 노드에 의해 송신된 목표 공유 엔코더의 파라미터 업데이트 규칙 및 목표 공유 엔코더의 초기 파라미터 집합을 획득한 후, 목표 공유 엔코더의 유형에 매칭되는 트레이닝 샘플을 이용하여 모델 트레이닝을 진행하여 목표 공유 엔코더의 업데이트 파라미터 집합을 결정함으로써, 현재가 업데이트 규칙을 만족할 경우, 메인 노드에 목표 공유 엔코더의 업데이트 파라미터 집합을 리턴한다. 따라서, 메인 노드는 각 노드를 조직하고 사유 트레이닝 샘플을 이용하여 목표 공유 엔코더를 트레이닝하고, 메인 노드가 리턴한 파라미터 업데이트 규칙에 따라, 서브 노드가 메인 노드에 목표 공유 엔코더의 업데이트 파라미터 집합을 리턴하는 타이밍을 결정하기 때문에 여러 분야의 트레이닝 코퍼스의 공유를 실현하였을 뿐만 아니라 여러 분야 트레이닝 코퍼스의 획득 난이도와 원가를 낮추고 공유 엔코더의 기능을 제고시킨다.
상기 실시 예를 실현하기 위해, 본 출원에서는 공유 엔코더 생성 장치를 제출하였다.
도6는 본 출원 실시 예에서 제공한 다른 엔코더 생성 장치의 흐름 안내도이다. 당해 방법은 메인 노드에 응용된다.
도6에 도시한 바와 같이 당해 공유 엔코더 생성 장치(60)는,
메인 노드가 각 서브 노드에 공유 엔코더의 트레이닝 명령을 송신하고, 상기 트레이닝 명령에는 트레이닝 해야 할 목표 공유 엔코더의 유형을 포함되어 각각의 서브 노드가 목표 공유 엔코더의 유형에 따라 트레이닝 샘플을 획득하는 제1송신 모듈(61);
각 서브 노드에 의해 리턴된 확인 정보를 획득한 후, 각 노드에 트레이닝 해야 할 목표 공유 엔코더의 초기 파라미터 집합을 송신하여 각 노드가 각자의 트레이닝 샘플을 이용해 상기 목표 공유 엔코더의 초기 파라미터 집합을 트레이닝하는 제2 송신 모듈(62);
서브 노드에 의해 리턴된 목표 공유 엔코더의 업데이트 파라미터 집합을 획득하도록 구성된 제1 획득 모듈(63); 및
제1 사전 설정된 규칙 및 각 노드에 의해 리턴 목표 공유 엔코더의 업데이트 파라미터 집합에 따라 상기 목표 공유 엔코더에 대응하는 목표 파라미터 집합을 결정하는 제1 결정 모듈(64); 을 포함한다.
실제로 사용될 경우, 본 출원 실시 예에서 제공한 공유 엔코더 생성 장치는 임의의 기기에 설치되어 상기 공유 엔코더 생성 방법을 실행한다.
본 출원 실시 예의 기술 방안에 의하면, 메인 노드에 의해 각 서브 노드에 공유 엔코더의 트레이닝 명령을 송신하는 방법을 사용하였기에 각각의 서브 노드가 트레이닝 명령에 포함된 목표 공유 엔코더의 유형에 따라 트레이닝 샘플을 획득할 수 있고, 각 서브 노드에 의해 리턴된 확인 정보를 획득한 후, 각 서브 노드에 트레이닝 해야 할 목표 공유 엔코더의 초기 파리미터 집합을 송신하고, 각 서브 노드가 각자의 트레이닝 샘플을 이용하여 목표 공유 엔코더의 초기 파리미터 집합을 트레이닝한 후, .각 서브 노드에 의해 리턴된 목표 공유 엔코더의 업데이트 파라미터 집합을 획득함으로써, 제1 사전 설정된 규칙 및 각 노드에 의해 리턴된 목표 공유 엔코더의 업데이트 파라미터 집합에 따라 목표 공유 엔코더에 대응하는 목표 파라미터 집합을 결정한다.따라서 메인 노드는 각 노드를 조직하고 사유 트레이닝 샘플을 이용하여 목표 공유 엔코더를 트레이닝함으로써, 각 노드가 목표 공유 엔코더에 대한 트레이닝 결과에 따라 목표 공유 엔코더의 목적 파라미터 집합을 결정하기 때문에 여러 분야의 트레이닝 코퍼스의 공유를 실현하였을 뿐만 아니라 여러 분야 트레이닝 코퍼스의 획득 난이도와 원가를 낮추고 공유 엔코더의 기능을 제고시킨다.
본 출원 실현 가능한 형식에서, 상기 공유 엔코더 생성 장치(60)는,
상기 메인 노드가 적어도 하나의 서브 노드에 송신된 목표 공유 엔코더의 청구를 획득하는 제2 획득 모듈;
또는,
상기 메인 노드가 적어도 하나의 서브 노드에 의해 송신된 목표 공유 엔코더의 업데이트 청구를 획득하는 제3 획득 모듈 - 상기 업데이트 청구에는 상기 목표 공유 엔코더의 식별자를 포함함 - 을 더 포함한다.
나아가, 본 출원의 다른 실현 가능한 형식에 있어서, 상기 공유 엔코더 생성 장치(60)는,
각 서브 노드에 포함한 트레이닝 샘플의 수량을 획득하는 제4 획득 모듈; 및
각각의 서브 노드에 포함한 트레이닝 샘플의 수량에 따라 각각의 서브 노드의 가중치를 결정하는 제2 결정 모듈; 을 더 포함한다.
상기 제1 결정 모듈(64)은 구체적으로,
기 제1 사전 설정된 규칙, 상기 각각의 서브 노드의 가중치 및 각 서브 노드에 의해 리턴된 목표 공유 엔코더의 업데이트 파라미터 집합에 따라 상기 목표 공유 엔코더에 대응하는 목표 파라미터 집합을 결정한다.
나아가, 본 출원 또 다른 실시 가능한 실현 형식 중, 상기 공유 엔코더 생성 장치(60)는,
상기 목표 공유 엔코더에 대응하는 목표 파라미터 집합을 각각의 서브 노드에 송신하여 각각의 서브 노드가 상기 목표 공유 엔코더에 대응하는 목표 파라미터 집합에 따라 상기 목표 공유 엔코더에 대한 트레이닝을 계속하는 제3 송신 모듈을 더 포함한다.
나아가, 본 출원 또 다른 실현 가능한 형식에 있어서, 상기 공유 엔코더의 생성 장치(60)는,
제1 서브 노드에 의해 재차 리턴된 목표 공유 엔코더의 집합을 획득하는 제5 획득 모듈;
이미 획득된, 상기 제1 서브 노드가 목표 공유 엔코더 파라미터 집합을 리턴한 횟수에 따라 상기 제1 서브 노드의 현재 가중치를 결정하는제3 결정 모듈; 및
제1 사전 설정된 규칙에 의해 상기 제1 서브 노드의 현재 가중치 및 현재 재차 리턴된 목표 공유 엔코더 파라미터 집합에 따라 상기 목표 공유 엔코더에 대응하는 목표 파라미터 집합을 업데이트하는 업데이트 모듈; 을 더 포함한다.
나아가, 본 출원 또 다른 실현 가능한 형식에 있어서, 상기 공유 엔코더의 생성 장치(60)는,
제2 사전 설정된 규칙에 따라 상기 트레이닝 해야 할 목표 공유 엔코더를 생성하는 생성 모듈을 더 포함한다.
설명해야 할 것은, 상기 도1, 도2, 도3에 도시한 바와 같이 상기 공유 엔코더 생성 방법의 실시 예에 대한 해석 설명은 당해 실시 예의 공유 엔코더 생성 장치(60)에도 적용되므로 상세하게 설명하지 않는다.
본 출원 실시 예의 기술 방안에 의하면, 메인 노드에 의해 각 서브 노드에 공유 엔코더의 트레이닝 명령을 송신하는 방법을 사용하였기에 각각의 서브 노드가 트레이닝 명령에 포함된 목표 공유 엔코더의 유형에 따라 트레이닝 샘플을 획득할 수 있고, 각 노드에 의해 리턴된 확인 정보를 획득한 후, 각 서브 노드에 트레이닝 해야 할 목표 공유 엔코더의 초기 파라미터 집합을 송신하여 각 서브 노드가 각각의 트레이닝 샘플을 이용하여 목표 공유 엔코더의 초기 파라미터 집합을 트레이닝함으로써, 각 서브 노드에 의해 리턴된 목표 공유 엔코더의 업데이트 파라미터 집합을 획득하며, 제1 사전 설정된 규칙 및 각 서브 노드에 의해 리턴된 목표 공유 엔코더의 업데이트 파라미터 집합에 따라 목표 공유 엔코더에 대응하는 목표 파라미터 집합을 결정하고, 목표 공유 엔코더에 대응하는 목표 파라미터 집합을 각 서브 노드에 각각 송신하여, 각 서브 노드는 목표 공유 엔코더에 대응하는 목표 파라미터 집합에 따라 목표 공유 엔코더를 트레이닝한다. 메인 노드는 각 노드를 조직하고 사유 트레이닝 샘플을 이용하여 목표 공유 엔코더를 여러번 트레이닝함으로써, 각 노드가 목표 공유 엔코더에 대한 복수의 트레이닝 결과에 따라 목표 공유 엔코더의 목적 파라미터 집합을 결정하기 때문에 여러 분야의 트레이닝 코퍼스의 공유를 실현하였을 뿐만 아니라 여러 분야 트레이닝 코퍼스의 획득 난이도와 원가를 낮추고 공유 엔코더의 기능을 제고시킨다.
상기 실시 예를 실현하기 위해, 본 출원에서는 다른 공유 엔코더 생성 장치를 제출하였다.
도7은 본 출원 실시 예에서 제공한 다른 엔코더 생성 장치의 흐름 안내도이다. 당해 방법은 서브 노드에 응용된다.
도7에 도시한 바와 같이 당해 공유 엔코더 생성 장치(70)는,
제2 서브 노드에 의해 송신된 공유 엔코더 트레이닝 명령을 획득하도록 사용되는 제1 획득 모듈(71) - 상기 트레이닝 명령에는 트레이닝 해야 할 목표 공유 엔코더의 유형을 포함함- ;
상기 목표 공유 엔코더의 유형에 매칭되는 트레이닝 샘플을 결정한 후, 상기 메인 노드에 확인 정보를 리턴하는 제1 리턴 모듈(72);
상기 메인 노드에 의해 송신된 목표 공유 엔코더의 초기 파라미터 집합을 획득하는 제2 획득 모듈(73);
상기 메인 노드에 의해 송신된 목표 공유 엔코더의 초기 파라미터 집합을 획득하는상기 메인 노드에 의해 송신된 목표 공유 엔코더의 초기 파라미터 집합을 획득하는 제1 결정 모듈(74); 및
상기 메인 노드에 상기 목표 공유 엔코더의 업데이트 집함을 리턴하는 제2 리턴 모듈(75); 을 포함한다.
실제 사용할 경우, 본 출원 실시 예의 공유 엔코더 생성 장치는 임의의 전자 기기에 설치되어 상기 공유 엔코더 생성 방법을 실행한다.
본 출원 실시 예의 기술 방안에 따르면, 제2 서브 노드를 통해 메인 노드가 송신한 공유 엔코더의 트레이닝 명령을 획득하고, 목표 공유 엔코더의 유형에 매칭되는 트레이닝 샘플을 결정한 후, 메인 노드에 확인 정보를 리턴하고, 메인 노드에 의해 송신된 목표 공유 엔코더의 초기 파라미터 집합을 획득한 후, 목표 공유 엔코더의 유형에 매칭되는 트레이닝 샘플을 이용하여 모델 트레이닝을 하고 목표 공유 엔코더의 업데이트 파라미터 집합을 결정하여 메인 노드에 목표 공유 엔코더의 업데이트 파라미터 집합을 리턴한다. 따라서 메인 노드는 각 노드를 조직하고 사유 트레이닝 샘플을 이용하여 목표 공유 엔코더를 트레이닝함으로써, 각 노드가 목표 공유 엔코더에 대한 트레이닝 결과에 따라 목표 공유 엔코더의 목적 파라미터 집합을 결정하기 때문에 여러 분야의 트레이닝 코퍼스의 공유를 실현하였을 뿐만 아니라 여러 분야 트레이닝 코퍼스의 획득 난이도와 원가를 낮추고 공유 엔코더의 기능을 제고시킨다.
본 출원 실현 가능한 형식으로서 상기 공유 엔코더 생성 장치(70)는,
상기 메인 노드에 의해 리턴된 목표 공유 엔코더의 파라미터 업데이트 규칙을 획득하는 제3 획득 모듈;
상기 제2 리턴 모듈(75)은 구체적으로,
상기 업데이트 규칙을 만족한다고 결정할 경우, 상기 메인 노드에 상기 목표 공유 엔코더의 업데이트 집합을 리턴한다.
나아가, 본 출원 다른 실현 가능한 형식에 있어서, 상기 공유 엔코더 생성 장치(70)는,
상기 메인 노드에 상기 목표 공유 엔코더의 유형에 매칭되는 트레이닝 샘플의 수량을 송신하는 송신 모듈을 더 포함한다.
나아가, 본 출원 실현 가능한 형식에 있어서, 상기 공유 엔코더 생성 장치(70)는,
상기 목표 공유 엔코더에 대응하는 사유 엔코더 및 사유 디코더를 결정하는 제2 결정 모듈을 더 포함한다.
설명해야 할 것은, 상기 도4, 도5에 도시한 바와 같이 상기 공유 엔코더 생성 방법 실시 예에 대한 해석 설명은 당해 실시 예의 공유 엔코더 생성 장치(70)에도 적용되므로 상세하게 설명하지 않는다.
본 출원 실시 예의 기술 방안에 따르면, 제2 서브 노드를 통해 메인 노드에 의해 송신된 공유 엔코더의 트레이닝 명령을 획득하고, 목표 공유 엔코더의 유형에 매칭되는 트레이닝 샘플이 포함한다고 결정한 후, 메인 노드에 확인 정보를 리턴하고, 메인 노드에 의해 송신된 목표 공유 엔코더의 파라미터 업데이트 규칙 및 목표 공유 엔코더의 초기 파라미터 집합을 획득한 후, 목표 공유 엔코더의 유형에 매칭되는 트레이닝 샘플을 이용하여 모델 트레이닝을 진행하여 목표 공유 엔코더의 업데이트 파라미터 집합을 결정함으로써, 현재가 업데이트 규칙을 만족할 경우, 메인 노드에 목표 공유 엔코더의 업데이트 파라미터 집합을 리턴한다. 따라서, 메인 노드는 각 노드를 조직하고 사유 트레이닝 샘플을 이용하여 목표 공유 엔코더를 트레이닝하고, 메인 노드가 리턴한 파라미터 업데이트 규칙에 따라, 서브 노드가 메인 노드에 목표 공유 엔코더의 업데이트 파라미터 집합을 리턴하는 타이밍을 결정하기 때문에 여러 분야의 트레이닝 코퍼스의 공유를 실현하였을 뿐만 아니라 여러 분야 트레이닝 코퍼스의 획득 난이도와 원가를 낮추고 공유 엔코더의 기능을 제고시킨다.
본 출원 실시 예에 의해 본 출원은 전자 기기와 가독 저장 매체를 제공한다.
도8은 본 출원 실시 예에 의한 공유 엔코더 생성 방법 전자 기기의 블록도이다. 전자 기기는 다양한 형식의 디지털 컴퓨터, 예를 들어 랩톱 컴퓨터, 데스크톱 컴퓨터, 워크벤치, 개인용 디지털 보조기, 서버, 블레이드 서버, 대형 컴퓨터 및 기타의 적합한 컴퓨터를 가리키고자 하는 것이다. 전자 기기는 다양한 형식의 이동 장치, 예를 들어 개인용 디지털 보조기, 셀룰러 폰, 스마트폰, 웨어러블 기기 및 기타의 이와 유사한 컴퓨팅 기기를 가리킬 수도 있다. 본 명세서에서 제시하는 부품, 이들의 연결과 관계 및 이들의 기능은 단지 예시일 뿐, 본 명세서에서 설명한 및/또는 요구하는 본 출원의 구현을 한정하고자 하는 하는 것이 아니다.
도8에 도시한 바와 같이, 당해 전자 기기는 하나 또는 복수의 프로세서(801), 메모리(802) 및 각 부품을 연결하는 인터페이스를 포함하는바, 고속 인터페이스와 저속 인터페이스가 포함된다. 각 부품은 부동한 버스를 이용하여 서로 연결되고 공용 메인기판에 장착되거나 또는 필요에 따라 기타의 방식으로 장착될 수 있다. 프로세서는 전자 기기 내에서 실행되는 명령을 처리할 수 있는바, 메모리 내에 또는 메모리 위에 저장되어 외부 입력/출력 장치(예를 들어 인터페이스에 커플링되는 디스플레이 기기)에 GUI의 그래픽 정보를 표시하는 명령이 포함된다. 기타의 실시 방식에서, 필요하다면 복수의 프로세서 및/또는 복수의 버스를 복수의 메모리와 함께 사용할 수 있다. 마찬가지로, 복수의 전자 기기를 연결할 수 있는바, 각 전자 기기는 일부 필요한 동작을 제공한다(예를 들어 서버 어레이, 한 그룹의 블레이드 서버 또는 멀티프로세서 시스템으로서). 도8은 한 프로세서(801)를 예로 든다.
메모리(802)가 바로 본 출원에 의해 제공되는 비일시적 컴퓨터 판독 가능 저장 매체이다. 상기 메모리에는 적어도 하나의 프로세서에 의해 실행 가능한 명령이 저장되어 있는바, 이는 상기 적어도 하나의 프로세서에 의해 본 출원에 의해 제공되는 감정 분석 모델을 사전 트레이닝하는 방법이 실행되도록 한다. 본 출원의 비일시적 컴퓨터 판독 가능 저장 매체는 컴퓨터 명령을 저장하고, 당해 컴퓨터 명령은 컴퓨터에 의해 본 출원에 의해 제공되는 공유 엔코더 생성 방법이 실행되도록 한다.
메모리(802)는 비일시적 컴퓨터 판독 가능 저장 매체로서, 비일시적 소프트웨어 프로그램, 비일시적 컴퓨터 실행 가능 프로그램 및 모듈, 예를 들면 본 출원의 실시예의 공유 엔코더 생성 방법에 대응되는 프로그램 명령/모듈(예를 들면, 도면6에 도시한 바와 같은 제1 송신 모듈(61), 제2 송신 모듈(62), 제1 획득 모듈(63), 제1 결정 모듈(64) 및 도면7에 도시한 바와 같은 제1 획득 모듈(71), 제1 리턴 모듈(72), 제2 획득 모듈(73), 제1 결정 모듈(74), 제2 리턴 모듈(75))을 저장할 수 있다. 프로세서(801)는 메모리(802)에 저장되는 비일시적 소프트웨어 프로그램, 명령 및 모듈을 실행함으로써 서버의 다양한 기능 응용 및 데이터 처리를 실행하는바, 즉 상술한 방법 실시예의 공유 엔코더 생성 방법을 구현한다
메모리(802)는 프로그램 저장 영역과 데이터 저장 영역을 포함할 수 있는바, 여기서, 프로그램 저장 영역은 운영 체제, 적어도 하나의 기능에 있어서 필요한 응용 프로그램을 저장할 수 있고, 데이터 저장 영역은 감정 분석 모델을 사전 트레이닝하는 방법에 따른 전자 기기의 사용에 따라 구축되는 데이터 등을 저장할 수 있다. 이 외에도 메모리(802)는 고속 랜덤 액세스 메모리를 포함할 수도 있고, 비일시적 메모리, 예를 들어 적어도 하나의 자기 디스크 저장 장치, 플래시 메모리 장치 또는 기타의 비일시적 고체 상태 저장 장치를 더 포함할 수도 있다. 일부 실시예에서, 메모리(802)는 선택적으로 프로세서(801) 대비 원격 설치되는 메모리를 포함할 수 있고, 이러한 원격 메모리는 네트워크를 통해 공유 엔코더 생성 방법의 전자 기기에 연결될 수 있다. 상술한 네트워크의 실시예는 인터넷, 기업 내부 네트워크, 근거리 통신망, 이동 통신 네트워크 및 이들의 조합을 포함하나 이에 한정되지 않는다.
공유 엔코더 생성 방법의 전자 기기는 입력 장치(803)와 출력 장치(804)를 더 포함할 수 있다. 프로세서(801), 메모리(802), 입력 장치(803) 및 출력 장치(804)는 버스 또는 기타의 방식으로 연결될 수 있는바, 도5에서는 버스에 의한 연결을 예로 든다.
입력 장치(803)는 입력되는 숫자 또는 캐릭터 정보를 수신하고, 공유 엔코더 생성 방법의 전자 기기의 사용자 설정 및 기능 제어에 관련되는 키 신호 입력을 발생시킬 수 있는바, 예를 들면 터치 스크린, 숫자 키패드, 마우스, 트랙패드, 터치패드, 포인팅 스틱, 하나 또는 복수의 마우스 버튼, 트랙볼, 조종 스틱 등 입력 장치가 있다. 출력 장치(804)는 디스플레이 기기, 보조 조명장치(예를 들어 LED) 및 촉각 피드백 장치(예를 들어 진동 모터) 등을 포함할 수 있다. 당해 디스플레이 기기는 액정 디스플레이(LCD), 발광 다이오드(LED) 디스플레이 및 플라즈마 디스플레이를 포함할 수 있으나, 이에 한정되지 않는다. 일부 실시 방식에서 디스플레이 기기는 터치 스크린일 수 있다.
본 출원의 실시예에 따르면, 컴퓨터 판독 가능 매체에 저장되어 있는 컴퓨터 프로그램을 더 제공한다. 당해 컴퓨터 프로그램중의 명령이 실행될 경우, 상기 공유 엔코더 생성 방법이 실행된다.
여기서 설명하는 시스템과 기술의 다양한 실시 방식은 디지털 전자 회로 시스템, 집적 회로 시스템, 주문형ASIC(주문형 집적회로), 컴퓨터 하드웨어, 펌웨어, 소프트웨어 및/또는 이들의 조합에서 구현될 수 있다. 이러한 다양한 실시 방식은 하나 또는 복수의 컴퓨터 프로그램에서 실시되는 것을 포함할 수 있고, 당해 하나 또는 복수의 컴퓨터 프로그램은 적어도 하나의 프로그램 가능 프로세서를 포함하는 프로그램 가능 시스템에서 실행되거나 및/또는 해석될 수 있고, 당해 프로그램 가능 프로세서는 전용 또는 범용 프로그램 가능 프로세서일 수 있고, 저장 시스템, 적어도 하나의 입력 장치 및 적어도 하나의 출력 장치로부터 데이터와 명령을 수신하고, 데이터와 명령을 당해 저장 시스템, 당해 적어도 하나의 입력 장치 및 당해 적어도 하나의 출력 장치로 전송할 수 있다.
이러한 컴퓨팅 프로그램(프로그램, 소프트웨어, 소프트웨어 애플리케이션 또는 코드로 지칭되기도 함)은 프로그램 가능 프로세서의 기계 명령을 포함하며, 고급 절차 및/또는 객체지향 프로그래밍 언어, 및/또는 어셈블리어/기계어를 이용하여, 이러한 컴퓨팅 프로그램을 실시할 수 있다. 본 명세서에서 사용한 바와 같이, 용어 '기계 판독 가능 매체'와 '컴퓨터 판독 가능 매체'는 기계 명령 및/또는 데이터를 프로그램 가능 프로세서에 제공하기 위한 임의의 컴퓨터 프로그램 제품, 기기, 및/또는 장치(예를 들어, 자기 디스크, 광 디스크, 메모리, 프로그램 가능 논리 장치(PLD))를 가리키는바, 이는 기계 판독 가능 신호로서의 기계 명령을 수신하는 기계 판독 가능 매체를 포함한다. 용어 '기계 판독 가능 신호'는 기계 명령 및/또는 데이터를 프로그램 가능 프로세서에 제공하기 위한 임의의 신호를 가리킨다.
사용자와의 인터랙션을 제공하기 위해, 여기서 설명하는 시스템과 기술을 컴퓨터에서 실시할 수 있는바, 당해 컴퓨터는 사용자한테 정보를 표시하기 위한 표시 장치(예를 들어, CRT(음극선관) 또는 LCD(액정 디스플레이) 모니터) 및 키보드와 포인팅 장치(예를 들어, 마우스 또는 트랙볼)를 포함하고, 사용자는 당해 키보드와 당해 포인팅 장치를 통해 입력을 컴퓨터에 제공할 수 있다. 기타 종류의 장치도 사용자와의 인터랙션을 제공하는 데 사용될 수 있는바, 예를 들어, 사용자한테 제공되는 피드백은 임의 형식의 감각 피드백(예를 들어 시각 피드백, 청각 피드백 또는 촉각 피드백)일 수 있고, 임의 형식(소리 입력, 음성 입력 또는 촉각 입력을 포함함)으로 사용자로부터의 입력이 수신될 수 있다.
여기서 설명하는 시스템과 기술을 백그라운드 부품을 포함하는 컴퓨팅 시스템(예를 들면 데이터 서버로서), 미들웨어를 포함하는 컴퓨팅 시스템(예를 들면 애플리케이션 서버), 프런트 엔드 부품을 포함하는 컴퓨팅 시스템(예를 들면 그래픽 사용자 인터페이스 또는 네트워크 브라우저를 구비하는 사용자 컴퓨터일 수 있는바, 사용자는 당해 그래픽 사용자 인터페이스 또는 당해 네트워크 브라우저를 통하여, 여기서 설명하는 시스템 및 기술의 실시 방식과 인터랙션할 수 있음) 또는 이러한 백그라운드 부품, 미들웨어 또는 프런트 엔드 부품의 임의 조합을 포함하는 컴퓨팅 시스템에서 구현할 수 있다. 임의 형식 또는 매체의 디지털 데이터 통신(예를 들면 통신 네트워크)으로 시스템의 부품을 서로 연결시킬 수 있다. 통신 네트워크의 예시는 근거리 통신망(LAN), 광대역 통신망(WAN) 및 인터넷을 포함한다.
컴퓨터 시스템은 클라이언트와 서버를 포함할 수 있다. 클라이언트와 서버는 일반적으로는 서로 멀리 떨어져 있고, 통상적으로 통신 네트워크를 통해 인터랙션한다. 상응한 컴퓨터에서 실행되고 서로 클라이언트 - 서버 관계를 이루는 컴퓨터 프로그램을 통해 클라이언트와 서버의 관계가 발생된다.
본 출원 실시 예의 기술 방안에 따르면, 메인 노드에 의해 각 서브 노드에 공유 엔코더의 트레이닝 명령을 송신하는 방법을 사용하였기에 각각의 서브 노드가 트레이닝 명령에 포함된 목표 공유 엔코더의 유형에 따라 트레이닝 샘플을 획득할 수 있고, 각 서브 노드에 의해 리턴된 확인 정보를 획득한 후, 각 서브 노드에 트레이닝 해야 할 목표 공유 엔코더의 초기 파리미터 집합을 송신하고, 각 서브 노드가 각자의 트레이닝 샘플을 이용하여 목표 공유 엔코더의 초기 파리미터 집합을 트레이닝한 후, .각 서브 노드에 의해 리턴된 목표 공유 엔코더의 업데이트 파라미터 집합을 획득함으로써, 제1 사전 설정된 규칙 및 각 노드에 의해 리턴된 목표 공유 엔코더의 업데이트 파라미터 집합에 따라 목표 공유 엔코더에 대응하는 목표 파라미터 집합을 결정한다.따라서 메인 노드는 각 노드를 조직하고 사유 트레이닝 샘플을 이용하여 목표 공유 엔코더를 트레이닝함으로써, 각 노드가 목표 공유 엔코더에 대한 트레이닝 결과에 따라 목표 공유 엔코더의 목적 파라미터 집합을 결정하기 때문에 여러 분야의 트레이닝 코퍼스의 공유를 실현하였을 뿐만 아니라 여러 분야 트레이닝 코퍼스의 획득 난이도와 원가를 낮추고 공유 엔코더의 기능을 제고시킨다.
상기에서 제시한 다양한 형식의 흐름을 적용하여 단계를 재정렬, 증가 또는 삭제할 수 있음을 이해하여야 한다. 예를 들어, 본 출원에 기재된 각 단계는 병행으로 실행될 수도 있고, 순차로 실행될 수도 있고, 부동한 순서로 실행될 수도 있는바, 본 출원에서 개시하는 기술안에 대한 기대 효과를 구현할 수만 있으면 되며, 본 명세서는 이에 대해 한정하지 않는다.
상술한 구체적인 실시 방식은 본 출원의 보호 범위를 한정하지 않는다. 설계 요구와 기타 요소에 따른 다양한 수정, 조합, 서브 조합 및 치환이 가능하다는 점은 당업자에 있어서 자명할 것이다. 본 출원의 사상과 원칙 이내에 있는 임의의 수정, 등가적 치환 및 개량 등은 모두 본 출원의 보호 범위에 포함되어야 한다.

Claims (23)

  1. 공유 엔코더 생성 방법에 있어서,
    메인 노드가 서브 노드에 공유 엔코더의 트레이닝 명령을 송신하고, 상기 트레이닝 명령에는 트레이닝 해야 할 목표 공유 엔코더의 유형이 포함되어 각각의 서브 노드가 목표 공유 엔코더의 유형에 따라 트레이닝 샘플을 획득하는 단계;
    각 서브 노드에 의해 리턴된 확인 정보를 획득한 후, 각 서브 노드에 트레이닝 해야 할 목표 공유 엔코더의 초기 파라미터 집합을 송신하여 각 서브 노드가 각자의 트레이닝 샘플을 이용해 상기 목표 공유 엔코더의 초기 파라미터 집합을 트레이닝하는 단계;
    각 서브 노드에 의해 리턴된 목표 공유 엔코더의 업데이트 파라미터 집합을 획득하는 단계; 및
    제1 사전 설정된 규칙 및 각 서브 노드에 의해 리턴된 목표 공유 엔코더의 업데이트 파라미터에 따라 상기 목표 공유 엔코더에 대응하는 목표 파라미터 집합을 결정하는 단계; 를 포함하고,
    상기 각 서브 노드에 트레이닝 해야 할 목표 공유 엔코더의 초기 파라미터 집합을 송신한 후,
    각 서브 노드에 포함한 트레이닝 샘플의 수량을 획득하는 단계; 및
    각각의 서브 노드에 포함한 트레이닝 샘플의 수량에 따라 각각의 서브 노드의 가중치를 결정하는 단계; 를 더 포함하고,
    제1 사전 설정된 규칙 및 각 서브 노드에 의해 리턴된 목표 공유 엔코더의 업데이트 파라미터에 따라 상기 목표 공유 엔코더에 대응하는 목표 파라미터 집합을 결정하는 단계는,
    상기 제1 사전 설정된 규칙, 상기 각각의 서브 노드의 가중치 및 각 서브 노드에 의해 리턴된 목표 공유 엔코더의 업데이트 파라미터 집합에 따라 상기 목표 공유 엔코더에 대응하는 목표 파라미터 집합을 결정하는 단계를 포함하는,
    것을 특징으로 하는 공유 엔코더 생성 방법.
  2. 제1항에 있어서,
    상기 메인 노드가 각 서브 노드에 공유 엔코더의 트레이닝 명령을 송신하기 전에,
    상기 메인 노드는 적어도 하나의 서브 노드에 의해 송신된 목표 공유 엔코더의 청구를 획득하는 단계, 또는
    상기 메인 노드는 적어도 하나의 서브 노드에 의해 송신된 공유 엔코더의 업데이트 청구를 획득하는 단계 - 상기 업데이트 청구에는 상기 목표 공유 엔코더의 식별자를 포함함 - 를 더 포함하는,
    것을 특징으로 하는 공유 엔코더 생성 방법.
  3. 삭제
  4. 제1항에 있어서,
    상기 목표 공유 엔코더에 대응하는 목표 파라미터 집합을 결정한 후,
    상기 목표 공유 엔코더에 대응하는 목표 파라미터 집합을 각각의 서브 노드에 송신하여 각각의 서브 노드가 상기 목표 공유 엔코더에 대응하는 목표 파라미터 집합에 따라 상기 목표 공유 엔코더에 대한 트레이닝을 계속하는 단계를 더 포함하는,
    것을 특징으로 하는 공유 엔코더 생성 방법.
  5. 제4항에 있어서,
    상기 목표 공유 엔코더에 대응하는 목표 공유 파리미터 집합을 각각의 서브 노드에 송신한 후,
    제1 서브 노드에 의해 재차 리턴된 목표 공유 엔코더의 파라미터 집합을 획득하는 단계;
    이미 획득된, 상기 제1 서브 노드가 목표 공유 엔코더 파라미터 집합을 리턴한 횟수에 따라 상기 제1 서브 노드의 현재 가중치를 결정하는 단계; 및
    제1 사전 설정된 규칙, 상기 제1 서브 노드의 현재 가중치 및 현재 재차 리턴된 목표 공유 엔코더 파라미터 집합에 따라 상기 목표 공유 엔코더에 대응하는 목표 파라미터 집합을 업데이트하는 단계; 를 더 포함하는,
    것을 특징으로 하는 공유 엔코더 생성 방법.
  6. 제1항에 있어서,
    상기 각 서브 노드에 트레이닝 해야 할 목표 공유 엔코더의 초기 파라미터 집합을 송신하기 전에,
    제2 사전 설정된 규칙에 따라 상기 트레이닝 해야 할 목표 공유 엔코더를 생성하는 단계를 더 포함하는,
    것을 특징으로 하는 공유 엔코더 생성 방법.
  7. 공유 엔코더 생성 방법에 있어서,
    제2 서브 노드는 메인 노드에 의해 송신된 공유 엔코더 트레이닝 명령을 획득하는 단계 - 상기 트레이닝 명령에는 트레이닝 해야 할 목표 공유 엔코더의 유형을 포함함- ;
    상기 목표 공유 엔코더의 유형에 매칭되는 트레이닝 샘플을 결정한 후, 상기 메인 노드에 확인 정보를 리턴하는 단계;
    상기 메인 노드에 의해 송신된 목표 공유 엔코더의 초기 파라미터 집합을 획득하는 단계;
    상기 목표 공유 엔코더의 유형에 매칭되는 트레이닝 샘플을 이용하여 모델 트레이닝함으로써, 상기 목표 공유 엔코더의 업데이트 파라미터를 결정하는 단계;
    상기 메인 노드에 상기 목표 공유 엔코더의 업데이트 파라미터를 리턴하는 단계; 및
    상기 메인 노드에 상기 목표 공유 엔코더의 유형에 매칭되는 트레이닝 샘플의 수량을 송신하는 단계; 를 포함하는,
    것을 특징으로 하는 공유 엔코더 생성 방법.
  8. 제7항에 있어서,
    상기 메인 노드에 확인 정보를 리턴한 후,
    상기 메인 노드에 의해 리턴된 목표 공유 엔코더의 파라미터 업데이트 규칙을 획득하는 단계를 더 포함하고;
    상기 메인 노드에 상기 목표 공유 엔코더의 업데이트 파라미터를 리턴하는 단계는,
    상기 업데이트 규칙을 만족한다고 결정할 경우, 상기 메인 노드에 상기 목표 공유 엔코더의 업데이트 집합을 리턴하는 단계를 포함하는,
    것을 특징으로 하는 공유 엔코더 생성 방법.
  9. 삭제
  10. 제7항에 있어서,
    상기 목표 공유 엔코더의 유형에 매칭되는 트레이닝 샘플을 이용하여 모델 트레이닝을 한 후,
    상기 목표 공유 엔코더에 대응하는 사유 엔코더 및 사유 디코더를 결정하는 단계를 더 포함하는,
    것을 특징으로 하는 공유 엔코더 생성 방법.
  11. 공유 엔코더 생성 장치에 있어서,
    메인 노드가 각 서브 노드에 공유 엔코더의 트레이닝 명령을 송신하고, 상기 트레이닝 명령에는 트레이닝 해야 할 목표 공유 엔코더의 유형을 포함되어 각각의 서브 노드가 목표 공유 엔코더의 유형에 따라 트레이닝 샘플을 획득하는 제1 송신 모듈;
    각 서브 노드에 의해 리턴된 확인 정보를 획득한 후, 각 노드에 트레이닝 해야 할 목표 공유 엔코더의 초기 파라미터 집합을 송신하여 각 노드가 각자의 트레이닝 샘플을 이용해 상기 목표 공유 엔코더의 초기 파라미터 집합을 트레이닝하는 제2 송신 모듈;
    서브 노드에 의해 리턴된 목표 공유 엔코더의 업데이트 파라미터 집합을 획득하도록 구성된 제1 획득 모듈;
    제1 사전 설정된 규칙 및 각 노드에 의해 리턴 목표 공유 엔코더의 업데이트 파라미터 집합에 따라 상기 목표 공유 엔코더에 대응하는 목표 파라미터 집합을 결정하는 제1 결정 모듈;
    각 서브 노드에 포함한 트레이닝 샘플의 수량을 획득하는 제4 획득 모듈; 및
    각각의 서브 노드에 포함한 트레이닝 샘플의 수량에 따라 각각의 서브 노드의 가중치를 결정하는 제2 결정 모듈; 을 포함하고,
    상기 제1 결정 모듈은 또한,
    상기 제1 사전 설정된 규칙, 상기 각각의 서브 노드의 가중치 및 각 서브 노드에 의해 리턴된 목표 공유 엔코더의 업데이트 파라미터 집합에 따라 상기 목표 공유 엔코더에 대응하는 목표 파라미터 집합을 결정하는,
    것을 특징으로 하는 공유 엔코더 생성 장치.
  12. 제11항에 있어서,
    상기 메인 노드가 적어도 하나의 서브 노드에 송신된 목표 공유 엔코더의 청구를 획득하는 제2 획득 모듈;
    또는,
    상기 메인 노드가 적어도 하나의 서브 노드에 의해 송신된 목표 공유 엔코더의 업데이트 청구를 획득하는 제3 획득 모듈 - 상기 업데이트 청구에는 상기 목표 공유 엔코더의 식별자를 포함함 - 을 더 포함하는,
    것을 특징으로 하는 공유 엔코더 생성 장치.
  13. 삭제
  14. 제11항 또는 제12항에 있어서,
    상기 목표 공유 엔코더에 대응하는 목표 파라미터 집합을 각각의 서브 노드에 송신하여 각각의 서브 노드가 상기 목표 공유 엔코더에 대응하는 목표 파라미터 집합에 따라 상기 목표 공유 엔코더에 대한 트레이닝을 계속하는 제3 송신 모듈을 더 포함하는,
    것을 특징으로 하는 공유 엔코더 생성 장치.
  15. 제14항에 있어서,
    제1 서브 노드에 의해 재차 리턴된 목표 공유 엔코더의 집합을 획득하는 제5 획득 모듈;
    이미 획득된, 상기 제1 서브 노드가 목표 공유 엔코더 파라미터 집합을 리턴한 횟수에 따라 상기 제1 서브 노드의 현재 가중치를 결정하는제3 결정 모듈; 및
    제1 사전 설정된 규칙에 의해 상기 제1 서브 노드의 현재 가중치 및 현재 재차 리턴된 목표 공유 엔코더 파라미터 집합에 따라 상기 목표 공유 엔코더에 대응하는 목표 파라미터 집합을 업데이트하는 업데이트 모듈; 을 더 포함하는,
    것을 특징으로 하는 공유 엔코더 생성 장치.
  16. 제11항 또는 제12항에 있어서,
    제2 사전 설정된 규칙에 따라 상기 트레이닝 해야 할 목표 공유 엔코더를 생성하는 생성 모듈을 더 포함하는,
    것을 특징으로 하는 공유 엔코더 생성 장치.
  17. 공유 엔코더 생성 장치에 있어서,
    메인 노드에 의해 송신된 공유 엔코더 트레이닝 명령을 획득하도록 사용되는 제1 획득 모듈 - 상기 트레이닝 명령에는 트레이닝 해야 할 목표 공유 엔코더의 유형을 포함함- ;
    상기 목표 공유 엔코더의 유형에 매칭되는 트레이닝 샘플을 결정한 후, 상기 메인 노드에 확인 정보를 리턴하는 제1 리턴 모듈;
    상기 메인 노드에 의해 송신된 목표 공유 엔코더의 초기 파라미터 집합을 획득하는 제2 획득 모듈;
    상기 목표 공유 엔코더의 유형에 매칭되는 트레이닝 샘플을 이용하여 모델 트레이닝함으로써, 상기 목표 공유 엔코더의 업데이트 파라미터를 결정하는 제1 결정 모듈;
    상기 메인 노드에 상기 목표 공유 엔코더의 업데이트 집함을 리턴하는 제2 리턴 모듈; 및
    상기 메인 노드에 상기 목표 공유 엔코더의 유형에 매칭되는 트레이닝 샘플의 수량을 송신하는 송신 모듈; 을 포함하는,
    것을 특징으로 하는 공유 엔코더 생성 장치.
  18. 제17항에 있어서,
    상기 메인 노드에 의해 리턴된 목표 공유 엔코더의 파라미터 업데이트 규칙을 획득하는 제3 획득 모듈을 더 포함하고;
    상기 제2 리턴 모듈은 구체적으로,
    상기 업데이트 규칙을 만족한다고 결정할 경우, 상기 메인 노드에 상기 목표 공유 엔코더의 업데이트 집합을 리턴하는,
    것을 특징으로 하는 공유 엔코더 생성 장치.
  19. 삭제
  20. 제17항 또는 제18항에 있어서,
    상기 목표 공유 엔코더에 대응하는 사유 엔코더 및 사유 디코더를 결정하는 제2 결정 모듈을 더 포함하는,
    것을 특징으로 하는 공유 엔코더 생성 장치.
  21. 전자 기기에 있어서,
    적어도 하나의 프로세서; 및
    상기 적어도 하나의 프로세서와 통신 가능하게 연결되는 메모리; 를 포함하고,
    상기 메모리에는 상기 적어도 하나의 프로세서에 의해 실행 가능한 명령이 저장되고, 상기 명령이 상기 적어도 하나의 프로세서에 의해 실행될 경우, 상기 적어도 하나의 프로세서가 제1항, 제2항, 제5항, 제6항, 제7항, 제8항 또는 제10항 중 어느 한 항의 방법을 실행하는,
    것을 특징으로 하는 전자 기기.
  22. 컴퓨터 명령이 저장되어 있는 비일시적 컴퓨터 판독 가능 저장 매체에 있어서,
    상기 컴퓨터 명령이 실행될 경우, 제1항, 제2항, 제5항, 제6항, 제7항, 제8항 또는 제10항 중 어느 한 항의 방법이 실행되는,
    것을 특징으로 하는 컴퓨터 명령이 저장되어 있는 비일시적 컴퓨터 판독 가능 저장 매체.
  23. 컴퓨터 판독 가능 매체에 저장되어 있는 컴퓨터 프로그램에 있어서,
    상기 컴퓨터 프로그램중의 명령이 실행될 경우, 제1항, 제2항, 제5항, 제6항, 제7항, 제8항 또는 제10항 중 어느 한 항의 방법이 실행되는,
    것을 특징으로 하는 컴퓨터 판독 가능 저장 매체에 저장된 컴퓨터 프로그램.
KR1020207035376A 2019-11-22 2020-04-07 공유 엔코더 생성 방법, 장치 및 전자 기기 KR102532368B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201911155509.2 2019-11-22
CN201911155509.2A CN110909875B (zh) 2019-11-22 2019-11-22 共享编码器生成方法、装置及电子设备
PCT/CN2020/083551 WO2021098121A1 (zh) 2019-11-22 2020-04-07 共享编码器生成方法、装置及电子设备

Publications (2)

Publication Number Publication Date
KR20210065069A KR20210065069A (ko) 2021-06-03
KR102532368B1 true KR102532368B1 (ko) 2023-05-15

Family

ID=69818726

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020207035376A KR102532368B1 (ko) 2019-11-22 2020-04-07 공유 엔코더 생성 방법, 장치 및 전자 기기

Country Status (6)

Country Link
US (1) US20210209417A1 (ko)
EP (1) EP3855368A4 (ko)
JP (1) JP7159460B2 (ko)
KR (1) KR102532368B1 (ko)
CN (2) CN110909875B (ko)
WO (1) WO2021098121A1 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110909875B (zh) * 2019-11-22 2022-12-23 北京百度网讯科技有限公司 共享编码器生成方法、装置及电子设备
JP6967099B2 (ja) * 2020-03-04 2021-11-17 株式会社日立製作所 学習モデル作成システム及び学習モデル作成方法
CN111477336A (zh) * 2020-04-07 2020-07-31 中南大学 传染病诊断数据的融合方法、系统及存储介质
CN113377797B (zh) * 2021-07-02 2023-03-28 支付宝(杭州)信息技术有限公司 联合更新模型的方法、装置及系统
CN114612015B (zh) * 2022-05-09 2022-08-02 杰创智能科技股份有限公司 共享设备的控制方法、装置、电子设备及存储介质
WO2024031420A1 (en) * 2022-08-10 2024-02-15 Qualcomm Incorporated Remote offline sequential network node encoder training

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107622310A (zh) * 2017-08-30 2018-01-23 第四范式（北京）技术有限公司 用于执行机器学习的分布式系统及其方法
CN109670594A (zh) 2018-12-28 2019-04-23 北京旷视科技有限公司 数据训练方法、装置及电子设备
CN110442457A (zh) * 2019-08-12 2019-11-12 北京大学深圳研究生院 基于联邦学习的模型训练方法、装置及服务器

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8010469B2 (en) * 2000-09-25 2011-08-30 Crossbeam Systems, Inc. Systems and methods for processing data flows
US8849725B2 (en) * 2009-08-10 2014-09-30 Yahoo! Inc. Automatic classification of segmented portions of web pages
CN109472345A (zh) * 2018-09-28 2019-03-15 深圳百诺名医汇网络技术有限公司 一种权重更新方法、装置、计算机设备和存储介质
CN110909875B (zh) * 2019-11-22 2022-12-23 北京百度网讯科技有限公司 共享编码器生成方法、装置及电子设备

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107622310A (zh) * 2017-08-30 2018-01-23 第四范式（北京）技术有限公司 用于执行机器学习的分布式系统及其方法
CN109670594A (zh) 2018-12-28 2019-04-23 北京旷视科技有限公司 数据训练方法、装置及电子设备
CN110442457A (zh) * 2019-08-12 2019-11-12 北京大学深圳研究生院 基于联邦学习的模型训练方法、装置及服务器

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"Multi-objective Evolutionary Federated Learning", arXix.org, 2018.12.18.

Also Published As

Publication number Publication date
JP7159460B2 (ja) 2022-10-24
EP3855368A4 (en) 2022-07-13
US20210209417A1 (en) 2021-07-08
CN115630695A (zh) 2023-01-20
CN110909875A (zh) 2020-03-24
CN110909875B (zh) 2022-12-23
JP2022512053A (ja) 2022-02-02
KR20210065069A (ko) 2021-06-03
EP3855368A1 (en) 2021-07-28
WO2021098121A1 (zh) 2021-05-27

Similar Documents

Publication Publication Date Title
KR102532368B1 (ko) 공유 엔코더 생성 방법, 장치 및 전자 기기
KR102484617B1 (ko) 이종 그래프 노드를 표현하는 모델 생성 방법, 장치, 전자 기기, 저장 매체 및 프로그램
KR102566277B1 (ko) 이미지 편집 모델 구축 방법 및 장치
JP2022180519A (ja) 画像処理方法、画像処理モデルのトレーニング方法、装置及び記憶媒体
KR20220008768A (ko) 다중 모드 사전 훈련 모델 취득 방법, 장치, 전자 기기 및 기록 매체
KR20210036318A (ko) 이벤트 아규먼트 추출 방법, 장치 및 전자 기기
US11995560B2 (en) Method and apparatus for generating vector representation of knowledge graph
JP7395445B2 (ja) 検索データに基づくヒューマンコンピュータ対話型インタラクションの方法、装置及び電子機器
US11368855B2 (en) Network convergence method and device, electronic apparatus, and storage medium
CN110727434B (zh) 渲染方法、装置、电子设备及存储介质
CN111461343B (zh) 模型参数更新方法及其相关设备
CN111695698B (zh) 用于模型蒸馏的方法、装置、电子设备及可读存储介质
CN111695699B (zh) 用于模型蒸馏的方法、装置、电子设备及可读存储介质
CN111241838B (zh) 文本实体的语义关系处理方法、装置及设备
KR20220011065A (ko) 음성 인식 방법 및 장치
CN111680597B (zh) 人脸识别模型处理方法、装置、设备和存储介质
KR20210120919A (ko) 연산자 합병 방법, 장치, 전자 장비, 컴퓨터 판독가능 저장 매체 및 컴퓨터 프로그램
JP2022028889A (ja) 対話生成方法、装置、電子機器及び記憶媒体
KR20220003444A (ko) 옵티마이저 학습 방법, 장치, 전자 기기 및 판독 가능 기록 매체
KR102583112B1 (ko) 이미지를 처리하는 방법, 장치, 전자 기기, 저장 매체 및 프로그램
CN111414765B (zh) 句子一致性的判定方法、装置、电子设备及可读存储介质
JP2022020063A (ja) 対話処理方法、装置、電子機器及び記憶媒体
CN111951788A (zh) 一种语言模型的优化方法、装置、电子设备及存储介质
CN112508830B (zh) 图像处理模型的训练方法、装置、设备及存储介质
JP7372377B2 (ja) 道路情報確定方法及び装置、電子機器、記憶媒体並びにコンピュータプログラム

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant