KR20230105317A - 전역 모델 압축에 의한 통신 효율적인 연합 학습을 위한 방법 및 장치 - Google Patents

전역 모델 압축에 의한 통신 효율적인 연합 학습을 위한 방법 및 장치 Download PDF

Info

Publication number
KR20230105317A
KR20230105317A KR1020220187407A KR20220187407A KR20230105317A KR 20230105317 A KR20230105317 A KR 20230105317A KR 1020220187407 A KR1020220187407 A KR 1020220187407A KR 20220187407 A KR20220187407 A KR 20220187407A KR 20230105317 A KR20230105317 A KR 20230105317A
Authority
KR
South Korea
Prior art keywords
feature map
global model
quantized
reconstructed
updated global
Prior art date
Application number
KR1020220187407A
Other languages
English (en)
Inventor
모스타파 엘-카미
최유진
시지아 왕
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Publication of KR20230105317A publication Critical patent/KR20230105317A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/098—Distributed learning, e.g. federated learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0495—Quantised networks; Sparse networks; Compressed networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/094—Adversarial learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

연합 네트워크에서 사용할 서버 및 방법이 제공된다. 방법은 클라이언트 장치로부터 로컬 업데이트를 수신하는 단계, 수신된 로컬 업데이트에 기초하여 전역 모델을 업데이트하는 단계, 업데이트된 전역 모델을 양자화하는 단계, 수신된 로컬 업데이트에 기반하여 특징 맵을 복원하는 단계, 복원된 특징 맵을 기반으로 양자화된, 업데이트된 전역 모델을 개선하는 단계, 개선된, 양자화된, 업데이트된 전역 모델을 클라이언트 장치로 전송하는 단계를 포함한다.

Description

전역 모델 압축에 의한 통신 효율적인 연합 학습을 위한 방법 및 장치{METHOD AND APPARATUS FOR COMMUNICATION EFFICIENT FEDERATED LEARNING WITH GLOBAL MODEL COMPRESSION}
본 개시는 일반적으로 통신 효율적인 연합 학습의 프레임워크를 제공하는 시스템 및 방법에 관한 것이다.
연합 학습을 통해 여러 조직 또는 장치, 예를 들어, 휴대폰이 장치에서 로컬로 사용 가능한 데이터 업데이트를 활용하여 공유 예측 모델을 공동으로 학습하고, 모든 학습 데이터를 장치에 유지하면서 중간 업데이트가 있는 중앙 서버와 주기적으로만 통신하도록 할 수 있다. 연합 학습은 데이터를 분산된 상태로 유지하면서 기계 학습(ML) 모델을 공동으로 학습하는 것을 목표로 한다.
도 1은 연합 학습의 전형적인 예를 도시한다.
도 1을 참조하면, 단일 연합 학습 통신 라운드는 두 가지 주요 단계를 포함한다. 제1 단계에서는, 클라이언트의 하위 집합은 서버로부터 전역 모델을 다운로드하고, 이를 로컬 데이터세트로 로컬 업데이트한다. 제2 단계에서, 클라이언트는 로컬 업데이트를 서버에 업로드한 다음, 수신된 로컬 업데이터를 집계하여 전역 모델을 업데이트한다.
특히, 연합 학습의 목표는 일반적으로 수학식 1의 다음 목적 함수를 최소화하는 것이다.
Figure pat00001
수학식 1에서, m은 총 장치 수이고, Fk는 k번째 장치 (또는 클라이언트)에 대한 로컬 목적 함수이다. 로컬 목적 함수는 종종 로컬 데이터에 대한 경험적 위험, 즉,
Figure pat00002
으로 정의되고, 여기서 z는 확률 분포가 Pk인 확률 변수이고 손실 함수 Lk는 모델의 성능을 측정하는 데 사용된다. Pk는 데이터 포인트를 생성하기 위한 클라이언트 k의 기본 분포로 간주될 수 있으며 랜덤 변수 z의 실현은 클라이언트 k의 데이터 포인트이다.
통신 효율적인 연합 학습
연합 네트워크는 잠재적으로 엄청난 수의 장치(예를 들어, 수백만 대의 스마트폰)로 구성되며, 이것은 특히 확률적 그래디언트(gradient) 하강법과 같이, 대규모 데이터 세트에서도 학습되는 매우 반복적인 알고리즘을 학습하는 것이 바람직할 때, 데이터 센터의 기존 분산 학습에 비해 대역폭과 배터리 전력이 제한적이다.
일반적으로, 통신 효율적인 연합 학습은 다운링크가 종종 업링크보다 훨씬 빠르기 때문에, 매개 변수 서버에서 클라이언트로 전역 모델의 완벽한 브로드캐스팅을 가정한다. 하지만, 특정 장치는 특히 무선 설정에서 모델 크기가 상대적으로 클 때 전역 모델 업데이트를 수신하기에 충분한 대역폭이 없을 수 있다. 이로 인해 이들 장치가 지속적으로 제외되게 되고, 결과적으로 상당한 성능 손실이 발생할 수 있다.
또한 업로드 방향, 즉 장치에서 서버로의 방향에서의 양자화의 영향은 서버에서의 로컬 업데이트를 평균화하는 영향으로 인해 덜 심각하다.
따라서, 본 개시는 전술한 문제점 및/또는 단점을 적어도 해결하고 이하에 기술하는 이점 중 적어도 일부를 제공하기 위해 제공된다.
본 개시의 일 측면은 통신 효율적인 연합 학습의 새로운 프레임워크를 제공하는 것이다.
본 개시의 또 다른 측면은 전역 모델의 압축 (예를 들어, 양자화)으로 다운링크 통신 비용을 줄이기 위한 시스템 및 방법을 제공하는 것이다.
본 발명의 또 다른 측면은 서버에 학습 데이터가 없기 때문에, 로컬 업데이트, 예를 들어 그래디언트로부터 서버에 특징 맵을 복원하기 위한 시스템 및 방법을 제공하는 것이다.
본 발명의 또 다른 측면은 압축 손실을 줄이기 위해 서버에서 복원된 특징 맵에 의한 양자화 편향 보정을 수행하기 위한 시스템 및 방법을 제공하는 것이다.
본 발명의 또 다른 측면은 압축 손실을 줄이기 위해 서버에서 복원된 특징 맵에 의한 양자화 인식 학습을 수행하기 위한 시스템 및 방법을 제공하는 것이다.
본 발명의 또 다른 측면은 전역 모델의 성능을 개선하기 위해 서버에서 복원된 특징 맵과 특징 맵 혼합을 수행하기 위한 시스템 및 방법을 제공하는 것이다.
본 개시의 일 측면에 따르면, 방법은 연합 네트워크에서 사용할 서버 및 방법이 제공된다. 방법은 클라이언트 장치로부터 로컬 업데이트를 수신하는 단계; 상기 수신된 로컬 업데이트에 기초하여 전역 모델을 업데이트하는 단계; 상기 업데이트된 전역 모델을 양자화하는 단계; 상기 수신된 로컬 업데이트에 기반하여 특징 맵을 복원하는 단계; 상기 복원된 특징 맵을 기반으로 상기 양자화된, 업데이트된 전역 모델을 개선하는 단계; 및 상기 개선된, 양자화된, 업데이트된 전역 모델을 상기 클라이언트 장치로 전송하는 단계를 포함한다.
본 개시의 다른 측면에 따르면, 연합 네트워크에서 사용하기 위한 서버가 제공되다. 상기 서버는: 트랜시버; 및 상기 트랜시버를 통해 클라이언트 장치로부터 로컬 업데이트를 수신하고, 상기 수신된 로컬 업데이트를 기반으로 전역 모델을 업데이트하고, 상기 업데이트된 전역 모델을 양자화하고, 상기 수신된 로컬 업데이트를 기반으로 특징 맵을 복원하고, 상기 복원된 특징 맵을 기반으로, 상기 양자화된, 업데이트된 전역 모델을 개선하고, 상기 트랜시버를 통해, 상기 개선된, 양자화된, 업데이트된 전역 모델을 상기 클라이언트 장치로 전송하도록 구성되는 프로세서를 포함한다.
본 발명의 특정 실시 예의 상기 및 다른 측면, 특징 및 이점은 첨부된 도면과 함께 취해진 다음의 상세한 설명으로부터 더욱 명백해질 것이다:
도 1은 연합 학습의 전형적인 예를 도시한다.
도 2는 관찰되지 않은 지상 실측으로 모델 예측에서 유사한 변화를 일으키는 이미지를 찾는 예를 도시한다.
도 3은 일실시 예에 따른, 서버에서 클라이언트로 양자화된 전역 모델 업데이트를 제공하는 방법을 도시하는 흐름도이다.
도 4는 일 실시 예에 따른, 양자화된 전역 모델 업데이트를 개선하는 방법을 도시하는 흐름도이다.
도 5는 일 실시 예에 따른, 양자화된 전역 모델 업데이트를 개선하는 방법을 도시하는 흐름도이다.
도 6은 일 실시 예에 따른, 양자화된 전역 모델 업데이트를 개선하는 방법을 도시하는 흐름도이다.
도 7은 일 실시 예에 따른, 양자화된 전역 모델 업데이트를 개선하는 방법을 도시하는 흐름도이다; 및
도 8은 다양한 실시 예에 따른 네트워크 환경의 전자 장치를 도시한다.
이하, 첨부된 도면을 참조하여 본 발명의 실시 예를 상세히 설명한다. 동일한 구성요소에 대해서는 다른 도면으로 나타내더라도 동일한 참조부호로 나타낸다는 것에 유의하여야 한다. 이하의 설명에서, 구체적인 구성 및 구성 요소와 같은 구체적인 사항은 단지 본 발명의 실시 예에 대한 전체적인 이해를 돕기 위해 제공되는 것일 뿐이다. 따라서, 당업자라면 본 발명의 범위를 벗어나지 않으면서 본 명세서에 기재된 실시 예에 대한 다양한 변경 및 수정이 가능하다는 것이 자명할 것이다. 또한, 명료함과 간결함을 위해 잘 알려진 기능 및 구성에 대한 설명은 생략한다. 후술되는 용어는 본 발명의 기능을 고려하여 정의된 것으로, 사용자, 사용자의 의도 또는 관습에 따라 달라질 수 있다. 따라서, 용어의 정의는 본 명세서 전반에 걸친 내용을 토대로 정해야 한다.
본 개시는 다양한 변형 및 다양한 실시 예를 가질 수 있으며, 그 중 실시 예는 첨부된 도면을 참조하여 후술한다. 그러나, 본 개시는 실시 예에 한정되지 않고, 본 개시의 범위 내의 모든 변형, 균등물 및 대안을 포함한다는 것이 이해되어야 한다.
제1, 제2 등의 서수를 포함하는 용어는 다양한 구성요소를 설명하는데 사용될 수 있지만, 구조적 요소는 용어에 의해 제한되지 않는다. 용어는 한 요소를 다른 요소와 구별하는 데만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구조적 요소는 제2 구조적 요소로 명명될 수 있다. 유사하게, 제2 구조적 요소는 또한 제1 구조적 요소로 지칭될 수 있다. 본 명세서에 사용된 바와 같이, "및/또는"이라는 용어는 하나 이상의 연관된 항목의 임의의 및 모든 조합을 포함한다.
본 명세서에서 사용한 용어는 단지 본 발명의 다양한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 것은 아니다. 단수형은 문맥상 명백하게 달리 지시하지 않는 한 복수형을 포함하도록 의도된다. 본 명세서에서, "포함하다" 또는 "갖다"라는 용어는 특징, 숫자, 단계, 동작, 구조적 요소, 부품 또는 이들의 조합의 존재를 나타내는 것으로 이해되어야 하며, 하나 이상의 다른 특징, 숫자, 단계, 동작, 구조적 요소, 부품 또는 이들의 조합이 추가될 가능성 또는 존재를 배제하지 않는다.
다르게 정의되지 않는 한, 본 명세서에서 사용되는 모든 용어는 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 이해하는 것과 동일한 의미를 갖는다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어는 해당 분야의 문맥상 의미와 동일한 의미로 해석되어야 하며, 본 명세서에서 명확하게 정의하지 않는 한 이상적이거나 지나치게 형식적인 의미로 해석되어서는 안 된다.
일 실시 예에 따른 전자 장치는 다양한 형태의 전자 장치 중 하나일 수 있다. 전자 장치는, 예를 들면, 휴대용 통신 장치(예: 스마트 폰), 컴퓨터, 휴대용 멀티미디어 장치, 휴대용 의료 장치, 카메라, 웨어러블 장치 또는 가전 제품을 포함할 수 있다. 본 발명의 일 실시 예에 따르면, 전자 장치는 상술한 것들에 한정되지 않는다.
본 개시에서 사용된 용어는 본 개시를 한정하는 것은 아니고, 해당 실시 예에 대한 다양한 변경, 균등물 또는 대체물을 포함하고자 하는 것이다. 첨부된 도면의 설명과 관련하여, 유사하거나 관련된 구성요소에 대해서는 유사한 참조번호를 사용할 수 있다. 항목에 해당하는 명사의 단수형은 관련 문맥에서 명확하게 다르게 지시하지 않는 한, 사물 중 하나 이상을 포함할 수 있다. 본 명세서에 사용된 바와 같이, "A 또는 B", "A와 B 중 적어도 하나", "A 또는 B 중 적어도 하나", "A, B 또는 C", "A, B 또는 C 중 적어도 하나", 및 "A, B 또는 C 중 적어도 하나"와 같은 구문 각각은 대응하는 구문에서 함께 열거된 항목의 가능한 모든 조합을 포함할 수 있다. 본 명세서에서 사용된 바와 같이, "제1", "제2", "제1" 및 "제2"와 같은 용어는 해당 구성 요소를 다른 구성 요소와 구별하기 위해 사용될 수 있지만, 다른 측면(예: 중요도 또는 순서)의 구성 요소를 제한하는 것은 아니다. 요소(예: 제1 요소)가 "작동적으로" 또는 "통신적으로"라는 용어와 함께, 다른 요소(예: 제2 요소) "에 연결된", "와 연결된", "에 결합된" 또는 "와 결합된" 것으로 언급되는 경우, 이는 요소가 다른 요소와 직접(예: 유선), 무선으로 또는 제3 요소를 통해 결합될 수 있는 것을 나타낸다.
본 문서에서 사용되는 바와 같이, 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구현된 단위를 포함할 수 있으며, 다른 용어, 예를 들면, "로직", "로직 블록", "부품", "회로" 등과 상호교환 가능하게 이용될 수 있다. 모듈은 하나 이상의 기능을 수행하도록 구성된 단일 통합 구성 요소 또는 최소 단위 또는 그 일부일 수 있다. 예를 들어, 일 실시 예에 따르면, 모듈은 용도 특정 집적 회로(ASIC)의 형태로 구현될 수 있다. 본 명세서에서는 통신 효율적인 연합 학습을 위한 프레임워크가 개시된다. 프레임워크는 매개변수 서버에서 클라이언트로 전송하기 전에 전역 모델의 압축을 허용하고, 이에 따라 모델의 크기가 특히 클 때 다운링크 전송 비용을 줄일 수 있다. 연합 학습 설정에서 매개 변수 서버는 원본 학습 데이터의 저장을 허용하지 않기 때문에, 사용 가능한 데이터가 없어 압축 성능이 낮을 수 있다. 프레임워크를 사용하면 서버가 원래 데이터 세트의 특징 맵을 복원할 수 있으므로, 이들은 모델 압축 과정에서 사용될 수 있다.
본 발명의 일 실시 예에 따르면, 통신 효율적인 연합 학습의 새로운 프레임워크가 제공된다. 서버에 학습 데이터가 없기 때문에, 특징 맵은 로컬 업데이트(예: 로컬 그래디언트)로부터 서버에서 복원된다. 더 나아가, 전역 모델 학습 및 양자화 오류 보정에서 복원된 특징 맵을 사용하기 위한 다양한 방법이 제공되며, 이는 복원된 특징 맵으로 복원된 특징 맵 혼합 및 양자화 편향 보상이 된다. 이러한 접근 방식은 서버에서 클라이언트로의 전역 모델 압축이 수행될 때 전역 모델 성능을 더욱 향상시키고 보존하게 된다.
도 3은 일 실시 예에 따른, 서버에서 클라이언트로 압축된 전역 모델 업데이트를 증명하는 방법을 나타내는 흐름도이다.
도 3을 참조하면, 단계 301에서, 서버는 클라이언트 장치로부터 로컬 업데이트를 수신한다. 예를 들어, 로컬 그래디언트는 로컬 데이터를 기반으로 클라이언트 장치에서 계산된 다음에, 집계 및 전역 모델 업데이트를 위해 서버로 전송되는 ML 모델의 그래디언트를 포함할 수 있다.
단계 302에서, 서버는 수신된 로컬 그래디언트에 기초하여 전역 모델을 업데이트한다.
단계 303에서, 서버는 업데이트된 전역 모델을 양자화(예: 압축)한다.
단계 304에서, 서버는 예를 들어 로컬 그래디언트를 반전함으로써 수신된 로컬 그래디언트에 기초하여 특징 맵을 복원한다.
학습된 매개변수와 학습되지 않은 매개변수를 모두 사용하여 사실적인 깊고 매끄럽지 않은 아키텍처에 대해 그래디언트 정보로에서 입력 데이터를 복원할 수 있다.
이전 복원 알고리즘은 일반적으로 두 가지 구성 요소에 의존한다: (1) 유클리드 비용 함수 및 (2) 제한된 메모리 Broyden-Fletcher-Goldfarb-Shanno 알고리즘(L-BFGS)을 통한 최적화. 그러나 이러한 선택이 보다 현실적인 아키텍처에 대해서 반드시 최적인 것은 아니다: 특히, 임의 매개변수 벡터.
매개변수 그래디언트가 표준 크기와 방향으로 분해되면, 크기는 학습 상태에 대한 정보만 캡처하여, 현재 모델과 관련하여 데이터 포인트의 로컬 최적성을 측정한다. 대조적으로, 그래디언트의 고차원 방향은, 두 데이터 포인트 사이의 각도가 하나의 데이터 포인트에서 다른 것을 향해 그래디언트 단계를 수행할 때 예측의 변화를 정량화하기 때문에, 중요한 정보를 전달할 수 있다. 이와 같이, 비용 함수는 각도, 즉 코사인 유사도,
Figure pat00003
에 기초하여 사용될 수 있다. 목표는 모델 예측에서 (관찰되지 않은) 지상 실측과 유사한 변화를 일으키는 이미지를 찾는 것이다. 이것은 두 그래디언트 벡터가 1의 크기로 정규화되도록 추가로 제한되는 경우, 유클리드 비용 함수를 최소화하는 것과 동일할 수 있다.
검색 공간은 또한 [0,1] 내의 이미지로 제한될 수 있으며 수학식 2에서 나타낸 전체 문제 이전에 간단한 이미지로 전체 변형만 추가할 수 있다:
Figure pat00004
수학식 2에서, x는 입력 이미지이고, y는 입력 x에 대한 지상 실측 레이블이고,
Figure pat00005
는 θ가 연합 네트워크의 매개변수를 나타내는 전송 그래디언트이고, L은 손실 함수를 나타내고, α는 총 변동에 대한 가중치를 결정하는, 0보다 큰 하이퍼 매개변수이며, TV(x)는 x의 전체 변동이다.
중간 레이어의 출력에 (간접적으로 그래디언트를 통해) 의존하는 양을 최소화하여 주어진 간격에서 일부 입력 x를 찾는 목표는 신경망에 대한 적대적 섭동을 찾는 작업과 관련이 있다. 이와 같이, 수학식 2는 그 그래디언트의 부호에 기초하여 최소화될 수 있으며, 이는 도 2에 도시된 바와 같이 단계 크기 감소와 함께 적응 모멘텀 추정(Adam)과 같은 적응 알고리즘으로 최적화될 수 있다. 부호 있는 그래디언트는 Adam의 1차 및 2차 모멘텀에만 영향을 미치고, 실제 업데이트 단계는 누적 모멘텀을 기반으로 여전히 부호가 없지만, 이미지는 여전히 정확하게 복구될 수 있다.
실시 예에 따르면, 입력 특징 맵은 다음과 같이 수학식 3을 사용하여 각 레이어에서 복원될 수 있다.
fl을 레이어 l의 입력 특징 맵이라고 한다. 제1 레이어(l=1)의 경우, f1=x는 네트워크에 대한 입력 이미지이다. y를 입력 x에 대한 지상 실측 레이블(ground-truth label)이라고 한다. 지상 실측 레이블 y는 그래디언트에서 예측할 수 있다.
위의 수학식 2 대신에, 각 레이어의 입력 특징 맵은 수학식 3으로부터 복원된다:
Figure pat00006
단계 305에서, 서버는 복원된 특징 맵을 기반으로 양자화되고 업데이트된 전역 모델을 개선한다. 예를 들어, 복원된 특징 맵은 양자화 편향 보상 및/또는 이하설명되는 압축 전역 모델의 양자화 인식 학습을 위해 사용될 수 있다.
단계 306에서, 서버는 개선되고 양자화된 업데이트된 전역 모델을 클라이언트에게 전송한다.
도 3의 방법이 로컬 업데이트의 예로서 로컬 그래디언트를 참조하여 상술되었지만, 본 개시는 이에 제한되지 않는다. 예를 들어, 로컬 업데이트는 로컬 모델의 학습된 가중치, 로컬 모델의 학습 그래디언트, 로컬 모델의 특징 맵, 해당 파생 정보 등을 포함할 수 있다.
도 4는 일 실시 예에 따른, 양자화된 전역 모델 업데이트를 개선하는 방법을 나타내는 흐름도이다.
도 4를 참조하면, 단계 401에서, 서버는 복원된 특징 맵의 혼합을 수행한다. 예를 들어, 한 쌍의 특징 맵 f1 및 f2에 대해, 이들은 수학식 4에 나타낸 바와 같이 혼합 가중치 λ와 혼합될 수 있다:
Figure pat00007
이후, 혼합된 특징 맵 f를 사용할 수 있다. 혼합 매개변수 λ는 다음과 같이 수학식 5에 정의된 베타 분포 β로부터 난수로 생성될 수 있다:
Figure pat00008
해당하는 원-핫 인코딩 레이블 벡터 y1 및 y2은 또한 수학식 6에서와 동일한 혼합 가중치 λ와 혼합된다.
Figure pat00009
단계 402에서, 서버는 양자화 인식 학습을 수행한다. 즉, 전역 모델의 가중치는 혼합 특징 맵 f(λ) 및 혼합 레이블 벡터 y(λ)를 사용하여 정의된 교차 엔트로피 손실을 최소화하여 학습될 수 있다. 양자화 인식 학습의 경우, 계층 l에서 복원된 특징 맵이 주어지면, 상위 계층의 가중치는 양자화 인식 학습에 의해 미세 조정된다.
단계 403에서, 상기 서버는 양자화 편향 보상(또는 보정)을 수행한다.
더 구체적으로, 도 3의 단계 303에서 전역 가중치에 대한 양자화 오류는 해당 출력에 편향 오류를 유도할 수 있다. 이로 인해 다음 레이어의 입력 분포가 이동하여 예기치 않은 효과가 발생할 수 있다. 따라서, 이 편향 오류를 수정하기 위해, 양자화 편향은 다음과 같이 혼합된 복원된 특징 맵으로 단계 403에서 보상될 수 있다.
Wl 및
Figure pat00010
를 각각 원래 부동 소수점 가중치 및 양자화된 가중치라고 하고 fl을 레이어 l에 대한 입력 특징 맵이라고 한다. 양자화된 네트워크의 경우,
Figure pat00011
이고, 여기서 *는 컨볼루션 레이어 l에 대한 컨볼루션을 나타낸다. 레이어 l에서의 양자화 오류는 수학식 7과 같이 정의된다:
Figure pat00012
수학식 7에서,
Figure pat00013
는 특징 맵 fl에 대한 묵시적 기대치를 나타낸다.
크기 Hl×Wl×Cl의 출력 특징 맵에 대한 높이 h, 너비 w 및 채널 c에서의 양자화 오류를
Figure pat00014
라고 하면, 평균 양자화 오류는 수학식 8에서 각 출력 채널 c에 대해 계산될 수 있다.
Figure pat00015
양자화 편향(즉, 양자화 오류)은 수학식 9에 의해 보상될 수 있다.
Figure pat00016
도 5는 일실시 예에 따라 양자화된 전역 모델 업데이트를 개선하는 방법을 나타내는 흐름도이다.
도 5를 참조하면, 본 방법은 서버가 복원된 특징 맵의 혼합을 수행하지 않는 것을 제외하고, 도 4의 방법과 유사하다. 이와 같이, 상기 서버는 도 4에서와 같이, 혼합된 복원된 특징 맵을 기반으로 하는 대신에, 단계 501의 양자화 인식 학습, 및 도 3의 단계 304에서 생성된 원래의 복원된 특징 맵에 기초하는 단계 502의 양자화 편향 보상을 수행한다.
도 6은 일 실시 예에 따른, 양자화된 전역 모델 업데이트를 개선하는 방법을 도시하는 흐름도이다.
도 6을 참조하면, 본 방법은 서버가 양자화 편향 보상을 수행하지 않는다는 점을 제외하고, 도 4의 방법과 유사하다. 이와 같이, 서버는 단계 601에서 복원된 특징 맵의 혼합을 수행하고, 단계 602에서 양자화 인식 학습을 수행한다.
도 7은 일 실시 예에 따른, 양자화된 전역 모델 업데이트를 개선하는 방법을 도시하는 흐름도이다.
도 7을 참조하면, 본 방법은 서버가 양자화 인식 학습을 수행하지 않는 것을 제외하고, 도 4의 방법과 유사하다. 이와 같이 서버는 단계 701에서 복원된 특징 맵의 혼합을 수행하고, 단계 702에서 양자화 편향 보상을 수행한다.
도 4 내지 도 7은 양자화 편향 보정, 복원된 특징 맵의 혼합 및 양자화 인식 학습의 다양한 조합을 수행하는 서버를 예시하지만, 본 개시는 이에 제한되지 않는다. 대안으로서, 서버는 양자화 편향 보정, 복원된 특징 맵의 혼합 및 양자화 인식 학습 중 하나만을 사용하여 양자화된 전역 모델 업데이트를 개선할 수 있다.
도 8은 일 실시 예에 따른, 네트워크 환경의 전자 장치를 도시한다.
도 8을 참조하여, 네트워크 환경(800)에서, 전자 장치(801), 예를 들어, GPS 기능을 포함하는 이동 단말은 제 1 네트워크(898)(예를 들어, 장거리 무선 통신 네트워크)를 통해 전자 장치(802) 또는 제 2 네트워크(899)(예를 들어, 근거리 무선 통신 네트워크)를 통해 전자 장치(804) 또는 서버(808)와 통신할 수 있다. 전자 장치(801)는 서버(808)를 통해 전자 장치(804)와 통신할 수 있다. 전자 장치(801)는 서버(808)를 통해 전자 장치(804)와 통신할 수 있다. 전자 장치(801)는 프로세서(820), 메모리(830), 입력 장치(850), 음향 출력 장치(855), 디스플레이 장치(860), 오디오 모듈(870), 센서 모듈(876), 인터페이스(877), 햅틱 모듈(879), 카메라 모듈(880), 전력 관리 모듈(888), 배터리(889), 통신 모듈(890), 가입자 식별 모듈(SIM)(896) 또는 GNSS 안테나를 포함하는 안테나 모듈(897)를 포함한다. 일 실시 예에서, 구성 요소 중 적어도 하나(예를 들어, 디스플레이 장치(860) 또는 카메라 모듈(880))는 전자 장치(801)에서 생략되거나, 하나 이상의 다른 구성 요소는 전자 장치(801)에 추가될 수 있다. 일 실시 예에서, 구성 요소 중 일부는 단일 집적 회로(IC)로 구현될 수 있다. 예를 들어, 센서 모듈(876)(예를 들어, 지문 센서, 홍채 센서 또는 조도 센서)은 디스플레이 장치(860)(예를 들어, 디스플레이)에 내장될 수 있다.
프로세서(820)는 예를 들어, 소프트웨어(예를 들어, 프로그램(840))를 실행하여 프로세서(820)과 연결된 전자 장치(801)의 적어도 하나의 다른 구성 요소(예를 들어, 하드웨어 또는 소프트웨어 구성 요소)를 제어할 수 있으며, 다양한 데이터 처리 또는 계산을 수행할 수 있다. 데이터 처리 또는 계산의 적어도 일부로서, 프로세서(820)는 휘발성 메모리(832)의 다른 구성 요소(예를 들어, 센서 모듈(876) 또는 통신 모듈(890))로부터 수신된 명령 또는 데이터를 로드할 수 있으며, 휘발성 메모리(832)에 저장된 명령 또는 데이터를 처리하고, 결과 데이터를 비 휘발성 메모리(834)에 저장한다. 프로세서(820)는 메인 프로세서(821)(예를 들어, 중앙 처리 장치(CPU) 또는 애플리케이션 프로세서(AP)), 및 메인 프로세서(821)와 독립적으로 또는 함께 동작할 수 있는 보조 프로세서(823)(예를 들어, 그래픽 처리 장치(GPU), 이미지 신호 프로세서(ISP)), 센서 허브 프로세서 또는 통신 프로세서(CP))를 포함할 수 있다. 추가적으로 또는 대안적으로, 보조 프로세서(823)는 메인 프로세서(821)보다 적은 전력을 소비하거나 특정 기능을 실행하도록 구성될 수 있다. 보조 프로세서(823)는 메인 프로세서(821)와 별개로 구현될 수도 있고, 그 일부로 구현될 수도 있다.
보조 프로세서(823)는 메인 프로세서(821)가 비활성(예를 들어, 슬립) 상태에 있는 동안 메인 프로세서(821) 대신에, 또는 메인 프로세서(821)가 활성 상태(예를 들어, 애플리케이션 실행중)에 있는 동안 메인 프로세서(821)와 함께, 전자 장치(801)의 구성 요소 중 적어도 하나의 구성 요소(예를 들어, 디스플레이 장치(860), 센서 모듈(876) 또는 통신 모듈(890))와 관련된 기능 또는 상태 중 적어도 일부를 제어할 수 있다. 일 실시 예에 따르면, 보조 프로세서(812)(예를 들어, 이미지 신호 프로세서 또는 통신 프로세서)는 보조 프로세서(812)와 기능적으로 관련된 다른 구성 요소(예를 들어, 카메라 모듈(880) 또는 통신 모듈(890))의 일부로 구현될 수 있다.
메모리(830)는 전자 장치(801)의 적어도 하나의 구성 요소(예를 들어, 프로세서(820) 또는 센서 모듈(876))에 의해 사용되는 다양한 데이터를 저장할 수 있다. 다양한 데이터는 예를 들어, 소프트웨어(예를 들어, 프로그램(840)) 및 이와 관련된 명령에 대한 입력 데이터 또는 출력 데이터를 포함할 수 있다. 메모리(830)는 휘발성 메모리(832) 또는 비휘발성 메모리(834)를 포함할 수 있다.
프로그램(840)은 소프트웨어로서 메모리(830)에 저장될 수 있으며, 예를 들어, 운영 체제(OS)(842), 미들웨어(844) 또는 애플리케이션(846)을 포함할 수 있다.
입력 장치(850)는 전자 장치(801)의 외부(예를 들어, 사용자)로부터 전자 장치(801)의 다른 구성 요소(예를 들어, 프로세서(820))에 의해 사용될 명령 또는 데이터를 수신할 수 있다. 입력 장치(850)는 예를 들어, 마이크, 마우스 또는 키보드를 포함할 수 있다.
음향 출력 장치(855)는 전자 장치(801)의 외부로 음향 신호를 출력할 수 있다. 음향 출력 장치(855)는 예를 들어, 스피커 또는 리시버를 포함할 수 있다. 스피커는 멀티미디어 재생 또는 녹음과 같은 일반적인 용도로 사용될 수 있으며, 수신기는 수신 전화를 수신하는 데 사용될 수 있다. 일 실시 예에 따르면, 수신기는 스피커와 분리되거나 스피커의 일부로 구현될 수 있다.
디스플레이 장치(860)는 전자 장치(801)의 외부(예를 들어, 사용자)에게 시각적으로 정보를 제공할 수 있다. 디스플레이 장치(860)는, 예를 들어, 디스플레이, 홀로그램 장치 또는 프로젝터 및 제어 회로를 포함하여 디스플레이, 홀로그램 장치 및 프로젝터 중 대응하는 것을 제어할 수 있다. 일 실시 예에 따르면, 디스플레이 장치(860)는 터치를 탐지하도록 구성된 터치 회로, 또는 터치에 의해 발생하는 힘의 강도를 측정하도록 구성된 센서 회로(예를 들어, 압력 센서)를 포함할 수 있다.
오디오 모듈(870)은 소리를 전기적 신호로 변환하거나 그 반대로 변환할 수 있다. 일 실시 예에 따르면, 오디오 모듈(870)은 입력 장치(850)을 통해 사운드를 획득하거나, 사운드를 음향 출력 장치(855) 또는 외부 전자 장치(802)의 헤드폰을 통해 전자 장치(801)와 직접(예를 들어, 유선으로) 또는 무선으로 출력한다.
센서 모듈(876)은 전자 장치(801)의 동작 상태(예를 들어, 전원 또는 온도) 또는 전자 장치(801) 외부의 환경 상태(예를 들어, 사용자의 상태)를 탐지하고, 다음에 탐지된 상태에 대응하는 전기 신호 또는 데이터 값을 생성한다. 센서 모듈(876)은, 예를 들어 제스처 센서, 자이로 센서, 대기압 센서, 자기 센서, 가속도 센서, 그립 센서, 근접 센서, 컬러 센서, 적외선(IR) 센서, 생체 인식 센서, 온도 센서, 습도 센서 또는 조도 센서일 수 있다.
인터페이스(877)는 전자 장치(801)가 외부 전자 장치(802)와 직접(예를 들어, 유선으로) 또는 무선으로 연결되는 데 사용될 하나 이상의 지정된 프로토콜을 지원할 수 있다. 일 실시 예에 따르면, 인터페이스(877)는 예를 들어, 고 해상도 멀티미디어 인터페이스(HDMI), 범용 직렬 버스(USB) 인터페이스, 시큐어 디지털(SD) 카드 인터페이스, 또는 오디오 인터페이스를 포함할 수 있다.
연결 단자(878)는 전자 장치(801)가 외부 전자 장치(802)와 물리적으로 연결될 수 있는 커넥터를 포함할 수 있다. 일 실시 예에 따르면, 연결 단자(878)는 예를 들어, HDMI 커넥터, USB 커넥터, SD 카드 커넥터 또는 오디오 커넥터(예를 들어, 헤드폰 커넥터)를 포함할 수 있다.
햅틱 모듈(879)은 전기적 신호를 기계적 자극(예를 들어, 진동 또는 움직임) 또는 촉감 또는 운동 감각을 통해 사용자가 인식할 수 있는 전기적 자극으로 변환할 수 있다. 일 실시 예에 따르면, 햅틱 모듈(879)은 예를 들어, 모터, 압전 소자 또는 전기 자극기를 포함할 수 있다.
카메라 모듈(880)은 정지 영상 또는 동영상을 촬영할 수 있다. 일 실시 예에 따르면, 카메라 모듈(880)은 하나 이상의 렌즈, 이미지 센서, ISP 또는 플래시를 포함할 수 있다.
전력 관리 모듈(888)은 전자 장치(801)에 공급되는 전력을 관리할 수 있다. 전력 관리 모듈(888)은 예를 들어, 전력 관리 집적 회로(PMIC)의 적어도 일부로 구현될 수 있다.
배터리(889)는 전자 장치(801)의 적어도 하나의 구성 요소에 전원을 공급할 수 있다. 일 실시 예에 따르면, 배터리(889)는 예를 들어, 충전이 불가능한 1 차 전지, 충전 가능한 2 차 전지 또는 연료 전지를 포함할 수 있다.
통신 모듈(890)은 전자 장치(801)과 외부 전자 장치(예를 들어, 전자 장치(802), 전자 장치(804) 또는 서버(808)) 간의 직접적인(예를 들어, 유선) 통신 채널 또는 무선 통신 채널 설정을 지원하고, 설정된 통신 채널을 통해 통신을 수행하는 것을 지원할 수 있다. 통신 모듈(890)은 프로세서(820)(예를 들어, AP)와 독립적으로 동작할 수 있는 하나 이상의 CP를 포함할 수 있으며, 직접(예를 들어, 유선) 통신 또는 무선 통신을 지원한다. 일 실시 예에 따르면, 통신 모듈(890)은 무선 통신 모듈(892)(예를 들어, 셀룰러 통신 모듈, 근거리 무선 통신 모듈 또는 전역 위성 항법 시스템(GNSS) 통신 모듈) 또는 유선 통신 모듈(894)(예를 들어, 근거리 통신망(LAN) 통신 모듈 또는 전력선 통신(PLC) 모듈)를 포함할 수 있다. 이러한 통신 모듈 중 해당하는 모듈은 제 1 네트워크(898)(예를 들어, Bluetooth®, 무선 피델리티(Wi-Fi) 다이렉트, 또는 적외선 데이터 협회(IrDA) 표준과 같은 단거리 통신 네트워크) 또는 제 2 네트워크(899)(예를 들어, 셀룰러 네트워크, 인터넷, 또는 컴퓨터 네트워크(예를 들어, LAN 또는 광역 네트워크(WAN))와 같은 장거리 통신 네트워크)를 통해 외부 전자 장치와 통신할 수 있다. Bluetooth®는 워싱턴 커클랜드 소재의 Bluetooth SIG, Inc.의 등록 상표이다. 이러한 다양한 유형의 통신 모듈은 단일 구성 요소(예를 들어, 단일 IC)로 구현될 수 있으며, 서로 분리된 여러 구성 요소(예를 들어, 다수의 IC)로 구현될 수 있다. 무선 통신 모듈(892)는 가입자 식별 모듈(896)에 저장된 가입자 정보(예를 들어, 국제 모바일 가입자 식별자(IMSI))를 사용하여, 제 1 네트워크(898) 또는 제 2 네트워크(899)와 같은 통신 네트워크에서 전자 장치(801)를 식별하고 인증할 수 있다.
안테나 모듈(897)은 전자 장치(801)의 외부(예를 들어, 외부 전자 장치)와 신호 또는 전원을 송수신할 수 있다. 안테나 모듈(897)은 하나 이상의 안테나를 포함할 수 있으며, 이중에서, 제 1 네트워크(898) 또는 제 2 네트워크(899)와 같은 통신 네트워크에서 사용되는 통신 방식에 적합한 적어도 하나의 안테나를 통신 모듈(890)(예를 들어, 무선 통신 모듈(892))에 의해 선택할 수 있다. 그러면 선택된 적어도 하나의 안테나를 통해 통신 모듈(890)과 외부 전자 장치간에 신호 또는 전력이 송수신될 수 있다.
상기 설명한 구성 요소 중 적어도 일부는 주변 장치 간 통신 방식(예를 들어, 버스, 범용 입력 및 출력(GPIO), 직렬 주변 장치 인터페이스(SPI) 또는 모바일 산업 프로세서 인터페이스(MIPI))를 통해 상호 결합되어 그 사이에서 신호(예를 들어, 명령 또는 데이터)를 통신할 수 있다.
일 실시 예에 따르면, 명령 또는 데이터는 제 2 네트워크(899)와 결합된 서버(808)를 통해 전자 장치(801)와 외부 전자 장치(804) 사이에서 송수신될 수 있다. 각각의 전자 장치(802, 804)는 전자 장치(801)와 동일한 유형 또는 이와 다른 유형의 장치일 수 있다. 전자 장치(801)에서 실행될 동작의 전부 또는 일부는 외부 전자 장치(802, 804, 808) 중 하나 이상에서 실행될 수 있다. 예를 들어, 전자 장치(801)가 자동으로 또는 사용자 또는 다른 장치의 요청에 따라, 기능 또는 서비스를 수행해야 하는 경우, 전자 장치(801)는 기능 또는 서비스를 실행하는 대신에, 또는 그에 추가하여, 하나 이상의 외부 전자 장치에 기능 또는 서비스의 적어도 일부를 수행하도록 요청할 수 있다. 요청을 수신한 하나 이상의 외부 전자 장치는 요청된 기능 또는 서비스의 적어도 일부, 또는 요청과 관련된 추가 기능 또는 추가 서비스를 수행할 수 있으며, 수행의 결과를 전자 장치(801)로 전달한다. 전자 장치(801)는 결과를, 요청에 대한 응답의 적어도 일부로서, 결과의 추가 처리를 포함하거나 포함하지 않고 제공할 수 있다. 이를 위해, 예를 들어 클라우드 컴퓨팅, 분산 컴퓨팅 또는 클라이언트-서버 컴퓨팅 기술이 사용될 수 있다.
일 실시 예는 기계(예를 들어, 전자 장치(801))에 의해 판독 가능한 저장 매체(예를 들어, 내부 메모리(836) 또는 외부 메모리(838))에 저장된 하나 이상의 명령을 포함하는 소프트웨어(예를 들어, 프로그램(840))로 구현될 수 있다. 예를 들어, 전자 장치(8(8(8프로세서는 저장 매체에 저장된 하나 이상의 명령어 중 적어도 하나를 호출하여, 이것을 프로세서의 제어하에서 하나 이상의 다른 구성 요소를 사용하거나 사용하지 않고 실행할 수 있다. 따라서, 호출된 적어도 하나의 명령에 따라 적어도 하나의 기능을 수행하도록 기계가 작동될 수 있다. 하나 이상의 명령어는 컴파일러에 의해 생성된 코드 또는 인터프리터에 의해 실행 가능한 코드를 포함할 수 있다. 기계 판독 가능 저장 매체는 비일시적 저장 매체의 형태로 제공될 수 있다. 용어 "비일시적"은 저장 매체가 유형의 장치이며, 신호(예를 들어, 전자파)를 포함하지 않음을 나타내지만, 이 용어는 데이터가 저장 매체에 반영구적으로 저장되는 위치와 데이터가 저장 매체에 일시적으로 저장되는 위치를 구별하지 않는다.
일 실시 예에 따르면, 본 개시의 방법은 컴퓨터 프로그램 제품에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 판매자와 구매자 사이에서 상품으로 거래될 수 있다. 컴퓨터 프로그램 제품은 기계 판독 가능 저장 매체(예를 들어, 컴팩트 디스크 ROM(CD-ROM))의 형태로 배포될 수 있거나, 애플리케이션 스토어(예를 들어, Play StoreTM)를 통해 온라인으로 배포(예를 들어, 다운로드 또는 업로드)되거나, 두 사용자 장치(예를 들어, 스마트 폰) 간에 직접 배포될 수 있다. 온라인으로 배포되는 경우, 컴퓨터 프로그램 제품의 적어도 일부는 제조업체 서버의 메모리, 애플리케이션 스토어의 서버 또는 릴레이 서버와 같은, 기계 판독 가능 저장 매체에 일시적으로 생성되거나 적어도 일시적으로 저장될 수 있다.
일 실시 예에 따르면, 전술한 구성 요소들 각각(예를 들어, 모듈 또는 프로그램)은 단일 엔티티 또는 다중 엔티티를 포함할 수 있다. 전술한 구성 요소 중 하나 이상은 생략되거나, 하나 이상의 다른 구성 요소가 추가될 수 있다. 대안적으로 또는 추가적으로, 복수의 구성 요소(예를 들어, 모듈 또는 프로그램)가 단일 구성 요소로 통합될 수 있다. 이 경우, 통합된 구성 요소는 이들이 통합 전에 복수의 구성 요소 중 대응하는 것에 의해 수행되므로, 동일하거나 유사한 방식으로 복수의 구성 요소들 각각의 하나 이상의 기능을 계속 수행할 수 있다. 모듈, 프로그램 또는 다른 구성 요소에 의해 수행되는 작업은 순차적으로, 병렬로, 반복적으로 또는 경험적으로 수행될 수 있거나, 하나 이상의 작업은 다른 순서로 실행 또는 생략되거나, 하나 이상의 다른 작업이 추가될 수 있다.
본 발명의 특정 실시 예가 본 발명의 상세한 설명에서 설명되었지만, 본 개시는 본 개시의 범위를 벗어나지 않고 다양한 형태로 수정될 수 있다. 따라서, 본 개시의 범위는 단지 설명된 실시 예에 기초하여 결정되어서는 안되며, 오히려 첨부된 청구범위 및 그에 상응하는 것에 기초하여 결정된다.

Claims (10)

  1. 연합 네트워크에서 서버에 의해 수행되는 방법에 있어서,
    클라이언트 장치로부터 로컬 업데이트를 수신하는 단계;
    상기 수신된 로컬 업데이트에 기초하여 전역 모델을 업데이트하는 단계;
    상기 업데이트된 전역 모델을 양자화하는 단계;
    상기 수신된 로컬 업데이트에 기반하여 특징 맵을 복원하는 단계;
    상기 복원된 특징 맵을 기반으로 상기 양자화된, 업데이트된 전역 모델을 개선하는 단계; 및
    상기 개선된, 양자화된, 업데이트된 전역 모델을 상기 클라이언트 장치로 전송하는 단계를 포함하는, 방법.
  2. 제1항에 있어서,
    상기 복원된 특징 맵을 기반으로 상기 양자화된, 업데이트된 전역 모델을 개선하는 단계는,
    상기 복원된 특징 맵을 혼합하는 단계;
    상기 혼합된 복원된 특징 맵을 기반으로, 양자화 인식 학습을 수행하는 단계; 및
    상기 혼합된 복원된 특징 맵을 기반으로, 양자화 편향 보상을 수행하는 단계를 포함하는, 방법.
  3. 제2항에 있어서,
    상기 복원된 특징 맵을 혼합하는 단계는,
    Figure pat00017

    을 사용하여 수행되고,
    여기에서 f1과 f2는 한 쌍의 특징 맵을 나타내고, λ는 혼합 가중치를 나타내는, 방법.
  4. 제1항에 있어서,
    상기 복원된 특징 맵을 기반으로 상기 양자화된, 업데이트된 전역 모델을 개선하는 단계는,
    상기 복원된 특징 맵을 기반으로, 양자화 인식 학습을 수행하는 단계; 및
    상기 복원된 특징 맵을 기반으로, 양자화 편향 보상을 수행하는 단계를 포함하는, 방법.
  5. 제1항에 있어서,
    상기 복원된 특징 맵을 기반으로 상기 양자화된, 업데이트된 전역 모델을 개선하는 단계는,
    상기 복원된 특징 맵을 혼합하는 단계; 및
    상기 혼합된 복원된 특징 맵을 기반으로, 양자화 인식 학습을 수행하는 단계를 포함하는, 방법.
  6. 제1항에 있어서,
    상기 복원된 특징 맵을 기반으로 상기 양자화된, 업데이트된 전역 모델을 개선하는 단계는,
    상기 복원된 특징 맵을 혼합하는 단계; 및
    상기 혼합된 복원된 특징 맵을 기반으로, 양자화 편향 보상을 수행하는 단계를 포함하는, 방법.
  7. 제1항에 있어서,
    상기 복원된 특징 맵을 기반으로 상기 양자화된, 업데이트된 전역 모델을 개선하는 단계는,
    상기 복원된 특징 맵을 혼합하는 단계;
    상기 복원된 특징 맵을 기반으로, 양자화 인식 학습을 수행하는 단계; 및
    상기 복원된 특징 맵을 기반으로, 양자화 편향 보상을 수행하는 단계를 포함하는, 방법.
  8. 제1항에 있어서,
    상기 수신된 로컬 업데이트는 수신된 로컬 그래디언트를 포함하고,
    상기 수신된 로컬 업데이트에 기초하여 특징 맵을 복원하는 단계는 상기 수신된 로컬 그래디언트를 반전시키는 단계를 포함하는, 방법.
  9. 제1항에 있어서,
    상기 수신된 로컬 업데이트를 기반으로 특징 맵을 복원하는 단계는,
    Figure pat00018

    을 사용하여 수행되고,
    여기에서 θ는 상기 연합 네트워크의 매개변수를 나타내며, L은 손실 함수를 나타내고, fl은 레이어 l의 입력 특징 맵이고, 제1 레이어(l=1)의 경우, f1=x는 입력 이미지이고 y는 입력 x에 대한 지상 실측 레이블이고, α는 0보다 큰 하이퍼 매개변수이고, TV(x)는 x의 전체 변동인, 방법.
  10. 연합 네트워크에서 사용하기 위한 서버에 있어서,
    트랜시버; 및
    프로세서를 포함하되,
    상기 프로세서는,
    상기 트랜시버를 통해 클라이언트 장치로부터 로컬 업데이트를 수신하고,
    상기 수신된 로컬 업데이트를 기반으로 전역 모델을 업데이트하고,
    상기 업데이트된 전역 모델을 양자화하고,
    상기 수신된 로컬 업데이트를 기반으로 특징 맵을 복원하고,
    상기 복원된 특징 맵을 기반으로, 상기 양자화된, 업데이트된 전역 모델을 개선하고,
    상기 트랜시버를 통해, 상기 개선된, 양자화된, 업데이트된 전역 모델을 상기 클라이언트 장치로 전송하도록 구성되는, 서버.
KR1020220187407A 2022-01-03 2022-12-28 전역 모델 압축에 의한 통신 효율적인 연합 학습을 위한 방법 및 장치 KR20230105317A (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US202263295989P 2022-01-03 2022-01-03
US63/295,989 2022-01-03
US17/824,558 US20230214713A1 (en) 2022-01-03 2022-05-25 Method and apparatus for communication efficient federated learning with global model compression
US17/824,558 2022-05-25

Publications (1)

Publication Number Publication Date
KR20230105317A true KR20230105317A (ko) 2023-07-11

Family

ID=86991875

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220187407A KR20230105317A (ko) 2022-01-03 2022-12-28 전역 모델 압축에 의한 통신 효율적인 연합 학습을 위한 방법 및 장치

Country Status (2)

Country Link
US (1) US20230214713A1 (ko)
KR (1) KR20230105317A (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116527173B (zh) * 2023-05-11 2023-11-24 山东大学 一种对抗联邦学习中多用户参数有偏聚合的动态功率控制方法及系统
CN117094410B (zh) * 2023-07-10 2024-02-13 西安电子科技大学 一种面向投毒受损联邦学习的模型修复方法

Also Published As

Publication number Publication date
US20230214713A1 (en) 2023-07-06

Similar Documents

Publication Publication Date Title
US11451242B2 (en) Method and apparatus for variable rate compression with a conditional autoencoder
KR20230105317A (ko) 전역 모델 압축에 의한 통신 효율적인 연합 학습을 위한 방법 및 장치
TWI813802B (zh) 藉由共用表示進行多個隨機變數之間的隨機性推斷的方法及系統
KR20210119298A (ko) 적대적 지식 증류법으로 데이터 프리 네트워크 양자화 및 압축을 위한 방법 및 장치
KR20220025663A (ko) 연합 학습을 하는 방법 및 디바이스
KR20220027760A (ko) 망각 없는 연속적인 퓨샷 러닝을 위한 방법 및 장치
KR20220061008A (ko) 점진적 학습을 위한 방법 및 장치
KR102567000B1 (ko) 각도 영역 희소 채널에 위한 채널 복원을 제공하는 방법 및 시스템
US11699070B2 (en) Method and apparatus for providing rotational invariant neural networks
US20220093116A1 (en) Transformer with gaussian weighted self-attention for speech enhancement
CN114282035A (zh) 图像检索模型的训练和检索方法、装置、设备及介质
KR20210124022A (ko) 각도 부족 채널 복구 방법 및 시스템
CN111211821B (zh) 用于单连接天线阵列的模拟波束成形的系统和方法
KR20210056733A (ko) 스트리밍 데이터를 제공하는 전자 장치 및 그 작동 방법
KR20220050039A (ko) 채널의 시간 변화를 고려한 압축 감지 기반 채널 복구
US11556768B2 (en) Optimization of sparsified neural network layers for semi-digital crossbar architectures
KR20220003968A (ko) 효율적인 데이터 시맨틱 세그멘태이션을 위한 방법 및 장치
TWI775951B (zh) 非疊代奇異值分解的裝置與方法
US20230214646A1 (en) Method and system for searching deep neural network architecture
US20220092383A1 (en) System and method for post-training quantization of deep neural networks with per-channel quantization mode selection
US20220245423A1 (en) Electronic device, user terminal, and method for running scalable deep learning network
KR102720577B1 (ko) 콘볼루션 뉴럴 네트워크 모델 구축 방법 및 시스템
TW202137040A (zh) 無資料對抗式知識蒸餾的方法及系統
KR20200067703A (ko) 고 랭크 mimo 심볼 검출 방법 및 장치