KR20210066754A - 연합 학습을 활용한 사용자 특성 분석을 위한 딥 러닝 모델 생성 방법 - Google Patents

연합 학습을 활용한 사용자 특성 분석을 위한 딥 러닝 모델 생성 방법 Download PDF

Info

Publication number
KR20210066754A
KR20210066754A KR1020200164303A KR20200164303A KR20210066754A KR 20210066754 A KR20210066754 A KR 20210066754A KR 1020200164303 A KR1020200164303 A KR 1020200164303A KR 20200164303 A KR20200164303 A KR 20200164303A KR 20210066754 A KR20210066754 A KR 20210066754A
Authority
KR
South Korea
Prior art keywords
model
vae
user terminal
user
cnn
Prior art date
Application number
KR1020200164303A
Other languages
English (en)
Other versions
KR102592402B1 (ko
Inventor
홍충선
김유준
Original Assignee
경희대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 경희대학교 산학협력단 filed Critical 경희대학교 산학협력단
Publication of KR20210066754A publication Critical patent/KR20210066754A/ko
Application granted granted Critical
Publication of KR102592402B1 publication Critical patent/KR102592402B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Tourism & Hospitality (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Image Analysis (AREA)

Abstract

본 발명의 일 실시예에 따른 연합 학습을 활용한 사용자 특성 분석을 위한 딥 러닝 모델 생성 방법은 사용자 단말이 서버로부터 압축된 CNN 모델 및 VAE 모델을 수신하는 단계, 상기 사용자 단말이 영상 데이터를 사용자가 시청하고 있다고 판단되는 경우 카메라 모듈로부터 사용자의 행동을 수신하고, 상기 영상 데이터에 대한 사용자의 행동에 따른 선호도를 상기 압축된 CNN을 통해 예측하는 단계, 상기 사용자 단말이 상기 VAE 모델 및 상기 CNN 예측 선호도를 이용하여 사용자 단말 VAE 손실 값을 계산한 후, 상기 계산된 사용자 단말 VAE 손실 값을 에지에 제공하는 단계, 상기 에지가 상기 사용자 단말 VAE 손실 값을 이용하여 상기 VAE 모델을 학습시킨 후 상기 학습된 VAE 모델을 상기 서버에 제공하는 단계 및 상기 서버가 상기 학습된 VAE 모델 및 미리 생성된 VAE 모델을 통합하는 단계를 포함한다.

Description

연합 학습을 활용한 사용자 특성 분석을 위한 딥 러닝 모델 생성 방법{METHOD OF GENERATING DEEP LEARNING MODEL FOR USER CHARACTERISTIC ANALYSIS USING FEDERATED LEARNING}
본 발명은 연합 학습을 활용한 사용자 특성 분석을 위한 딥 러닝 모델 생성 방법 관한 것으로서, 보다 구체적으로는 중앙 서버에서 하나의 딥 러닝 모델을 분석하는 것이 아닌, 사용자 개인 단말에서 딥 러닝 모델을 생성하는 연합 학습을 활용한 사용자 특성 분석을 위한 딥 러닝 모델 생성 방법에 관한 것이다.
사용자의 선호도 유사성을 분석하여 사용자의 선호도를 예측 및 추천하는 방법은 최근 AI의 발전으로 인해 많은 발전이 진행되고 있다. 사용자의 선호도 및 특성을 예측하기 위해서는 방대한 양의 사용자 데이터가 필요하다. 또한 데이터를 통해 학습된 딥 러닝 모델도 필요하다.
종래 딥 러닝 모델을 학습하려면, 중앙 서버에서 사용자 데이터를 집계하여 분석하는 방법을 활용하였다. 나아가 이러한 데이터가 집계되려면, 사용자가 자발적으로 자신의 데이터를 제공해야 하는 문제가 있었다.
따라서 이러한 데이터 집계 방법은 생산적인 측면에서 비효율적이며, 개인의 프라이버시가 유출될 수 있는 문제도 해결해야 할 과제였다. 나아가, 방대한 양의 사용자 데이터를 하나의 딥 러닝 모델로 분석한다면 정확성 및 속도 측면에서도 비효율적이었다.
이에, 사용자 개인이 자신의 정보를 자발적으로 제공하지 않아도, 자동으로 자신의 정보가 집계될 수 있다면, 개인의 프라이버시 문제 및 데이터 생산 한계 문제를 해결할 수 있다.
또한, 중앙 서버에서 딥 러닝 모델을 분석할 시 상이한 목적에 따라 방법을 달리하여 모델을 통합할 수 있다면 보다 정확하고 빠른 분석이 가능하다.
본 발명은 중앙 서버에서 하나의 딥 러닝 모델을 분석하는 것이 아닌, 사용자 개인 단말에서 딥 러닝 모델을 생성하는 연합 학습을 활용한 사용자 특성 분석을 위한 딥 러닝 모델 생성 방법을 제공하는 것을 목적으로 한다.
또한, 본 발명은 하나의 딥 러닝 모델을 생성하는 것이 아니라, 복수의 딥 러닝 모델을 통합하여 사용자 특성을 분석하여 사용자의 특성을 정확하게 분석할 수 있는 정교한 딥 러닝 모델을 생성할 수 있도록 하는 연합 학습을 활용한 사용자 특성 분석을 위한 딥 러닝 모델 생성 방법을 제공하는 것을 목적으로 한다.
본 발명의 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있고, 본 발명의 실시예에 의해 보다 분명하게 이해될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.
이러한 목적을 달성하기 위한 연합 학습을 활용한 사용자 특성 분석을 위한 딥 러닝 모델 생성 방법은 사용자 단말이 서버로부터 압축된 CNN 모델 및 VAE 모델을 수신하는 단계, 상기 사용자 단말이 영상 데이터를 사용자가 시청하고 있다고 판단되는 경우 카메라 모듈로부터 사용자의 행동을 수신하고, 상기 영상 데이터에 대한 사용자의 행동에 따른 선호도를 상기 압축된 CNN을 통해 예측하는 단계, 상기 사용자 단말이 상기 VAE 모델 및 상기 CNN 예측 선호도를 이용하여 사용자 단말 VAE 손실 값을 계산한 후, 상기 계산된 사용자 단말 VAE 손실 값을 에지에 제공하는 단계, 상기 에지가 상기 사용자 단말 VAE 손실 값을 이용하여 상기 VAE 모델을 학습시킨 후 상기 학습된 VAE 모델을 상기 서버에 제공하는 단계 및 상기 서버가 상기 학습된 VAE 모델 및 미리 생성된 VAE 모델을 통합하는 단계를 포함한다.
또한 이러한 목적을 달성하기 위한 사용자 단말, 서버 및 에지를 포함하는 연합 학습을 활용한 사용자 특성 분석을 위한 딥 러닝 모델 생성 시스템은 상기 서버로부터 압축된 CNN 모델 및 VAE 모델을 수신하고, 상기 사용자 단말이 영상 데이터를 사용자가 시청하고 있다고 판단되는 경우 카메라 모듈로부터 사용자의 행동을 수신하고, 상기 영상 데이터에 대한 사용자의 행동에 따른 선호도를 상기 압축된 CNN을 통해 예측하고, 상기 VAE 모델 및 상기 CNN 예측 선호도를 이용하여 사용자 단말 VAE 손실 값을 계산한 후, 상기 계산된 사용자 단말 VAE 손실 값을 에지에 제공하는 사용자 단말, 상기 사용자 단말 VAE 손실 값을 이용하여 상기 VAE 모델을 학습시킨 후 상기 학습된 VAE 모델을 상기 서버에 제공하는 에지 및 상기 학습된 VAE 모델 및 미리 생성된 VAE 모델을 통합하는 서버를 포함한다.
전술한 바와 같은 본 발명에 의하면, 중앙 서버에서 하나의 딥 러닝 모델을 분석하는 것이 아닌, 사용자 개인 단말에서 딥 러닝 모델을 생성할 수 있다는 장점이 있다.
또한 본 발명에 의하면, 하나의 딥 러닝 모델을 생성하는 것이 아니라, 복수의 딥 러닝 모델을 통합하여 사용자 특성을 분석하여 사용자의 특성을 정확하게 분석할 수 있는 정교한 딥 러닝 모델을 생성할 수 있다는 장점이 있다.
도 1은 본 발명의 일 실시예에 따른 연합 학습을 활용한 사용자 특성 분석을 위한 딥 러닝 모델 시스템을 설명하기 위한 네트워크 구성도이다.
도 2는 본 발명의 일 실시예에 따른 연합 학습을 활용한 사용자 특성 분석을 위한 딥 러닝 모델 생성 시스템의 내부 구조를 설명하기 위한 블록도이다.
도 3은 본 발명에 따른 연합 학습을 활용한 사용자 특성 분석을 위한 딥 러닝 모델 생성 방법의 일 실시예를 설명하기 위한 흐름도이다.
전술한 목적, 특징 및 장점은 첨부된 도면을 참조하여 상세하게 후술되며, 이에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 상세한 설명을 생략한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하기로 한다. 도면에서 동일한 참조부호는 동일 또는 유사한 구성요소를 가리키는 것으로 사용된다.
본 명세서에서 사용된 용어 중 “VAE(Variational Autoencoder)”는 변분 추론의 접근법과 심층 학습법을 결합한 잠재 변수 생성 모델이다.
본 명세서에서 사용된 용어 중 “CNN(Convolutional Neural Network)”는 합성곱 신경망을 의미한다.
도 1은 본 발명의 일 실시예에 따른 연합 학습을 활용한 사용자 특성 분석을 위한 딥 러닝 모델 생성 시스템을 설명하기 위한 네트워크 구성도이다.
도 1을 참조하면, 연합 학습을 활용한 사용자 특성 분석을 위한 딥 러닝 모델 생성 시스템은 서버(100), 에지(200) 및 사용자 단말(300)을 포함한다.
먼저, 서버(100)는 감정 인식을 위한 CNN 모델을 학습시키고, CNN 모델이 컴퓨팅 능력이 낮은 사용자 단말에서 잘 구동될 수 있도록 네트워크 플루닝(Network pruning), 강화학습 기반 자동 모델압축(AutoML for Model Compression)등의 방법을 통하여 모델을 압축한 후 압축된 CNN 모델을 저장한다.
상기의 압축된 CNN 모델은 사용자 단말(300)에 제공됨으로써 사용자 단말(300)의 내부에서 압축된 CNN 모델을 이용하여 영상 데이터에 대한 사용자의 행동에 따른 선호도를 예측할 수 있도록 한다.
또한, 서버(100)는 영상 데이터의 선호도 예측을 위한 변분 오토인코더를 생성한 후, VAE 통합 모델 저장소(135)에 저장한다. 이때, VAE(Variational Autoencoder)는 변분 추론의 접근법과 심층 학습법을 결합한 잠재 변수 생성 모델이다.
에지(200)는 사용자 단말(300)로부터 수신된 사용자 단말 VAE 손실 값을 이용하여 상기 VAE 모델을 학습시킨 후 상기 학습된 VAE 모델을 상기 서버(100)에 제공함으로써 서버(100)가 학습된 VAE 모델 및 미리 생성된 VAE 모델을 통합하도록 한다.
사용자 단말(300)은 영상 데이터를 사용자가 시청하고 있다고 판단되는 경우 카메라 모듈로부터 사용자의 행동을 수신하고, 상기 영상 데이터에 대한 사용자의 행동에 따른 선호도를 서버(100)로부터 수신된 압축된 CNN을 통해 예측하고, VAE 모델 및 상기 CNN 예측 선호도를 이용하여 사용자 단말 VAE 손실 값을 계산한 후, 상기 계산된 사용자 단말 VAE 손실 값을 에지(200)에 제공함으로써 VAE 모델이 업데이트되도록 한다.
이하에서는, 도 2를 참조하여 연합 학습을 활용한 사용자 특성 분석을 위한 딥 러닝 모델 생성 시스템의 각 구성요소에 대해서 보다 구체적으로 설명하기로 한다.
도 2는 본 발명의 일 실시예에 따른 연합 학습을 활용한 사용자 특성 분석을 위한 딥 러닝 모델 생성 시스템의 내부 구조를 설명하기 위한 블록도이다.
도 2는 참조하면, 연합 학습을 활용한 사용자 특성 분석을 위한 딥 러닝 모델 생성 시스템은 서버(100), 에지(200) 및 사용자 단말(300)을 포함한다.
서버(100)는 CNN 모델을 생성한 후 압축하여 생성된 압축된 CNN 모델 및 VAE 모델을 사용자 단말(300)에 제공한 후, 에지(200)를 통해 사용자 단말(300)로부터 수신된 학습된 VAE 모델 및 미리 생성된 VAE 모델을 통합하여 관리한다.
이러한 서버(100)는 CNN 모델 학습 모듈(105), CNN 모델 압축 모듈(110), VAE 모델 생성 모듈(115), VAE 모델 통합 모듈(120), 영상 데이터 저장소(125), CNN 모델 저장소(130), VAE 통합 모델 저장소(135), 에지의 VAE 모델 저장소(140), CNN 모델 전송 모듈(145), 에지 선택 모듈(150), VAE 모델 전송 모듈(155) 및 에지의 VAE 모델 수신 모듈(160)을 포함한다.
CNN 모델 학습 모듈(105)은 감정 인식을 위한 CNN 모델을 학습시킨 후 CNN 모델을 CNN 모델 저장소(130)에 저장한다.
CNN 모델 압축 모듈(110)은 CNN 모델이 컴퓨팅 능력이 낮은 사용자 단말에서 잘 구동될 수 있도록 네트워크 플루닝(Network pruning), 강화학습 기반 자동 모델압축(AutoML for Model Compression)등의 방법을 통하여 모델을 압축한 후 압축된 CNN 모델을 CNN 모델 저장소(130)에 저장한다.
이러한 압축된 CNN 모델은 사용자 단말(300)에 제공됨으로써 사용자 단말(300)의 내부에서 압축된 CNN 모델을 이용하여 영상 데이터에 대한 사용자의 행동에 따른 선호도를 예측할 수 있도록 한다.
VAE 모델 생성 모듈(115)은 영상 데이터 선호도 예측을 위한 변분 오토인코더를 생성한 후, VAE 통합 모델 저장소(135)에 저장한다.
이때, VAE(Variational Autoencoder)는 변분 추론의 접근법과 심층 학습법을 결합한 잠재 변수 생성 모델이다.
여기서, 관측된 변수 x에 대한 잠재 변수 생성 모델
Figure pat00001
(디코더라고도 함)은 매개 변수
Figure pat00002
를 갖는 심층 신경 네트워크에 의해 매개 변수화된다. 추론 모델
Figure pat00003
(인코더라고도 함)은 매개 변수
Figure pat00004
를 갖는 두 번째 심층 신경망에 의해 매개 변수화된다.
잠재 변수 z는 데이터 x의 압축 정보를 임베딩하도록 정의되며, 인코더는 데이터 공간을 대응하는 잠재 공간에 맵핑한다.
디코더는 잠재적 공간의 샘플 지점으로부터 데이터를 재구성한다. 매개 변수
Figure pat00005
및
Figure pat00006
는 [수학식 1]과 같이 로그 한계 우도의 변분 하한
Figure pat00007
을 최대화함으로써 통합 훈련된다.
[수학식 1]
Figure pat00008
본 발명의 VAE 프레임 워크에서, 인코더와 디코더는 대각선 가우시안 분포를 사용하여 파라미터화된다. 사전 확률은 자유 매개 변수가 없는 등방성 가우스 분포 p(z) =
Figure pat00009
로 가정한다.
표본 추출 후 차별화 가능한 네트워크를 산출하기 위해, 확률 변수 z ~ q
Figure pat00010
(z|x)가 결정 변수
Figure pat00011
로 재매개화(reparametrization) 되는 재매개화 트릭(reparametrization trick)을 사용한다.
[수학식 2]
Figure pat00012
[수학식 2]에서,
Figure pat00013
가 1이 아닌 경우는 더 이상 로그 한계 우도의 하한을 최적화하지 않겠다는 것을 의미하고,
Figure pat00014
이 1보다 작은 경우(
Figure pat00015
<1)는 이전의 제약 조건
Figure pat00016
의 영향력도 약화시키고 있다는 것을 의미한다. 이것은 모델이 조상 샘플리에 의해 새로운 사용자 이력을 생성하지 못함을 의미한다.
그러나, 본 발명의 목적은 좋은 권고안을 만드는 것이지, 가능성을 극대화하거나 상상된 사용자 기록을 생성하는 것이 아니다. 따라서,
Figure pat00017
를 자유 정규화 매개 변수로 취급함으로써 성능에서 상당한 개선을 산출한다.
이하에서는, 자유 정규화 매개 변수(
Figure pat00018
)의 설정을 위한 간단한 휴리스틱을 설명한다. 먼저, 자유 정규화 매개 변수(
Figure pat00019
)=0으로 설정하여 훈련을 시작하고 점차적으로 자유 정규화 매개 변수(
Figure pat00020
)를 1로 증가시킨다.
본 발명에서는 매개 변수(
Figure pat00021
및
Figure pat00022
)를 업데이트하는 과정에서 그 성능이 최고에 도달했을 때의 최적의 자유 정규화 매개 변수(
Figure pat00023
)를 기록한다.
한편, 본 발명에서는 비선형 생성 모델에 따라 대략적인 베이지안 추론을 사용한 베이지안 최대 한계우도 추정치를 적용하였다. 일반적으로, 오토인코더는 하기의 [수학식 3]와 같다.
[수학식 3]
Figure pat00024
이하에서는, 오토인코더가
Figure pat00025
(즉, VAE처럼 어떤 사전 분포에 대해서도
Figure pat00026
을 정규화하지 않음)를 이용하여 VAE 오브젝트([수학식 1] 및 [수학식 2])의 첫 번째 텀을 효과적으로 최적화하는 과정에 대해서 설명하기로 한다.
Figure pat00027
에서
Figure pat00028
은
Figure pat00029
의 출력 시에만 질량이 있는 분포를 의미한다.
이러한 VAE와 대조적으로, VAE의 학습은 가변 분포를 사용하여 수행된다. 예를 들어,
Figure pat00030
는 가우스 분포의 매개 변수(예를 들어, 평균 및 분산)를 출력한다. 이것은 VAE가 잠재 상태(
Figure pat00031
)에서 데이터 포인트 당 분산을 캡쳐할 수 있다는 것을 의미한다.
상기와 같은 과정을 통해 VAE 모델 생성 모듈(115)은 영상 데이터 선호도 예측을 위한 변분 오토인코더를 생성한 후, VAE 통합 모델 저장소(135)에 저장한다.
VAE 모델 통합 모듈(120)은 에지의 VAE 모델 저장소(140)로부터 수신된 VAE 모델을 통합한다. 이때, VAE 모델 통합 모듈(120)은 하기의 [수학식 4] 또는 [수학식 5]을 참조로 에지(200)의 에지의 VAE 모델 저장소(140)로부터 수신된 VAE 모델을 통합한다.
[수학식 4]
Figure pat00032
Figure pat00033
:n번째 사용자 단말이 학습시킨 모델을 통합한 모델,
n: 사용자 단말,
w: 가중치,
P: 연합 학습 에폭스,
a: 전체 로컬 디바이스들이 가지고 있는 데이터의 총 개수,
Figure pat00034
: n번째 사용자 단말이 학습시킨 모델
[수학식 4]에서 사용자 단말에서 현재 에폭스에 참여하였으면 연합 학습 에폭스(P)가 1이되고, 사용자 단말에서 현재 에폭스에 참여하지 않았으면 연합 학습 에폭스(P)가 0이 된다. [수학식 4]은 현재 학습에 참여한 에지의 모델만을 통합하는 식으로써 학습속도가 굉장히 빠르지만 학습이 진행될수록 과적합(overfitting)에 빠질 위험이 크다.
[수학식 5]
Figure pat00035
Figure pat00036
: n번째 사용자 단말이 학습시킨 모델을 통합한 모델,
P: 연합 학습에 한번이라도 참여한 적이 있는 사용자 단말이 학습시킨 모델을 통합하기 위한 변수,
n: 사용자 단말,
w: 가중치,
a: 전체 로컬 디바이스들이 가지고 있는 데이터의 총 개수,
Figure pat00037
: n번째 사용자 단말이 학습시킨 모델
[수학식 5]에서 사용자 단말에서 현재 에폭스에 참여하였으면 연합 학습 에폭스(P)가 1이되고, 사용자 단말에서 현재 에폭스에 참여하지 않았으면 연합 학습 에폭스(P)가 0이 된다.
[수학식 5]는 과거에 학습에 참여를 한 이력이 있는 에지의 모델과 현재 학습에 참여한 에지지의 모델들을 통합하는 방법으로써 [수학식 4]보다는 느리게 학습하지만 기존 연합 학습 방법보다 빠른 학습이 가능하며 과적합(overfitting)위험이 없다.
영상 데이터 저장소(125)에는 레이블링이 완료된 영상 데이터가 저장된다.
CNN 모델 저장소(130)에는 CNN 모델 학습 모듈(105)에 의해 학습된 CNN 모델 및 CNN 모델 압축 모듈(110)에 의해 압축된 CNN 모델이 저장된다.
VAE 통합 모델 저장소(135)에는 VAE 모델 통합 모듈(120)에 의해 통합된 VAE 모델이 수신되어 저장된다.
에지의 VAE 모델 저장소(140)에는 에지에서 학습된 VAE 모델이 저장된다.
CNN 모델 전송 모듈(145)은 CNN 모델 저장소(130)에 저장된 CNN 모델을 전송한다.
에지 선택 모듈(150)은 VAE 모델 전송 모듈(155)로부터 수신된 VAE 통합 모델 중 학습 관리자 및 통신 관리자의 결정에 따라 학습에 참여하게 되는 에지를 선택한 후 선택된 에지를 에지의 VAE 모델 수신 모듈(160)을 통해 에지(200)의 VAE 모델 저장소(130)에 저장되도록 한다.
VAE 모델 전송 모듈(155)은 VAE 통합 모델 저장소(135)에 저장된 VAE 모델을 에지 선택 모듈(150)에 제공한다.
에지의 VAE 모델 수신 모듈(160)은 에지의 VAE 모델 수신 모듈(160) 및 VAE 모델 전송 모듈(155)을 통해 에지의 VAE 모델 저장소(140)에 저장된 VAE 모듈을 수신하여 에지의 VAE 모델 저장소(140)에 저장되도록 한다.
에지(200)는 사용자 단말(300)로부터 수신된 사용자 단말 VAE 손실 값을 이용하여 VAE 모델을 학습시킨 후 상기 학습된 VAE 모델을 서버(100)에 제공한다.
이러한 에지(200)는 CNN 모델 저장소(205), CNN 모델 수신 모듈(210), CNN 모델 전송 모듈(215), VAE 모델 수신 모듈(225), VAE 모델 학습 모듈(230), VAE 모델 저장소(235), 단말의 VAE 손실 저장소(240), 사용자 단말 선택 모듈(245) 및 사용자 단말의 VAE 손실 수신 모듈(250)을 포함한다.
CNN 모델 저장소(205)에는 CNN 모델 수신 모듈(210) 및 서버(100)의 CNN 모델 전송 모듈(145)를 통해 수신된 CNN 모델이 저장된다.
CNN 모델 수신 모듈(210)은 서버(100)의 CNN 모델 전송 모듈(145)로부터 CNN 모델을 수신하여 CNN 모델을 CNN 모델 저장소(205)에 저장한다.
CNN 모델 전송 모듈(215)은 CNN 모델 저장소(205)에 저장된 CNN 모델을 독출한 후, 독출된 CNN 모델을 사용자 단말(300)의 CNN 모델 교체 모듈(320)에 제공한다.
VAE 모델 수신 모듈(225)은 VAE 모델 전송 모듈(155)을 통해서 VAE 통합 모델 저장부(135)에 저장된 VAE 모델을 수신한다.
VAE 모델 학습 모듈(230)은 사용자 단말(300)의 VAE 손실 수신 모듈(250)을 통해 사용자 단말(300)에서 수집된 사용자 단말 VAE 손실 값을 배치 크기에 맞게 평균 내어 모델을 학습한다.
VAE 모델 저장소(235)에는 VAE 모델 학습 모듈(230)에 의해 학습된 VAE 모델이 저장된다.
단말의 VAE 손실 저장소(240)에는 사용자 단말(300)에서 수집된 사용자 단말 VAE 손실 값이 저장된다.
사용자 단말 선택 모듈(245)은 학습 관리자 및 통신 관리자에 의해 결정된 학습에 참여하게 되는 사용자 단말을 결정한다.
사용자 단말의 VAE 손실 수신 모듈(250)은 사용자 단말(300)에서 사용자 단말 VAE 손실 값을 수신하여 단말의 VAE 손실 저장소(240)에 저장되도록 한다. 이러한 사용자 단말 VAE 손실 값은 VAN 모델을 학습하는데 사용된다.
사용자 단말(300)은 영상 데이터를 사용자가 시청하고 있다고 판단되는 경우 카메라 모듈로부터 사용자의 행동을 수신하고, 상기 영상 데이터에 대한 사용자의 행동에 따른 선호도를 상기 압축된 CNN을 통해 예측한 후, 상기 VAE 모델 및 상기 CNN 예측 선호도를 이용하여 사용자 단말 VAE 손실 값을 계산한 후, 상기 계산된 사용자 단말 VAE 손실 값을 에지에 제공하는 단말이다. 이러한 사용자 단말(300)은 스마트폰, PDA, 테블릿 PC등으로 구현될 수 있다.
이러한 사용자 단말(300)은 컨텐츠 시청 판별 모듈(305), 영상 데이터 저장 모듈(310), CNN 선호도 예측 모듈(315), CNN 모델 교체 모듈(320), VAE 손실 계산 모듈(325), VAE 모델 교체 모듈(330), VAE 선호도 예측 모듈(335), CNN 저장소(340) 및 VAE 저장소(350)를 포함한다.
CNN 저장소(340)는 영상 데이터 저장소(341), CNN 예측 선호도 저장소(342) 및 CNN 모델 저장소(343)를 포함하고, VAE 저장소(350)는 VAE 모델 저장소(351) 및 VAE 예측 선호도 저장소(352)를 포함한다.
컨텐츠 시청 판별 모듈(305)은 사용자가 컨텐츠를 시청하고 있는지 여부를 판단하고, 상기 판단 결과에 따라 컨텐츠를 영상 데이터 저장 모듈(310)을 통해 영상 데이터 저장소(125)에 저장한다.
영상 데이터 저장 모듈(310)은 컨텐츠 시청 판별 모듈(305)로부터 사용자가 컨텐츠를 시청하는 영상 데이터를 수신하면 영상 데이터 저장소(125)에 영상 데이터를 저장한다. 그 후, 영상 데이터 저장 모듈(310)은 영상 데이터를 CNN 선호도 예측 모듈(315)에 제공한다.
CNN 선호도 예측 모듈(315)은 영상 데이터 저장 모듈(310)로부터 영상 데이터를 수신하고, 카메라 모듈로부터 사용자의 행동을 수신하며 영상 데이터에 대한 사용자의 행동에 따른 선호도를 CNN을 통해 예측한다.
예를 들어, CNN 선호도 예측 모듈(315)은 재미있는 컨텐츠를 보고 있는 사용자의 행동이“ 웃는다면 행동”인 경우 CNN을 통해 선호도를 1로 예측할 수 있고, “무표정 행동”인 경우 CNN을 통해 선호도를 0으로 예측할 수 있다.
이를 위해, CNN 선호도 예측 모듈(315)은 CNN 모델 저장소(343)로부터 영상 데이터에 대한 사용자의 행동에 따른 선호도를 예측하는데 사용되는 CNN 모델을 수신한다.
상기와 같이, CNN 선호도 예측 모듈(315)은 영상 데이터에 대한 사용자의 행동에 따른 선호도를 CNN을 통해 예측한 후, CNN을 통해 예측된 영상 데이터에 대한 사용자의 행동에 따른 선호도를 CNN 예측 선호도 저장소(342)에 저장한다.
CNN 모델 교체 모듈(320)은 서버(100)의 CNN 모델 전송 모듈(145)로부터 CNN 모델을 수신하면, CNN 모델 저장소(343)에 저장된 CNN 모델을 서버(100)의 CNN 모델 전송 모듈(145)로부터 수신된 CNN 모델로 교체하기 위해 CNN 모델 저장소(343)에 서버(100)의 CNN 모델 전송 모듈(145)로부터 수신된 CNN 모델을 저장한다.
VAE 손실 계산 모듈(325)은 사용자 단말(300) 내의 데이터에 따른 사용자 단말 VAE 손실 값을 계산한다. 이때, VAE 손실 계산 모듈(325)은 [수학식 5]을 기초로 사용자 단말(300) 내의 데이터에 따른 사용자 단말 VAE 손실 값을 계산할 수 있다.
[수학식 5]
Figure pat00038
L: 딥러닝 학습을 위한 사용자 단말 VAE 손실 값,
U: 사용자,
E: 평균,
p(x|z): 이후 확률,
q(z|x): 이전 확률,
B: 사용자 지정 변수로써
Figure pat00039
의 크기를 조절하여 학습이 잘 되도록 하는 변수,
p(z): z의 확률 분포,
Θ: 오토인코더의 인코더 부분의 가중치,
Φ: 오토인코더의 디코더 부분의 가중치
VAE 모델 교체 모듈(330)은 연합 학습 과정에서의 변분 오토인코더를 수신하면 변분 오토인코더를 기초로 모델을 교체한다.
VAE 선호도 예측 모듈(335)은 사용자 단말 내의 데이터를 인풋으로 하여 사용자 단말에서 소비하지 않은 컨텐츠에 대한 선호도를 예측한다.
도 3은 본 발명에 따른 연합 학습을 활용한 사용자 특성 분석을 위한 딥 러닝 모델 생성 방법의 일 실시예를 설명하기 위한 흐름도이다.
도 3을 참조하면, 사용자 단말(300)은 서버(100)로부터 압축된 CNN 모델 및 VAE 모델을 수신한다(단계 S310). 이때, 압축된 CNN 모델은 영상 데이터에 대한 사용자의 행동에 따른 선호도를 산출하는데 사용되며, VAE 모델은 사용자 단말 VAE 손실 값을 계산하는데 사용된다.
상기 사용자 단말이 영상 데이터를 사용자가 시청하고 있다고 판단되는 경우 카메라 모듈로부터 사용자의 행동을 수신하고, 상기 영상 데이터에 대한 사용자의 행동에 따른 선호도를 상기 압축된 CNN을 통해 예측한다(단계 S320).
상기 사용자 단말이 상기 VAE 모델 및 상기 CNN 예측 선호도를 이용하여 사용자 단말 VAE 손실 값을 계산한 후, 상기 계산된 사용자 단말 VAE 손실 값을 에지에 제공한다(단계 S330). 이러한 사용자 단말 VAE 손실 값은 에지가 VAE 모델을 학습시키는데 사용되는 값이다.
상기 에지가 상기 사용자 단말 VAE 손실 값을 이용하여 상기 VAE 모델을 학습시킨 후 상기 학습된 VAE 모델을 상기 서버에 제공한다(단계 S340).
상기 서버가 상기 학습된 VAE 모델 및 미리 생성된 VAE 모델을 통합한다(단계 S350).
한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 이는 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명 사상은 아래에 기재된 특허청구범위에 의해서만 파악되어야 하고, 이의 균등 또는 등가적 변형 모두는 본 발명 사상의 범주에 속한다고 할 것이다.
100: 서버,
105: CNN 모델 학습 모듈,
110: CNN 모델 압축 모듈,
115: VAE 모델 생성 모듈,
120: VAE 모델 통합 모듈,
125: 영상 데이터 저장소,
130: CNN 모델 저장소,
135: VAE 통합 모델 저장소,
140: 에지의 VAE 모델 저장소,
145: CNN 모델 전송 모듈,
150: 에지 선택 모듈,
155: VAE 모델 전송 모듈,
160: 에지의 VAE 모델 수신 모듈,
200: 에지,
205: CNN 모델 저장소,
210: CNN 모델 수신 모듈,
215: CNN 모델 전송 모듈,
225: VAE 모델 수신 모듈
230: VAE 모델 학습 모듈,
235: VAE 모델 저장소,
240: 단말의 VAE 손실 저장소,
245: 사용자 단말 선택 모듈,
250: 사용자 단말의 VAE 손실 수신 모듈,
300: 사용자 단말,
305: 컨텐츠 시청 판별 모듈,
310: 영상 데이터 저장 모듈
315: CNN 선호도 예측 모듈
320: CNN 모델 교체 모듈
325: VAE 손실 계산 모듈
330: VAE 모델 교체 모듈
335: VAE 선호도 예측 모듈
340: CNN 저장소
350: VAE 저장소

Claims (3)

  1. 사용자 단말이 서버로부터 압축된 CNN 모델 및 VAE 모델을 수신하는 단계;
    상기 사용자 단말이 영상 데이터를 사용자가 시청하고 있다고 판단되는 경우 카메라 모듈로부터 사용자의 행동을 수신하고, 상기 영상 데이터에 대한 사용자의 행동에 따른 선호도를 상기 압축된 CNN을 통해 예측하는 단계;
    상기 사용자 단말이 상기 VAE 모델 및 상기 CNN 예측 선호도를 이용하여 사용자 단말 VAE 손실 값을 계산한 후, 상기 계산된 사용자 단말 VAE 손실 값을 에지에 제공하는 단계;
    상기 에지가 상기 사용자 단말 VAE 손실 값을 이용하여 상기 VAE 모델을 학습시킨 후 상기 학습된 VAE 모델을 상기 서버에 제공하는 단계;
    상기 서버가 상기 학습된 VAE 모델 및 미리 생성된 VAE 모델을 통합하는 단계를 포함하는 것을 특징으로 하는
    연합 학습을 활용한 사용자 특성 분석을 위한 딥 러닝 모델 생성 방법.
  2. 제1항에 있어서,
    상기 서버가 감정 인식을 위한 CNN 모델을 학습시키고, 상기 CNN 모델이 컴퓨팅 능력이 낮은 사용자 단말에서 잘 구동될 수 있도록 네트워크 플루닝(Network pruning), 강화학습 기반 자동 모델압축(AutoML for Model Compression)등의 방법을 통하여 모델을 압축하여 상기 압축된 CNN 모델을 생성하는 단계를 더 포함하는 것을 특징으로 하는
    연합 학습을 활용한 사용자 특성 분석을 위한 딥 러닝 모델 생성 방법.
  3. 제1항에 있어서,
    상기 서버가 상기 학습된 VAE 모델 및 미리 생성된 VAE 모델을 통합하는 단계는
    상기 서버가 연합 학습에 한번이라도 참여한 적이 있는 사용자 단말 또는 현재 에폭스에서 사용자 단말 각각이 학습시킨 모델, 전체 로컬 디바이스들이 가지고 있는 데이터의 총 개수, 가중치 및 사용자 단말의 수를 이용하여 상기 학습된 VAE 모델 및 미리 생성된 VAE 모델을 통합하는 단계를 더 포함하는 것을 특징으로 하는
    연합 학습을 활용한 사용자 특성 분석을 위한 딥 러닝 모델 생성 방법.
KR1020200164303A 2019-11-28 2020-11-30 연합 학습을 활용한 사용자 특성 분석을 위한 딥 러닝 모델 생성 방법 KR102592402B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020190155524 2019-11-28
KR20190155524 2019-11-28

Publications (2)

Publication Number Publication Date
KR20210066754A true KR20210066754A (ko) 2021-06-07
KR102592402B1 KR102592402B1 (ko) 2023-10-23

Family

ID=76374446

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200164303A KR102592402B1 (ko) 2019-11-28 2020-11-30 연합 학습을 활용한 사용자 특성 분석을 위한 딥 러닝 모델 생성 방법

Country Status (1)

Country Link
KR (1) KR102592402B1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113726561A (zh) * 2021-08-18 2021-11-30 西安电子科技大学 利用联邦学习训练卷积神经网络的业务类型识别方法
KR102413116B1 (ko) * 2021-12-02 2022-06-23 세종대학교산학협력단 인공 신경망의 계층 특성에 기반한 연합 학습 방법
WO2023022251A1 (ko) * 2021-08-18 2023-02-23 엘지전자 주식회사 무선 통신 시스템에서 신호 전송 방법 및 장치
KR102517728B1 (ko) 2022-07-13 2023-04-04 주식회사 애자일소다 연합 학습에 기반한 상품 추천 장치 및 방법
KR20230065883A (ko) 2021-11-05 2023-05-12 포항공과대학교 산학협력단 풀-랭크 축소 파라미터화를 이용한 데이터 경량화 방법 및 데이터 처리 장치

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190105536A (ko) * 2019-08-26 2019-09-17 엘지전자 주식회사 선호도 기반 서비스 제공 시스템, 장치 및 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190105536A (ko) * 2019-08-26 2019-09-17 엘지전자 주식회사 선호도 기반 서비스 제공 시스템, 장치 및 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Jiale Zhang et al., "An Efficient Federated Learning Scheme with Differential Privacy in Mobile Edge Computing," Machine Learning and Intelligent Communications. 4th International Conference, MLICOM 2019 (2019.08.24.)* *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113726561A (zh) * 2021-08-18 2021-11-30 西安电子科技大学 利用联邦学习训练卷积神经网络的业务类型识别方法
WO2023022251A1 (ko) * 2021-08-18 2023-02-23 엘지전자 주식회사 무선 통신 시스템에서 신호 전송 방법 및 장치
KR20230065883A (ko) 2021-11-05 2023-05-12 포항공과대학교 산학협력단 풀-랭크 축소 파라미터화를 이용한 데이터 경량화 방법 및 데이터 처리 장치
KR102413116B1 (ko) * 2021-12-02 2022-06-23 세종대학교산학협력단 인공 신경망의 계층 특성에 기반한 연합 학습 방법
KR102517728B1 (ko) 2022-07-13 2023-04-04 주식회사 애자일소다 연합 학습에 기반한 상품 추천 장치 및 방법

Also Published As

Publication number Publication date
KR102592402B1 (ko) 2023-10-23

Similar Documents

Publication Publication Date Title
KR102592402B1 (ko) 연합 학습을 활용한 사용자 특성 분석을 위한 딥 러닝 모델 생성 방법
Yao et al. Federated learning with unbiased gradient aggregation and controllable meta updating
CN109344908B (zh) 用于生成模型的方法和装置
CN110781321B (zh) 一种多媒体内容推荐方法及装置
CN109033408B (zh) 信息推送方法及装置、计算机可读存储介质、电子设备
CN110012060B (zh) 移动终端的信息推送方法、装置、存储介质和服务器
CN109145828B (zh) 用于生成视频类别检测模型的方法和装置
US10897641B2 (en) Notifications on mobile devices
CN113207010B (zh) 模型训练方法、直播推荐方法、设备、存储介质
WO2022022233A1 (zh) Ai模型更新的方法、装置、计算设备和存储介质
CN112765373B (zh) 资源推荐方法、装置、电子设备和存储介质
CN111125519B (zh) 用户行为预测方法、装置、电子设备以及存储介质
CN111858969B (zh) 多媒体数据推荐方法、装置、计算机设备和存储介质
CN112817563B (zh) 目标属性配置信息确定方法、计算机设备和存储介质
CN113015010B (zh) 推送参数确定方法、装置、设备及计算机可读存储介质
CN113836388B (zh) 信息推荐方法、装置、服务器及存储介质
CN115545349B (zh) 基于属性敏感交互的时序社交媒体流行度预测方法及装置
CN113935251B (zh) 用户行为预测模型的生成方法、用户行为预测方法及装置
AU2020335019B2 (en) Evaluation method based on mobile news client and system thereof
US20220261683A1 (en) Constraint sampling reinforcement learning for recommendation systems
CN111177015B (zh) 应用程序质量识别方法、装置、计算机设备和存储介质
CN115878839A (zh) 一种视频推荐方法、装置、计算机设备和计算机程序产品
CN114510627A (zh) 对象推送方法、装置、电子设备及存储介质
CN115482019A (zh) 一种活动关注度预测方法、装置、电子设备和存储介质
CN115996292A (zh) 流控模型训练方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant