KR20200049499A - 공통 표현을 통한 다수의 랜덤 변수 사이의 확률론적 추론을 위한 방법 및 시스템 - Google Patents

공통 표현을 통한 다수의 랜덤 변수 사이의 확률론적 추론을 위한 방법 및 시스템 Download PDF

Info

Publication number
KR20200049499A
KR20200049499A KR1020190102987A KR20190102987A KR20200049499A KR 20200049499 A KR20200049499 A KR 20200049499A KR 1020190102987 A KR1020190102987 A KR 1020190102987A KR 20190102987 A KR20190102987 A KR 20190102987A KR 20200049499 A KR20200049499 A KR 20200049499A
Authority
KR
South Korea
Prior art keywords
variable
model
posterior
latent
latent variable
Prior art date
Application number
KR1020190102987A
Other languages
English (en)
Inventor
이정원
모스타파 엘-카미
류종하
최유진
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Publication of KR20200049499A publication Critical patent/KR20200049499A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G06N5/041—Abduction
    • G06N7/005—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Algebra (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Neurology (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Image Analysis (AREA)
  • Information Transfer Between Computers (AREA)
  • User Interface Of Digital Computer (AREA)
  • Devices For Executing Special Programs (AREA)

Abstract

공통 표현을 통한 다수의 랜덤 변수 사이의 확률론적 추론을 위한 방법 및 시스템이 제공된다. 방법은, 제1 변수, 제2 변수 및 제1 변수와 제2 변수 사이의 공통 정보(common information)를 나타내는 결합 잠재 변수(joint latent variable)를 포함하는 결합 잠재 변수 모델(joint latent variable model)을 개발하고, 결합 잠재 변수 모델의 변분 사후확률(variational posterior)을 생성하고, 변분 사후확률을 훈련하고, 변분 사후확률을 기초로 하여 제2 변수로부터 제1 변수의 추론(inference)을 수행하는 것을 포함한다.

Description

공통 표현을 통한 다수의 랜덤 변수 사이의 확률론적 추론을 위한 방법 및 시스템{METHOD AND SYSTEM FOR STOCHASTIC INFERENCE BETWEEN MULTIPLE RANDOM VARIABLES VIA COMMON REPRESENTATION}
본 발명은 공통 표현을 통한 다수의 랜덤 변수 사이의 확률론적 추론을 위한 방법 및 시스템에 관한 것이다.
확률적 표현 학습에 의한 추론은 머신 러닝(machine learning) 내에서 유망한 연구 분야 중 하나이다. 상기 연구 분야의 목표는 "생성 문제(generation problem)"라고 알려진 관찰된 데이터로부터 분포를 학습함으로써 기초 소스(underlying source)를 시뮬레이션하는 것이다. 최근, 변분 방법(variational methods)과 생성 적대적 네트워크(generative adversarial networks)에 기초한 한 근사 확률적 추론(approximate probabilistic inference)을 포함하는 딥 뉴럴 네트워크(deep neural networks)를 기초로 한 생성 모델들(generative models)이 제안되고 있다.
본 발명이 해결하고자 하는 기술적 과제는 공통 표현을 통한 다수의 랜덤 변수 사이의 확률론적 추론을 위한 방법 및 시스템을 제공하는 것이다.
본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기 기술적 과제를 달성하기 위한 본 발명의 몇몇 실시예에 따른 공통 표현을 통한 다수의 랜덤 변수 사이의 확률론적 추론을 위한 방법은, 제1 변수, 제2 변수 및 제1 변수와 제2 변수 사이의 공통 정보(common information)를 나타내는 결합 잠재 변수(joint latent variable)를 포함하는 결합 잠재 변수 모델(joint latent variable model)을 개발하고, 결합 잠재 변수 모델의 변분 사후확률(variational posterior)을 생성하고, 변분 사후확률을 훈련하고, 변분 사후확률을 기초로 하여 제2 변수로부터 제1 변수의 추론(inference)을 수행하는 것을 포함한다.
상기 기술적 과제를 달성하기 위한 본 발명의 몇몇 실시예에 따른 공통 표현을 통한 다수의 랜덤 변수 사이의 확률론적 추론을 위한 시스템은, 적어도 하나의 디코더, 적어도 하나의 인코더, 및 프로세서를 포함하되, 프로세서는, 제1 변수, 제2 변수 및 제1 변수와 제2 변수 사이의 공통 정보(common information)를 나타내는 결합 잠재 변수(joint latent variable)를 갖는 결합 잠재 변수 모델(joint latent variable model)을 개발하고, 결합 잠재 변수 모델의 변분 사후확률(variational posterior)을 생성하고, 변분 사후확률을 훈련하고, 변분 사후확률을 기초로 제2 변수로부터 상기 제1 변수의 추론(inference)을 수행한다.
기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
본 개시의 임의의 실시예의 상기 및 다른 양상들, 특징들 및 장점들은 첨부된 도면들과 함께 다음의 상세한 설명으로부터 더욱 명백해질 것이다.
도 1, 2 및 3은 본 발명의 일 실시예에 따른 잠재 모델의 블록도이다.
도 4는 본 발명의 일 실시예에 따른 추론을 수행하는 방법의 흐름도이다.
도 5 및 6은 본 발명의 일 실시예에 따른 로컬 무질서도를 갖는 잠재 모델의 블록도이다.
도 7은 본 발명의 일 실시예에 따른 시스템의 블록도이다.
도 8은 본 발명의 일 실시예에 따른, 데이터 세트 및 데이터 쌍들의 블록도이다.
도 9는 본 발명의 일 실시예에 따른, 결합 생성 결과의 블록도이다.
도 10, 11, 12 및 13은 본 발명의 일 실시예에 따른, 조건부 생성 및 스타일 변환 결과의 블록도이다.
도 14는 본 발명의 일 실시예에 따른, 네트워크 환경의 전자 장치의 블록도이다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세히 설명한다. 비록 동일한 요소가 상이한 도면에 도시되어 있더라도 동일한 요소는 동일한 참조 부호로 표시된다는 점에 유의해야 한다. 이하의 설명에서, 상세한 구성 및 구성 요소와 같은 특정 세부 사항은 단지 본 개시의 실시예의 전반적인 이해를 돕기 위해 제공될 뿐이다. 따라서, 해당 기술 분야의 통상의 기술자는 본 명세서에 설명된 실시예들의 다양한 변경 및 수정이 본 개시의 범위를 벗어나지 않고 이루어질 수 있음을 명백히 알 수 있다. 또한, 공지된 기능 및 구성에 대한 설명은 명료성 및 간결성을 위해 생략되었다. 이하에 설명되는 용어는 본 발명의 기능을 고려하여 정의된 용어로서, 사용자, 사용자의 의도 또는 관습에 따라 다를 수 있다. 그러므로 용어의 정의는 본 명세서 전반에 걸친 내용을 기반으로 결정되어야 한다.
본 발명은 다양한 변형예 및 다양한 실시예를 가질 수 있으며, 그 중 첨부된 도면을 참조하여 실시예를 상세히 설명한다. 그러나, 본 발명은 실시예에 한정되지 않고, 본 발명의 범위 내에서 모든 변형, 등가물 및 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등과 같은 서수를 포함하는 용어가 다양한 요소를 설명하기 위해 사용될 수 있지만, 구조적 요소는 용어에 의해 제한되지 않는다. 용어는 한 요소를 다른 요소와 구별하기 위해서만 사용된다. 예를 들어, 본 개시의 범위를 벗어나지 않으면서, 제1 구조 요소는 제2 구조 요소로 지칭될 수 있다. 유사하게, 제2 구조 요소는 제1 구조 요소로 지칭될 수도 있다. 본 명세서에 사용된 바와 같이, "및/또는"이라는 용어는 하나 이상의 관련 아이템들의 임의의 조합 및 모든 조합을 포함한다.
본 명세서에서 사용된 용어는 본 개시의 다양한 실시예를 설명하기 위해 사용되었지만, 본 개시를 제한하고자 하는 것은 아니다. 단수 형태는 문맥에 달리 명시하지 않는 한 복수 형태를 포함하고자 한다. 본 개시에서, 용어 "포함하는" 또는 "가지는"은 특징, 수, 단계, 동작, 구조적 요소, 부품 또는 이들의 조합의 존재를 나타내며, 하나 이상의 다른 특징, 수, 단계, 동작, 구조적 요소, 부품 또는 이들의 조합의 존재 또는 확률을 배제하지 않는다는 것을 이해해야 한다.
다르게 정의되지 않는 한, 본 명세서에서 사용된 모든 용어는 본 발명이 속하는 기술 분야의 통상의 기술자에 의해 이해되는 것과 동일한 의미를 갖는다. 일반적으로 사용되는 사전에 정의된 것과 같은 용어는 관련 분야의 문맥상의 의미와 동일한 의미를 갖는 것으로 해석되어야 하며, 본 개시에서 명확하게 정의되지 않는 한 이상적이거나 과도하게 공식적인 의미를 갖는 것으로 해석되어서는 안된다.
본 발명의 일 실시 예에 따른 전자 디바이스는 다양한 유형의 전자 디바이스 중 하나일 수 있다. 전자 디바이스는 예를 들어 휴대용 통신 장치(예를 들어, 스마트 폰), 컴퓨터, 휴대용 다중미디어 장치, 휴대용 의료 장치, 카메라, 웨어러블 장치 또는 가정용 기기를 포함할 수 있다. 본 발명의 일 실시예에 따르면, 전자 디바이스는 상술된 것에 제한되지 않는다.
본 개시에 사용된 용어는 본 개시를 제한하는 것이 아니라 대응하는 실시 예에 대한 다양한 변경, 등가물 또는 대체물을 포함하도록 의도된다. 첨부된 도면의 설명과 관련하여, 유사하거나 관련된 요소를 지칭하기 위해 유사한 참조 번호가 사용될 수 있다. 하나의 항목에 해당하는 단수 형태의 명사는 관련 문맥이 분명히 다르게 표시하지 않는 한 하나 이상의 것을 포함할 수 있다. 본 명세서에 사용된 바와 같이, "A 또는 B", "A 및 B 중 적어도 하나", "A 또는 B 중 적어도 하나", "A, B 또는 C", "A , B 및 C" 및 "A, B 또는 C 중 적어도 하나"는 해당 구에 열거된 항목의 가능한 모든 조합을 포함할 수 있다. 본 명세서에 사용된 바와 같이, "제1" 및 "제2"와 같은 용어는 대응하는 구성 요소를 다른 구성 요소와 구별하기 위해 사용될 수 있지만, 다른 양상(예컨대 중요도 또는 순서)들에서 구성 요소를 제한하려는 것은 아니다. 어떤 구성 요소(예컨대 제1 요소)가 "동작적으로" 또는 "통신적으로"라는 용어와 함께 또는 이들 용어 없이, 다른 구성 요소(예컨대 제2 요소)와 "결합된", "접속된" 것으로 언급된 경우, 그것은 요소가 다른 요소와 직접(예를 들어, 유선으로), 무선으로, 또는 제 3 요소를 통해 결합될 수 있음을 나타낸다. 본 명세서에서 사용된 것과 같이, "모듈"이라는 용어는 하드웨어, 소프트웨어 또는 펌웨어로 구현되는 유닛을 포함할 수 있으며, 예컨대 "로직", "로직 블록", "부품" 및 "회로"와 같은 다른 용어와 상호 교환 가능하도록 사용될 수 있다. 모듈은 하나 이상의 기능을 수행하도록 구성된 단일 통합 구성 요소 또는 최소 단위 또는 그 일부일 수 있다. 예를 들어, 일 실시예에 따르면, 모듈은 주문형 집적 회로(application-specific integrated circuit, ASIC)의 형태로 구현될 수 있다.
도 1은 본 발명의 일 실시예에 따른 잠재 변수 모델(latent variable model, 100)의 블록도이다. Z(102)는
Figure pat00001
를 나타내고, X(104)는
Figure pat00002
를 나타낸다. 확률적 추론의 목표는 데이터 샘플들
Figure pat00003
로부터 데이터 분포(data distribution)
Figure pat00004
를 학습(learn)하는 것이다.
Figure pat00005
가 주어진 모수 분포군
Figure pat00006
에 대해
Figure pat00007
에 매우 근사하도록 직접 파라미터
Figure pat00008
를 찾는 것은 어려울 수 있다. 따라서, 한 접근법은 도 1에 도시된 바와 같이 잠재 변수
Figure pat00009
를 완화된 문제(relaxed problem)로서 도입하는 것이다. 표 1은 참조를 위해 다양한 용어 및 정의를 보여주지만, 상기 용어는 표 1에 제시된 정의에 제한되지 않는다.
[표 1]
Figure pat00010
보통,
Figure pat00011
는 표준 정규 분포와 같이 고정된 사전 분포(prior distribution)이다. 이 모델을 가정하면, 결합 분포(joint distribution)는
Figure pat00012
Figure pat00013
를 만족시키도록, 잠재 변수 모델
Figure pat00014
에 의해 기술될 수 있다. 이는 수학식 1로 표현될 수 있다.
[수학식 1]
Figure pat00015
수학식 1은 수학식 2와 같이 최대 우도 추정(maximum likelihood estimation)을 푸는 것과 동일하다.
[수학식 2]
Figure pat00016
그러나, 주변 밀도(marginal density)는 적분 때문에 일반적으로 찾기 힘들 수 있다. 이러한 이슈를 풀기 위해서, 변분 방법(variational methods)은 실제 사후확률(true posterior)
Figure pat00017
의 근사로서, 변분 분포(variational distribution)
Figure pat00018
를 도입할 수 있다. 이에 의해, 수학식 3과 같이 로그 손실(log-loss)에 대한 변분 상한(variational upper bound)이 도출될 수 있다.
[수학식 3]
Figure pat00019
수학식 3에서,
Figure pat00020
항은 정규화 항(regularization term)으로서 작용하는 반면,
Figure pat00021
항은 재구성 로그 손실(reconstruction log loss)로서 해석될 수 있다. 손실 함수의 실제 리스크(true risk)는 수학식 4로 주어질 수 있다.
[수학식 4]
Figure pat00022
수학식 4에서, h(p)는 밀도 p의 차동 엔트로피(differential entropy)를 나타낸다. 또한, 수학식 5를 주목해야 한다.
[수학식 5]
Figure pat00023
따라서, 변분 학습(variational learning)을 위해서(예를 들어, 리스크
Figure pat00024
를 최소화시키기 위해서) 수학식 1과 같이 주변 분포 정합 문제를 직접 푸는 것 대신에, 수학식 5로부터 수학식 2과 같이 최대 우도 추정에 대한 완화된 최적화 문제(relaxed optimization problem)이고, 수학식 4로부터 수학식 6과 같이 완화된 결합 분포 정합 문제(relaxed joint distribution matching problem)를 푸는 것과 동일하다.
[수학식 6]
Figure pat00025
여기서 개시된 바와 같이,
Figure pat00026
는 기초 잠재 모델(underlying latent model)의 파라미터를 나타낸다. 만약 동일 모델에서 다수의 변분 사후확률(variational posteriors)이 있다면, 대응되는 조건 변수는 파라미터
Figure pat00027
의 첨자(예를 들어,
Figure pat00028
,
Figure pat00029
등)로 표시된다.
도 2와 도 3은 본 발명의 일 실시예에 따른, 변수 모델(variable models)의 블록도이다. 모델(200)은 전체 잠재 변수 모델(whole latent variable model)
Figure pat00030
을 묘사하며, 여기서 Z(202)는
Figure pat00031
를 나타내고, X(204)는
Figure pat00032
를 , Y(206)는
Figure pat00033
를 나타낸다. 모델(302)은 모델(200)의 부분적인 잠재 변수 모델(partial latent variable model)
Figure pat00034
이고, 모델(304)은 모델(200)의 부분적인 잠재 변수 모델
Figure pat00035
이다.
대부분의 모수 분포(parametric distributions)에서, 정규화 항
Figure pat00036
은 분석적으로 분포의 파라미터로만 계산될 수 있으며,
Figure pat00037
의 미분 가능한 매핑(differentiable mapping)에 의해 결정된다. 재구성 오류(reconstruction error)의 도함수(derivative)를 취하려 할 때, 문제가 발생된다. 도함수는 수학식 7과 같이, 단순 몬테 카를로 근사(simple Monte-Carlo approximation)에 의해 근사될 수 있다.
[수학식 7]
Figure pat00038
여기서, L은 근사화를 위해 취해진 샘플의 수이다. 미분 불가능한 샘플링 과정
Figure pat00039
은 최적화 과정이 불가하다. 이러한 문제를 방지하기 위해서,
Figure pat00040
는
Figure pat00041
를 통해 샘플링 할 수 있는 있다는 점이 핵심 아이디어인 재파라미터화 트릭(reparameterization trick)이 도입되었고, 여기서
Figure pat00042
는 미분 가능한 결정론적 매핑(differentiable deterministic mapping)이고,
Figure pat00043
는 샘플링 하기 쉬운 보조 랜덤 변수(auxiliary random variable)이다.
재파라미터화 트릭에 기초한 딥 뉴럴 네트워크(deep neural networks)를 갖는 분포의 다루기 쉬운 파라미터화를 갖는 변분 학습은, 또한 자동 인코딩 변분 베이(AEVB: Auto-Encoding Variational Bayer)로 지칭될 수 있다.
도 4는 본 발명의 일 실시예에 따른, 공통 표현(common representation)을 통한 변분 추론(variational inference)을 수행하기 위한 흐름도(400)이다. 쌍으로 구성된 데이터
Figure pat00044
가 주어지면, X와 Y의 통계적 관계(statistical relationship)를 학습하려 한다. 비록 여기서 개시된 실시예는 두개의 변수를 이용하지만, 모델은 다수의 변수로 확장될 수 있음은 당업자에게 자명할 것이다. 다방향 추론(multi-way inference), 또는 X로부터 Y로 및 Y로부터 X로의 두 가지 방법으로의 추론은
Figure pat00045
와
Figure pat00046
를 학습함으로써 수행된다. 따라서, 시스템은 결합 잠재 변수 모델(joint latent variable model)
Figure pat00047
을 훈련하고, 그 후 공통 표현(Z)을 통한 추론을 수행한다. Z는 X 및 Y의 결합 표현(joint representation)을 나타내며, 조건부 독립
Figure pat00048
을 확보하기에 충분한 X 및 Y의 정보를 포함하고 있다. 따라서, 어떠한 정보(observation)가 주어지더라도, Z를 올바르게 추정하면 임의의 변수 X 또는 Y를 충분히 추론할 수 있어야 한다.
402 단계에서, 시스템은 결합 잠재 변수 모델(joint latent variable model) 과 결합 잠재 변수 모델의 변분 사후확률(variational posterior)을 개발(develop)한다. 정보 {X = x}를 기초로 Y를 추론하고 모델 사후확률
Figure pat00049
에 접근하기 위해서,
Figure pat00050
로부터 Y의 샘플링 과정은
Figure pat00051
를 샘플링하고
Figure pat00052
를 샘플링함으로써 근사될 수 있다. 또한 조건부 분포(conditional distribution)는 수학식 8로 근사될 수 있다.
[수학식 8]
Figure pat00053
Figure pat00054
수학식 8에서, S는 근사화를 위해 취해진 샘플의 수이다. 여기서, 불연속 랜덤 변수(discrete random variable) Y의 경우, 근사 사후 최대 확률(approximate Maximum-A-Posteriori, MAP)의 검출은 수학식 9로서 수행될 수 있다.
[수학식 9]
Figure pat00055
모델 사후확률
Figure pat00056
이 주어지면, X로부터 Y의 근사 추론(approximate inference)은 결합 표현 Z를 통해
Figure pat00057
통해서 수행될 있고, 이는 결합 표현을 통한 확률론적 추론(stochastic inference)이라고 언급된다.
모델 사후확률
Figure pat00058
은 다루기 힘들다. 따라서, 변분 사후확률(또는 부분적인 근사한 사후확률)
Figure pat00059
이 생성되고 사용된다. 만약
Figure pat00060
이
Figure pat00061
에 근사하면, 추론은 대신에
Figure pat00062
을 통해 수행될 수 있고, 이는 결합 표현을 통한 변분 추론이라고 언급된다.
404 단계에서, 시스템은 변분 사후확률을 훈련한다. 변분 사후확률을 훈련하는 것은, 변분 학습은 수학식 10과 같이 결합 분포를 매칭하는 것과 동일하다는 컨셉을 이용한다.
[수학식 10]
Figure pat00063
만약,
Figure pat00064
이
Figure pat00065
Figure pat00066
라고 주어지면, 목적(objective)을 최소화하면
Figure pat00067
Figure pat00068
이 보장된다. 따라서 전체 잠재 변수 모델(full latent variable model)
Figure pat00069
은,
Figure pat00070
와
Figure pat00071
가 결합 분포
Figure pat00072
에 잘 맞도록(well-fitted), 변분 사후확률
Figure pat00073
의 도움으로 훈련될 수 있다. 이어서, 변분 사후확률
Figure pat00074
및/또는
Figure pat00075
이 추론에 사용될 수 있다.
결합 모델 및 변분 사후확률은 다수의 알고리즘을 기초로 훈련될 수 있다. 제1 알고리즘은 두 단계 훈련 알고리즘이다. 잠재 모델
Figure pat00076
과 변분 인코더(variational encoder)
Figure pat00077
는 수학식 11을 해결함으로써(solving) 훈련될 수 있다.
[수학식 11]
Figure pat00078
이어서, 변분 인코더
Figure pat00079
는 수학식 12를 해결함으로써 훈련될 수 있다.
[수학식 12]
Figure pat00080
수학식 12에서, 수학식 11은 양호한 모델 가능성(good model likelihood)
Figure pat00081
와
Figure pat00082
를 찾고, 디코더 파라미터 θ는 동결된 것으로 가정한다. 또한, Y를 기초로 인코더는 수학식 12로 훈련될 수 있다.
대신에, 결합 모델 및 변분 사후확률은 하이퍼파라미터(hyperparameter) α를 이용하여 동시에 훈련될 수 있다. 하이퍼파라미터 α가 α > 0이라고 주어지면, 잠재 모델
Figure pat00083
및 변분 인코더
Figure pat00084
와
Figure pat00085
는(예를 들어, 주변 변분 사후확률(marginal variational posterior)) 수학식 13을 해결함으로써 결합된다.
[수학식 13]
Figure pat00086
Figure pat00087
(예를 들어, 주변 변분 사후확률)를 함께 훈련하기 위해서, 목적은 수학식 14로 설정될 수 있다.
[수학식 14]
Figure pat00088
하이퍼파라미터
Figure pat00089
와
Figure pat00090
는 특정되고(specified), 0보다 크다.
제1 알고리즘은 튜닝될 하이퍼파라미터를 갖지 않으므로, 다변량 모델(multivariate model)로 쉽게 일반화될 수 있는 반면, 제2 알고리즘에서 하이퍼파라미터의 수는 다변량 모델에 대해 더 크다. 그러나, 제2 알고리즘은 쌍을 이루는 샘플들(paired samples)의 수가 적고 쌍을 이루지 않는 샘플들(unpaired samples)의 수가 다소 많고, 자연스럽게 준-지도 학습 데이터 세트(semi-supervised learning dataset)에 포함될 수 있기 때문에, 준-지도 학습 데이터 세트 하에서 유리해진다.
406 단계에서, 시스템은 추론을 수행한다. 일반적으로, 디코더
Figure pat00091
및
Figure pat00092
는 결합 표현으로부터 X 또는 Y를 생성하기 위한 관련 정보를 추출하는 것이 필요하기 때문에, 잠재 변수 모델
Figure pat00093
을 훈련하는 것은 어려울 수 있다. 따라서, 시스템은 원하는 정보 분해에 적합하도록 일부 구조적 해이성(structural slackness)을 허용하기 위해서, 각각의 변수에 대한 로컬 랜덤 변수(local random variables)의 형태로 랜덤성(randomness)을 모델에 도입할 수 있다. 랜덤 변수를 도입함으로써, 잠재 변수 모델은
Figure pat00094
이 되고, 여기서 X 및 Y는 (
Figure pat00095
, W) 및 (
Figure pat00096
, W)로부터만 생성된다. 표기를 단순화하기 위해서,
Figure pat00097
,
Figure pat00098
=
Figure pat00099
,
Figure pat00100
으로 한다.
W는 X와 Y의 공통 표현으로서 역할을 하는 반면, 로컬 랜덤성
Figure pat00101
및
Figure pat00102
은 랜덤성의 나머지를 포착한다. 모델은 모델과 동일한 방식으로 무작위로 훈련될 수 있다. 이제 변분 손실 함수(variational loss function)는 수학식 15로 주어지고, 이에 따른 리스크는 수학식 16으로 주어진다.
[수학식 15]
Figure pat00103
[수학식 16]
Figure pat00104
추론은
Figure pat00105
가 주어지면, 시스템이 조건부로 Y를 생성하도록 조건부 생성에 의해 수행될 수 있다. 만약,
Figure pat00106
이 이미 훈련되었다면, 그 후 샘플
Figure pat00107
이 취해지고, Y는
Figure pat00108
로 생성될 수 있으며 여기서
Figure pat00109
이다.
스타일 생성(style generation)도 수행될 수 있다. (X, Y)의 쌍을 이루는 데이터가 주어지면, X는 숫자 이미지(digit image)이고 Y는 이미지의 라벨(label)이다. Y는 이미지에 의해 거의 결정되고, 로컬 랜덤성
Figure pat00110
가 생성될 수 있다. 참고 이미지(reference image)
Figure pat00111
가 주어지면, 다른 라벨을 갖고
Figure pat00112
와 동일한 스타일을 갖는 이미지 세트가 생성될 수 있다. 스타일 생성은 세 단계로 수행될 수 있다. 첫번째로, 현재 시스템은
Figure pat00113
을 샘플링하고
Figure pat00114
을 저장한다. 두번째로, 각 라벨 y에 대해, 현재 시스템은
Figure pat00115
을 샘플링하고 w(y) = w를 저장한다. 세번째로, 현재 시스템은
Figure pat00116
~
Figure pat00117
를 생성한다.
이러한 과정은 W가 단지 공통 정보(common information)(예를 들어, 본 실시예에서 라벨 정보)를 나타내고, 로컬 랜덤 변수는 공통 정보를 제외한 다른 모든 속성(랜덤성), 예를 들어 숫자의 스타일(style of a digit)을 취한다고 가정한다. 그러나, 이러한 목적은 단지 매칭된 결합 분포를 권장하기 때문에, 기본적으로 최적화된 수학식 16은 이러한 정보 분해(information decomposition)를 보장하지 않는다. 예를 들어, W에 X와 Y의 모든 정보가 저장된 극단적인 경우는 여전히 가능한 해결책이다.
도 5 및 도 6은 본 발명의 일 실시예에 따른, 로컬 랜덤성을 갖는 잠재 모델의 블록도이다. 모델(500)은 기본 모델을 보여주고, 모델(600)은 H(Y|X)
Figure pat00118
일 때 축퇴된 경우(degenerated case)를 보여준다.
408 단계에서, 시스템은 공통 정보(common information)를 추출한다. 공통 정보의 추출은 406단계에서 추론 동안에 수행될 수 있다. 공통 정보 추출은 상호 정보 정규화 항(mutual information regularization term)을 더하고 아래 수학식 20에 서술된 바와 같이 비용 함수(cost function)를 최적화함으로써(예를 들어, 수학식 20을 최적화하는 결합 모델을 훈련하여, 공통 정보를 추출할 수 있는 모델을 생성함으로써) 수행될 수 있다.
와이너 공통 정보(Wyner's common information)는 두 랜덤 변수의 분포를 시뮬레이션하기 위한 최소 디스크립션 레이트(description rate)를 나타낸다. 두 랜덤 변수
Figure pat00119
와
Figure pat00120
가 주어지면, 공통 정보는 수학식 17과 같이 주어진다.
[수학식 17]
Figure pat00121
Figure pat00122
-
Figure pat00123
-
Figure pat00124
은 마코브 체인(Markov chain)을 형성한다. 이는
Figure pat00125
와
Figure pat00126
각각을 대략적으로 시뮬레이션하기 위해서, 각 위치에 공통으로 전송되는 정보의 최소 비트 수로 해석될 수 있지만, 각 위치는 임의의 양의 로컬 랜덤성이 사용될 수 있다.
더욱이, 수학식 18은 훈련에서(in training) 다루기 어렵다.
[수학식 18]
Figure pat00127
그러므로, 수학식 19와 같은, 변분 근사(variational approximation)가 사용된다.
[수학식 19]
Figure pat00128
따라서, 정규화 항
Figure pat00129
을 더함으로써 공통 정보 추출을 위한 손실 함수(loss function)는 수학식 20과 같이 주어진다.
[수학식 20]
Figure pat00130
여기서 개시된 시스템 및 방법은 전자 장치, 네트워크 등에 통합될 수 있는 프로세스/알고리즘을 포함한다. 시스템 및 방법은 전자 장치의 이미지 캡쳐 장치, 및 이미지 캡션(image captioning), 이미지 인 페인팅(image in-painting), 이미지-이미지 변형(예를 들어. 말에서 얼룩말로), 스타일 변환(style transfer), 텍스트에서 음석으로, 비디오에서 누락/미래 프레임 예측과 같은 당업자에게 자명한 다른 실제 어플리케이션을 이용하여 추론을 수행한다.
도 7은 본 발명의 일실시예에 따른, 상기 서술된 실시예들이 통합되고 구현되는 시스템(700)의 블록도이다. 시스템(700)에서, 입력 값(702)은 인코더(704)로 보내지고, 인코더(704)는 수학식 22과 같이 샘플링(sampling, 706)하기 위해 수학식 21과 같이 입력 값(702)을 처리한다.
[수학식 21]
Figure pat00131
[수학식 22]
Figure pat00132
또한 인코더(704)의 출력 값은 수학식 23과 같이 정규화 손실(regularization loss, 708)을 계산하고, 수학식 24와 같이 공통 정보 추출에 대한 정규화 손실(the regularization loss for common information extraction, 710)을 계산하기 위해서 보내진다.
[수학식 23]
Figure pat00133
[수학식 24]
Figure pat00134
정규화 손실(708)과 공통 정보 추출에 대한 정규화 손실(710)은 사전 분포
Figure pat00135
(711)로 계산된다. 샘플(samples, 712)은 디코더(714)로 보내지는 반면, 공통 표현(common representation, 716)은 수학식 25와 같이 후처리(post processed)되고 또한 디코더(714)로 보내진다.
[수학식 25]
Figure pat00136
Figure pat00137
디코더(714)는 예측(predictions, 720)을 출력한다. 재구성 손실(reconstruction loss, 722)은 디코더(714)의 출력 값, 공통 표현(718)의 후처리, 샘플(712) 및 입력(702)을 기초로 하여 수학식 26과 같이 계산된다.
[수학식 26]
Figure pat00138
재구성 손실(722)은 정규화 손실(708) 및 공통 정보 추출에 대한 정규화 손실(710)과 결합되어, 수학식 27과 같이 손실 함수(loss function, 724)를 결정한다.
[수학식 27]
Figure pat00139
Figure pat00140
Figure pat00141
여기서,
Figure pat00142
이고
Figure pat00143
이다. 또한, 각각의 파라미터
Figure pat00144
는 다른 네트워크를 나타내고,
Figure pat00145
이다.
도 8은 본 발명의 일 실시예에 따른, add-one 실험에서 사용된 데이터 세트 및 데이터 쌍들의 블록도이다. 데이터 세트(800)는 손으로 쓰여진 숫자의 MNIST(Modified National Institute of Standards and Technology) 데이터 세트이고, add-one 데이터 세트 쌍들(802)은 데이터 세트(800)로부터 추출된다.
이하 도 9 내지 도 13에서,
Figure pat00146
는 희미한 공통 변수(a dim of a common variable)를 나타내는 반면,
Figure pat00147
및
Figure pat00148
는 희미한 로컬 변수(dims of local variables)를 나타낸다. 도 9는 본 발명의 일 실시예에 따른, 결합 생성 결과 (joint generation results)의 블록도이다. 결과(900)는 MNIST-MNIST add-one 실험에서 나온 것이며, 여기서
Figure pat00149
= 16이고,
Figure pat00150
4이다. 결과(902)는 MNIST-SVHN(Street View House Number) 실험에서 나온 것이며, 여기서
Figure pat00151
= 8이고,
Figure pat00152
2이다.
도 10은 본 발명의 일 실시예에 따른, 조건부 생성(conditional generation) 및 스타일 변환 결과 (style transfer results)의 블록도이다. 결과(1000)는 조건부 생성에 대한 MNIST-MNIST add-one 실험에서 나온 것이며, 여기서
Figure pat00153
= 8이고,
Figure pat00154
4이다. 결과(1002)는 스타일 변환에 대한 MNIST-MNIST add-one 실험에서 나온 것이며, 여기서
Figure pat00155
= 8이고,
Figure pat00156
4이다.
도 11은 본 발명의 일 실시예에 따른, 조건부 생성(conditional generation) 및 스타일 변환 결과 (style transfer results)의 블록도이다. 결과(1100)는 조건부 생성에 대한 MNIST-MNIST add-one 실험에서 나온 것이며, 여기서
Figure pat00157
= 16이고,
Figure pat00158
4이다. 결과(1102)는 스타일 변환에 대한 MNIST-MNIST add-one 실험에서 나온 것이며, 여기서
Figure pat00159
= 16이고,
Figure pat00160
4이다.
도 12는 본 발명의 일 실시예에 따른, 조건부 생성(conditional generation) 및 스타일 변환 결과 (style transfer results)의 블록도이다. 결과(1200)는 조건부 생성에 대한 MNIST-SVHN add-one 실험에서 나온 것이며, 여기서
Figure pat00161
= 8이고,
Figure pat00162
2이다. 결과(1102)는 스타일 변환에 대한 MNIST-SVHN add-one 실험에서 나온 것이며, 여기서
Figure pat00163
= 8이고,
Figure pat00164
2이다.
도 13은 본 발명의 일 실시예에 따른, 조건부 생성(conditional generation) 및 스타일 변환 결과 (style transfer results)의 블록도이다. 결과(1300)는 조건부 생성에 대한 MNIST-SVHN add-one 실험에서 나온 것이며, 여기서
Figure pat00165
= 8이고,
Figure pat00166
16이다. 결과(1302)는 스타일 변환에 대한 MNIST-SVHN add-one 실험에서 나온 것이며, 여기서
Figure pat00167
= 8이고,
Figure pat00168
16이다.
도 14는 본 발명의 일 실시예에 따른 네트워크 환경(1400)에서의 전자 장치(1401)에 대한 블록도이다. 도 14를 참조하면, 네트워크 환경(1400)에서 전자 장치(1401)는 제1 네트워크(1498)(예를 들어, 단거리(short-range) 무선 통신 네트워크)를 통한 전자 장치(1402), 또는 제2 네트워크(1499)(예를 들어, 장거리(long-range) 무선 통신 네트워크)를 통한 전자 장치(1404) 또는 서버(1408)와 통신할 수도 있다. 일 실시예에 따르면, 전자 장치(1401)는 서버(1408)를 통해 전자 장치(1404)와 통신할 수도 있다. 전자 장치(1401)는 프로세서(1420), 메모리(1430), 입력 장치(1450), 사운드 출력 장치(1455), 디스플레이 장치(1460), 오디오 모듈(1470), 센서 모듈(1476), 인터페이스(1477), 햅틱(haptic) 모듈(1479), 카메라 모듈(1480), 전력 관리 모듈(1488), 배터리(1489), 통신 모듈(1490), 가입자 식별 모듈(SIM; subscriber identification module)(1496), 또는 안테나 모듈 (1497)을 포함할 수도 있다. 일 실시예에서, 컴포넌트들의 적어도 하나(예를 들어, 디스플레이 장치(1460) 또는 카메라 모듈(1480))은 전자 장치(1401)로부터 생략될 수 있고, 하나 이상의 다른 컴포넌트들이 전자 장치(1401)에 추가될 수도 있다. 일 실시예에서, 컴포넌트들 중 일부는 단일 집적 회로(IC)로서 구현될 수도 있다. 예를 들어, 센서 모듈(1476)(예를 들어, 지문 센서, 홍채 센서, 또는 조도 센서)은 디스플레이 장치(1460) (예를 들어, 디스플레이)에 내장될 수도 있다.
프로세서(1420)는, 예를 들어, 프로세서(1420)와 커플링된 전자 장치(1401)의 적어도 하나의 다른 컴포넌트(예를 들어, 하드웨어 또는 소프트웨어 컴포넌트)를 제어하기 위한 소프트웨어(예를 들어, 프로그램(1440))을 실행할 수 있고, 다양한 데이터 프로세싱 또는 계산들을 수행할 수 있다. 일 실시예에 따르면, 데이터 프로세싱 또는 계산들의 적어도 일부분으로써, 프로세서(1420)는 휘발성 메모리(1432) 내의 또다른 컴포넌트(예를 들어, 센서 모듈(1476) 또는 통신 모듈(1490))로부터 수신된 명령 또는 데이터를 로드(load)할 수 있고, 비-휘발성 메모리(1434)에서 결과 데이터를 저장할 수 있다. 일 실시예에 따르면, 프로세서(1420)는 메인 프로세서(1421)(예를 들어, 중앙 프로세싱 유닛 (CPU; central processing unit) 또는 어플리케이션 프로세서(AP; application processor)), 및 메인 프로세서(1421)와 독립적으로, 또는 함께, 동작할 수 있는 보조 프로세서(1423)(예를 들어, 그래픽 프로세싱 유닛(GPU; graphics processing unit), 이미지 시그널 프로세서 (ISP; image signal processor), 센서 허브 프로세서(sensor hub processor), 또는 통신 프로세서(CP; communication processor))를 포함할 수 있다. 부가적으로 혹은 대안적으로, 보조 프로세서(1423)는 메인 프로세서(1421)보다 전력을 덜 소모하거나, 특정 기능을 수행하도록 구성될 수 있다. 보조 프로세서(1423)는 메인 프로세서(1421)와 별개로 혹은 그 일부로 구현될 수 있다.
보조 프로세서(1423)는, 메인 프로세서(1421)가 비활성(예를 들어, 수면) 상태인 동안은 메인 프로세서(1421) 대신에, 또는 메인 프로세서(1421)가 활성(예를 들어, 어플리케이션 실행 중) 상태인 동안은 메인 프로세서(1421)와 함께, 전자 장치(1401)의 컴포넌트들 중 적어도 하나의 컴포넌트(예를 들어, 디스플레이 장치(1460), 센서 모듈(1476), 또는 통신 모듈(1490))과 관련된 기능들 또는 상태들 중 적어도 일부를 제어할 수 있다. 일 실시예에 따르면, 보조 프로세서(1423)(예를 들어, 이미지 시그널 프로세서 또는 통신 프로세서)는 보조 프로세서(1423)와 관련된 다른 컴포넌트(예를 들어, 카메라 모듈(1480) 또는 통신 모듈(1490))의 일부로써 구현될 수 있다.
메모리(1430)는 전자 장치(1401)의 적어도 하나의 컴포넌트(예를 들어, 프로세서(1420) 또는 센서 모듈(1476))에 의해 사용되는 다양한 데이터를 저장할 수 있다. 다양한 데이터는, 예를 들어, 소프트웨어(예를 들어, 프로그램(1440))와 그에 관련된 입력 데이터 혹은 출력 데이터 포함할 수 있다. 메모리(1430)는 휘발성 메모리(1432) 또는 비-휘발성 메모리(1434)를 포함할 수 있다.
프로그램(1440)은 메모리(1430)에 소프트웨어로써 저장될 수 있고, 예를 들어, 운영 체계 (OS; operating system)(1442), 미들웨어(middleware)(1444), 또는 어플리케이션(1446)을 포함할 수 있다.
입력 장치(1450)는, 전자 장치(1401)의 외부(예를 들어, 사용자)로부터 전자 장치(1401)의 다른 컴포넌트(예를 들어, 프로세서(1420))에 의해 사용될 명령 또는 데이터를 수신할 수 있다. 입력 장치(1450)는, 예를 들어, 마이크로폰, 마우스, 또는 키보드를 포함할 수 있다.
사운드 출력 장치(1455)는 전자 장치(1401)의 외부로 사운드 시그널들을 출력할 수 있다. 사운드 출력 장치(1455)는, 예를 들어, 스피커 또는 수신기를 포함할 수 있다. 스피커는 멀티미디어 재생 또는 녹음과 같은 일반적인 목적으로 사용될 수 있으며, 수신기는 걸려오는 전화를 수신하는데 사용될 수 있다. 일 실시예에 따르면, 수신기는 스피커와 별개 혹은 스피커의 일부로써 구현될 수 있다.
디스플레이 장치(1460)는 전자 장치(1401)의 외부(예를 들어, 사용자)로 정보를 시각적으로 제공할 수 있다. 디스플레이 장치(1460)는, 예를 들어, 디스플레이, 홀로그램 장치, 또는 프로젝터 및 디스플레이, 홀로그램 장치, 및 프로젝터 중 하나에 대응하는 것을 제어하는 제어 회로를 포함할 수 있다. 일 실시예에 따르면, 디스플레이 장치(1460)는 터치를 검출하도록 만든 터치 회로 또는, 터치에 의해 발생한 압력의 강도를 측정하도록 구성된 센서 회로(예를 들어, 압력 센서)를 포함할 수 있다.
오디오 모듈(1470)은 사운드를 전기 신호로 변환할 수 있고 그 반대로도 변환할 수 있다. 일 실시예에 따르면, 오디오 모듈(1470)은 입력 장치(1450)를 통해 사운드를 얻거나 사운드 출력 장치(1455) 또는 외부 전자 장치(예를 들어, 전자 장치(1402))의 헤드폰을 통해 직접적으로(예를 들어, 유선의) 또는 전자 장치(1401)와 무선으로 결합될 수 있다.
센서 모듈(1476)은 전자 장치(1401)의 동작 상태(예를 들어, 전력 또는 온도) 또는 전자 장치(1401) 외부의 환경 상태(예를 들어, 사용자의 상태)를 검출하고, 또는 검출된 상태에 대응하는 데이터 값을 포함할 수 있다. 일 실시예에 따르면, 센서 모듈(1476)은, 예를 들어, 제스처 센서, 자이로 센서, 대기압 센서, 자기 센서, 가속 센서, 그립 센서, 근접 센서, 컬러 센서, 적외선(IR) 센서, 생체 인식 센서, 온도 센서, 습도 센서, 또는 조도 센서를 포함할 수 있다.
인터페이스(1477)는 직접적으로(예를 들어, 유선으로) 또는 무선으로 외부 전자 장치(예를 들어, 전자 장치(1402))와 결합될 전자 장치(1401)에 대해 사용되는 하나 이상의 특정 프로토콜을 지원할 수 있다. 일 실시예에 따르면, 인터페이스(1477)는, 예를 들어, 고화질 멀티 미디어 인터페이스 (HDMI; high definition multimedia interface), 범용 직렬 버스 (USB; universal serial bus) 인터페이스, 시큐어 디지털 (SD; secure digital) 카드 인터페이스 또는 오디오 인터페이스를 포함할 수 있다.
연결 단자(1478)는 전자 장치(1401)가 외부 전자 장치(예를 들어, 전자 장치(1402))와 물리적으로 연결될 수 있는 커넥터를 포함할 수 있다. 일 실시예에 따르면, 연결 단자(1478)는, 예를 들어, HDMI 커넥터, USB 커넥터, SD 카드 커넥터, 또는 오디오 커넥터(예를 들어, 헤드폰 커넥터)를 포함할 수 있다.
햅틱 모듈(1479)은 전기 신호를 촉각 또는 근 감각을 통해 사용자에 인식될 수 있는 기계적 자극(예를 들어, 진동 또는 움직임) 또는 전기적 자극으로 변환할 수 있다. 일 실시예에 따르면, 햅틱 모듈(1479)은, 예를 들어, 모터, 압전 소자, 또는 전기 자극기를 포함할 수 있다.
카메라 모듈(1480)은 정지 이미지 또는 동작 이미지들을 캡처할 수 있다. 일 실시예에 따르면, 카메라 모듈(1480)은 하나 이상의 렌즈들, 이미지 센서들, 이미지 시그널 프로세서들, 또는 플래시들을 포함할 수 있다.
전력 관리 모듈(1488)은 전자 장치(1401)에 공급된 전력을 관리할 수 있다. 일 실시예에 따르면, 전력 관리 모듈(1488)은, 예를 들어, 전원 관리 통합 회로 (PMIC; power management integrated circuit)의 적어도 일부로써 구현될 수 있다.
배터리(1489)는 전자 장치(1401)의 적어도 하나의 컴포넌트에 전력을 공급할 수 있다. 일 실시예에 따르면, 배터리(1489)는, 예를 들어, 재충전이 불가능한 일차 전지, 재충전이 가능한 이차 전지, 또는 연료 전지를 포함할 수 있다.
통신 모듈(1490)은 전자 장치(1401)와 외부 전자 장치(예를 들어, 전자 장치(1402), 전자 장치(1404), 또는 서버(1408)) 사이에서 다이렉트(예를 들어, 유선) 통신 채널 혹은 무선 통신 채널을 설정하고 설정된 통신 채널을 통해 통신을 수행하는 것을 지원할 수 있다. 통신 모듈(1490)은 프로세서(1420)(예를 들어, AP)와 독립적으로 동작 가능하고 다이렉트(예를 들어, 유선)통신 또는 무선 통신을 지원하는 하나 이상의 통신 프로세서를 포함할 수 있다. 일 실시예에 따르면, 통신 모듈(1490)은 무선 통신 모듈(1492)(예를 들어, 셀룰러 통신 모듈, 단거리 무선 통신 모듈, 또는 글로벌 위성 항법 시스템 (GNSS; global navigation satellite system) 또는 유선 통신 모듈(1494)(예를 들어, 근거리 통신망(LAN; local area network) 통신 모듈 또는 전력선 통신 (PLC; power line communication) 모듈)을 포함할 수 있다. 이들 통신 모듈 중 대응하는 하나는 제1 네트워크(1498)(예를 들어, BluetoothTM, Wi-Fi(Wireless-Fidelity) 다이렉트, 또는 IrDA(Infrared Data Association)의 표준과 같은 단거리 통신 네트워크) 또는 제2 네트워크(1499)(예를 들어, 셀룰러 네트워크, 인터넷, 또는 컴퓨터 네트워크(예를 들어, LAN 또는 광역 통신망 (WAN; wide area network))와 같은 장거리 통신 네트워크)를 통한 외부 전자 장치와 통신할 수 있다. 이러한 다양한 유형의 통신 모듈은 단일 컴포넌트(예를 들어, 싱글 IC)로써 구현될 수 있거나, 또는 서로 분리된 멀티 컴포넌트들(예를 들어, 멀티 IC들)로써 구현될 수 있다. 무선 통신 모듈(1492)은 가입자 식별 모듈에 저장된 가입자 정보(예를 들어, 국제 모바일 가입자 아이덴티티 (IMSI; international mobile subscriber Identity))를 사용하여, 제1 네트워크(1498) 또는 제2 네트워크(1499)와 같은 통신 네트워크 내의 전자 장치(1401)를 식별하고 진짜임을 증명할 수 있다.
안테나 모듈(1497)은 전자 장치(1401)의 신호 또는 전력을 외부(예를 들어, 외부 전자 장치)로 혹은 외부(예를 들어, 외부 전자 장치)로부터 송신 또는 수신할 수 있다. 일 실시예에 따르면, 안테나 모듈(1497)은 하나 이상의 안테나들을 포함할 수 있으며, 그로부터 제1 네트워크(1498) 혹은 제2 네트워크(1499)와 같은, 통신 네트워크에서 사용되는 통신 방식에 적합한 적어도 하나의 안테나는, 예를 들어, 통신 모듈(1490)(예를 들어, 무선 통신 모듈(1492)에 의해 선택될 수 있다. 신호 또는 전력은 통신 모듈(1490)과 선택된 적어도 하나의 안테나를 통한 외부 전자 장치 사이에서 송신 또는 수신될 수 있다.
상술된 컴포넌트들 중 적어도 일부는 상호-주변 통신 방식(예를 들어, 버스, 범용 입력 및 출력 (GPIO; general purpose input and output), 직렬 주변기기 인터페이스 (SPI; serial peripheral interface), 모바일 산업 프로세서 인터페이스 (MIPI; mobile industry processor interface))을 통해 그들 사이의 신호들(예를 들어, 명령 또는 데이터)과 상호 결합되고 통신할 수 있다.
일 실시예에 따르면, 명령들 혹은 데이터는 제2 네트워크(1499)와 결합된 서버(1408)를 통해 전자 장치(1401)와 외부 전자 장치(1404)사이에서 전송 혹은 수신될 수 있다. 전자 장치들(1402, 1404)의 각각은 전자 장치(1401)와 같은 혹은 다른 유형의 장치일 수 있다. 일 실시예에 따르면, 전자 장치(1401)에서 실행될 모든 또는 일보 동작은 하나 이상의 외부 전자 장치(1402, 1404, 또는 1408)에서 실행될 수 있다. 예를 들어, 전자 장치(1401)가 자동적으로 기능 혹은 서비스를 수행해야 하거나, 또는 기능 또는 서비스를 실행하는 대신에 또는 부가하여, 사용자 또는 다른 장치, 전자 장치(1401)로부터의 요청에 응답하거나, 기능 혹은 서비스의 적어도 일부를 수행하기 위해 하나 이상의 외부 전자 장치를 요구할 수 있다. 요청을 수신하는 하나 이상의 외부 전자 장치는 요구된 기능 또는 서비스의 적어도 일부, 또는 요청에 관련된 부가 기능 또는 부가 서비스를 수행할 수 있고, 전자 장치(1401)로 수행 결과를 전송할 수 있다. 전자 장치(1401)는 요구에 대한 응답의 적어도 일부로써, 결과의 추가 처리를 하거나 혹은 추가 처리 없이 결과를 제공할 수 있다. 이를 위해, 예를 들어, 클라우드 컴퓨팅, 분산 컴퓨팅 또는 클라이언트-서버 컴퓨팅 기술을 사용할 수 있다.
일 실시예는 머신(예를 들어, 전자 장치(1401))에 의해 판독 가능한 저장 매체(예를 들어, 내부 메모리(1436) 또는 외부 메모리(1438))에 저장된 하나 이상의 명령을 포함하는 소프트웨어(예를 들어, 1440)로서 구현될 수 있다. 예를 들어, 머신(예를 들어, 전자 장치(1401))의 프로세서(예를 들어, 프로세서(1420))는 저장 매체에 저장된 하나 이상의 명령들 중 적어도 하나를 호출할 수 있고, 프로세서의 제어 하에 있는 하나 이상의 컴포넌트들을 이용하거나 이용하지 않고 실행한다. 따라서, 호출된 적어도 하나의 명령에 따라 적어도 하나의 기능을 수행하도록 머신이 동작될 수 있다. 하나 이상의 명령어는 컴파일러에 의해 생성된 코드 또는 인터프리터에 의해 실행 가능한 코드를 포함할 수 있다. 머신-판독 가능 저장 매체는 일시적 저장 매체의 형태로 제공될 수 있다. 저장 매체를 가리키는 "비-일시적"이라는 용어는 감지 장치이고, 신호(예를 들어, 전자기파)를 포함하지 않지만, 이 용어는 데이터가 저장 매체에 반영구적으로 저장되는 위치와 데이터가 저장 매체이 일시적으로 저장되는 위치를 구별하지 않는다.
일 실시예에 따르면, 본원의 방법은 컴퓨터 프로그램 제품에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 판매자와 구매자 사이의 제품으로 거래될 수 있다. 컴퓨터 프로그램 제품은 머신-판독 가능 저장 매체(예를 들어, 컴팩트 디스크 판독 전용 메모리(CD-ROM))의 형태로 배포되거나, 어플리케이션 스토어(예를 들어, Play StoreTM)를 통해 온라인으로 배포(예를 들어, 다운로드 또는 업로드)되거나, 2개의 사용자 장치(예를 들어, 스마트 폰) 사이에서 직접 배포될 수 있다. 온라인으로 배포되는 경우, 컴퓨터 프로그램 제품의 적어도 일부는 일시적으로 생성되거나, 제조 업체의 서버의 메모리, 어플리케이션 스토어의 서버, 또는 릴레이 서버와 같은 머신-판독 가능한 저장 매체에 일시적으로 저장될 수 있다.
일 실시예에 따르면, 상기 설명된 구성 요소들의 각각의 구성 요소(예를 들어, 모듈 또는 프로그램)는 단일 엔티티(entity) 또는 다중 엔티티들을 포함할 수 있다. 하나 이상의 상술한 구성 요소들은 생략될 수 있고, 하나 이상의 다른 구성 요소들이 추가될 수 있다. 대안적으로 또는 추가적으로, 복수의 구성 요소들(예를 들어, 모듈들 또는 프로그램들)은 단일 구성 요소로 통합될(integrated) 수 있다. 이러한 경우, 통합된 구성 요소는 통합 전 하나 이상의 복수의 구성 요소들에 의해서 수행되는 것과 동일하거나 유사한 방식으로 여전히 하나 이상의 복수의 구성 요소들의 하나 이상의 기능을 수행할 수 있다. 모듈, 프로그램, 또는 다른 구성요소에 의해 수행되는 동작은 순차적으로, 병렬적으로, 반복적으로, 또는 휴리스틱하게(heuristically) 수행될 수 있으며, 또한 하나 이상의 동작들이 생략되거나 다른 순서로 수행될 수 있으며, 하나 이상의 다른 동작들이 추가될 수 있다.
이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 아래의 특허청구범위에 의해 정의되는 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다.이상 첨부된 도면을 참조하여 본 발명의 실시예들을 설명하였으나, 본 발명은 상기 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 제조될 수 있으며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.

Claims (20)

  1. 제1 변수, 제2 변수 및 상기 제1 변수와 상기 제2 변수 사이의 공통 정보(common information)를 나타내는 결합 잠재 변수(joint latent variable)를 포함하는 결합 잠재 변수 모델(joint latent variable model)을 개발하고,
    상기 결합 잠재 변수 모델의 변분 사후확률(variational posterior)을 생성하고,
    상기 변분 사후확률을 훈련하고,
    상기 변분 사후확률을 기초로 하여 상기 제2 변수로부터 상기 제1 변수의 추론(inference)을 수행하는 방법.
  2. 제 1항에 있어서,
    상기 제1 변수와 상기 제2 변수 사이의 공통 정보를 추출하는 것을 더 포함하는 방법.
  3. 제 2항에 있어서,
    상기 공통 정보를 추출하는 것은, 손실 함수(loss function)에 정규화 항(regularization term)을 더하는 것을 포함하는 방법.
  4. 제 1항에 있어서,
    상기 결합 잠재 변수 모델에 로컬 랜덤성(local randomness)을 더하는 것을 더 포함하는 방법.
  5. 제 4항에 있어서,
    상기 로컬 랜덤성을 더하는 것은, 상기 결합 잠재 변수를 공통 잠재 변수(common latent variable) 및 로컬 잠재 변수(local latent variable)로 분리 (separating)하는 것을 더 포함하는 방법.
  6. 제 4항에 있어서,
    상기 추론을 수행하는 것은, 상기 제2 변수로부터 상기 제1 변수를 조건부로(conditionally)로 생성하는 것을 포함하는 방법.
  7. 제 4항에 있어서,
    상기 추론을 수행하는 것은, 상기 제1 변수 및 상기 제2 변수 중 적어도 하나에 대해서 스타일(style)을 생성하는 것을 포함하는 방법.
  8. 제 1항에 있어서,
    상기 변분 사후확률을 훈련시키는 것은, 상기 결합 잠재 변수 모델에서 디코더를 상기 결합 잠재 변수 모델의 풀 근사 사후확률(full approximate posterior)로 훈련시키는 것을 포함하는 방법.
  9. 제 8항에 있어서,
    상기 변분 사후확률을 훈련시키는 것은, 상기 디코더의 파라미터를 고정시키는 것과, 상기 훈련된 디코더로 주변 변분 사후확률(marginal variational posterior)을 훈련시키는 것을 더 포함하는 방법.
  10. 제 1항에 있어서,
    상기 변분 사후확률을 훈련시키는 것은, 하이퍼파라미터(hyperparameter)를 이용하여 결합되는 상기 결합 잠재 변수 모델, 풀 근사화 사후확률 및 주변 변분 사후확률을 훈련시키는 것을 포함하는 방법.
  11. 적어도 하나의 디코더;
    적어도 하나의 인코더; 및
    프로세서를 포함하되,
    상기 프로세서는,
    제1 변수, 제2 변수 및 상기 제1 변수와 상기 제2 변수 사이의 공통 정보(common information)를 나타내는 결합 잠재 변수(joint latent variable)를 갖는 결합 잠재 변수 모델(joint latent variable model)을 개발하고,
    상기 결합 잠재 변수 모델의 변분 사후확률(variational posterior)을 생성하고,
    상기 변분 사후확률을 훈련하고,
    상기 변분 사후확률을 기초로 상기 제2 변수로부터 상기 제1 변수의 추론(inference)을 수행하는 시스템.
  12. 제 11항에 있어서,
    상기 프로세서는, 상기 제1 변수와 상기 제2 변수 사이의 공통 정보를 더 추출하는 시스템.
  13. 제 12항에 있어서,
    상기 프로세서는, 손실 함수(loss function)에 정규화 항(regularization term)을 더함으로써 구성되는 공통 정보를 더 추출하는 시스템.
  14. 제 11항에 있어서,
    상기 프로세서는, 상기 결합 잠재 변수 모델에 로컬 랜덤성(local randomness)를 더하는 시스템.
  15. 제 14항에 있어서,
    상기 프로세서는, 상기 결합 잠재 변수를 공통 잠재 변수(common latent variable) 및 로컬 잠재 변수(local latent variable)로 분리함으로써 로컬 랜덤성을 더하는 시스템.
  16. 제 14항에 있어서,
    상기 프로세서는, 상기 제2 변수로부터 상기 제1 변수를 조건부로(conditionally) 생성함으로써 추론을 더 수행하는 시스템.
  17. 제 14항에 있어서,
    상기 프로세서는, 상기 제1 변수 또는 상기 제2 변수를 위한 스타일(style)을 생성함으로써 추론을 더 수행하는 시스템.
  18. 제 11항에 있어서,
    상기 프로세서는, 상기 결합 잠재 변수 모델 내의 상기 적어도 하나의 디코더를 상기 결합 잠재 변수 모델의 풀 근사 사후확률(full approximate posterior)로 훈련함으로써 상기 변분 사후확률을 훈련하는 시스템.
  19. 제 18항에 있어서,
    상기 프로세서는, 상기 적어도 하나의 디코더의 파라미터들을 고정하고 상기 훈련된 적어도 하나의 디코더로 주변 변분 사후확률(marginal variational posterior)을 훈련함으로써 상기 변분 사후확룔을 더 훈련하는 시스템.
  20. 제 11항에 있어서,
    상기 프로세서는, 하이퍼파라미터(hyperparameter)를 이용하여 결합되는 상기 결합 잠재 변수 모델, 풀 근사 사후확률(full approximate posterior) 및 상기 변분 사후확률을 훈련함으로써 주변 변분 사후확률(marginal variational posterior)을 더 훈련하는 시스템.
KR1020190102987A 2018-10-26 2019-08-22 공통 표현을 통한 다수의 랜덤 변수 사이의 확률론적 추론을 위한 방법 및 시스템 KR20200049499A (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201862751108P 2018-10-26 2018-10-26
US62/751,108 2018-10-26
US16/373,913 US11620555B2 (en) 2018-10-26 2019-04-03 Method and apparatus for stochastic inference between multiple random variables via common representation
US16/373,913 2019-04-03

Publications (1)

Publication Number Publication Date
KR20200049499A true KR20200049499A (ko) 2020-05-08

Family

ID=70327001

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190102987A KR20200049499A (ko) 2018-10-26 2019-08-22 공통 표현을 통한 다수의 랜덤 변수 사이의 확률론적 추론을 위한 방법 및 시스템

Country Status (4)

Country Link
US (2) US11620555B2 (ko)
KR (1) KR20200049499A (ko)
CN (1) CN111105012A (ko)
TW (1) TWI813802B (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220044011A (ko) * 2020-09-29 2022-04-06 아주대학교산학협력단 텍스트 스타일 변환 방법 및 시스템, 및 이의 구현을 위한 학습 방법

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2580171B (en) * 2018-12-21 2021-02-17 Imagination Tech Ltd Methods and systems for selecting quantisation parameters for deep neural networks using back-propagation
US11615317B2 (en) * 2020-04-10 2023-03-28 Samsung Electronics Co., Ltd. Method and apparatus for learning stochastic inference models between multiple random variables with unpaired data
CN113628124B (zh) * 2020-05-08 2024-01-16 深圳清华大学研究院 Isp与视觉任务联合优化方法、系统、介质和电子设备
CN111783239B (zh) * 2020-06-05 2022-07-08 西北工业大学 涡轮榫连接结构的模糊可靠性分析方法
US20220067983A1 (en) * 2020-08-28 2022-03-03 Nvidia Corporation Object image completion

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2512289C (en) 2005-07-15 2009-12-15 Newpark Canada Inc. Stabilization of waste material
US8630975B1 (en) 2010-12-06 2014-01-14 The Research Foundation For The State University Of New York Knowledge discovery from citation networks
US8521670B2 (en) 2011-05-25 2013-08-27 HGST Netherlands B.V. Artificial neural network application for magnetic core width prediction and modeling for magnetic disk drive manufacture
US9519858B2 (en) 2013-02-10 2016-12-13 Microsoft Technology Licensing, Llc Feature-augmented neural networks and applications of same
US9864953B2 (en) * 2013-05-30 2018-01-09 President And Fellows Of Harvard College Systems and methods for Bayesian optimization using integrated acquisition functions
US10217058B2 (en) 2014-01-30 2019-02-26 Microsoft Technology Licensing, Llc Predicting interesting things and concepts in content
JP6099099B2 (ja) * 2014-02-28 2017-03-22 日本電信電話株式会社 収束判定装置、方法、及びプログラム
US10846589B2 (en) 2015-03-12 2020-11-24 William Marsh Rice University Automated compilation of probabilistic task description into executable neural network specification
CN106156067B (zh) 2015-03-30 2019-11-01 日本电气株式会社 用于为关系数据创建数据模型的方法和系统
US10304001B2 (en) 2015-08-04 2019-05-28 Raytheon Company Robust target identification
US10531839B2 (en) 2016-01-04 2020-01-14 AventuSoft, LLC System and method of marking cardiac time intervals from the heart valve signals
WO2018211143A1 (en) 2017-05-19 2018-11-22 Deepmind Technologies Limited Neural network system
CN108985135A (zh) * 2017-06-02 2018-12-11 腾讯科技（深圳）有限公司 一种人脸检测器训练方法、装置及电子设备
US20190036795A1 (en) * 2017-07-27 2019-01-31 Verizon Patent And Licensing Inc. Method and system for proactive anomaly detection in devices and networks
KR102070049B1 (ko) * 2017-08-08 2020-04-01 한국과학기술원 보조정보를 이용하는 조건부 변분 오토인코더 기반의 협업 필터링 방법 및 장치
US20200401916A1 (en) * 2018-02-09 2020-12-24 D-Wave Systems Inc. Systems and methods for training generative machine learning models
KR102156249B1 (ko) * 2018-10-25 2020-09-15 펄스나인 주식회사 변분 순환 오토인코딩 방식의 자동 색인 시스템 및 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220044011A (ko) * 2020-09-29 2022-04-06 아주대학교산학협력단 텍스트 스타일 변환 방법 및 시스템, 및 이의 구현을 위한 학습 방법

Also Published As

Publication number Publication date
TWI813802B (zh) 2023-09-01
US20230237355A1 (en) 2023-07-27
CN111105012A (zh) 2020-05-05
US11620555B2 (en) 2023-04-04
TW202016804A (zh) 2020-05-01
US20200134499A1 (en) 2020-04-30

Similar Documents

Publication Publication Date Title
KR20200049499A (ko) 공통 표현을 통한 다수의 랜덤 변수 사이의 확률론적 추론을 위한 방법 및 시스템
US20190066680A1 (en) Method of activating voice-recognition service and electronic device for implementing same
US11094072B2 (en) System and method for providing single image depth estimation based on deep neural network
US20220138633A1 (en) Method and apparatus for incremental learning
US20220067582A1 (en) Method and apparatus for continual few-shot learning without forgetting
US11599070B2 (en) Electronic device and method for determining task including plural actions
CN113435568A (zh) 计算机实施的用于训练神经网络的方法和电子系统
US20220058507A1 (en) Method and apparatus for federated learning
US20220093116A1 (en) Transformer with gaussian weighted self-attention for speech enhancement
US20190272459A1 (en) Electronic device and method for controlling external electronic device based on use pattern information corresponding to user
US20230050573A1 (en) System and method for unsupervised learning of segmentation tasks
CN113392180A (zh) 文本处理方法、装置、设备及存储介质
US20230214713A1 (en) Method and apparatus for communication efficient federated learning with global model compression
CN110874402B (zh) 基于个性化信息的回复生成方法、设备和计算机可读介质
US20230334318A1 (en) Method and apparatus for data efficient semantic segmentation
US20220051661A1 (en) Electronic device providing modified utterance text and operation method therefor
KR20190140509A (ko) 재고 추적 방법 및 장치
US11556768B2 (en) Optimization of sparsified neural network layers for semi-digital crossbar architectures
CN113569052A (zh) 知识图谱的表示学习方法及装置
US20220092383A1 (en) System and method for post-training quantization of deep neural networks with per-channel quantization mode selection
US10972201B2 (en) Method and apparatus for providing enhanced reference signal received power estimation
TW202137040A (zh) 無資料對抗式知識蒸餾的方法及系統

Legal Events

Date Code Title Description
A201 Request for examination