TW202016804A - 藉由共用表示進行多個隨機變數之間的隨機性推斷的方法及系統 - Google Patents

藉由共用表示進行多個隨機變數之間的隨機性推斷的方法及系統 Download PDF

Info

Publication number
TW202016804A
TW202016804A TW108138375A TW108138375A TW202016804A TW 202016804 A TW202016804 A TW 202016804A TW 108138375 A TW108138375 A TW 108138375A TW 108138375 A TW108138375 A TW 108138375A TW 202016804 A TW202016804 A TW 202016804A
Authority
TW
Taiwan
Prior art keywords
variable
posterior
patent application
application scope
joint
Prior art date
Application number
TW108138375A
Other languages
English (en)
Other versions
TWI813802B (zh
Inventor
正元 李
哈米 莫斯塔法 伊爾
柳鍾夏
崔裕鎭
Original Assignee
南韓商三星電子股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 南韓商三星電子股份有限公司 filed Critical 南韓商三星電子股份有限公司
Publication of TW202016804A publication Critical patent/TW202016804A/zh
Application granted granted Critical
Publication of TWI813802B publication Critical patent/TWI813802B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G06N5/041—Abduction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Analysis (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Computational Mathematics (AREA)
  • Algebra (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Neurology (AREA)
  • Image Analysis (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Devices For Executing Special Programs (AREA)
  • Information Transfer Between Computers (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本文中揭露一種方法及系統。所述方法包括：開發具有第一變數、第二變數及聯合潛在變數的聯合潛在變數模型，所述聯合潛在變數表示所述第一變數與所述第二變數之間的共用資訊；產生所述聯合潛在變數模型的變分後驗；對所述變分後驗進行訓練；以及基於所述變分後驗自所述第二變數實行所述第一變數的推斷。

Description

藉由共用表示進行多個隨機變數之間的隨機性推斷的方法及系統
本揭露大體而言是有關於神經網路。具體而言，本揭露是有關於藉由共用表示進行多個隨機變數之間的隨機性推斷的方法及設備。
藉由學習隨機性表示（stochastic representiation）進行推斷是機器學習中具有前景的研究領域之一。此研究領域的目標是藉由自觀察到的資料學習分佈來模擬隱含的源（underlying source），此被稱為「產生問題（generation problem）」。近年來，已提出了基於深度神經網路的產生模型，包括基於變分方法（variational method）及產生對立網路（adversarial network）的近似機率性推斷。
根據一個實施例，提供一種方法。所述方法包括：開發具有第一變數、第二變數及聯合潛在變數的聯合潛在變數模型，所述聯合潛在變數表示所述第一變數與所述第二變數之間的共用資訊；產生所述聯合潛在變數模型的變分後驗；對所述變分後驗進行訓練；以及基於所述變分後驗自所述第二變數實行所述第一變數的推斷。.
根據一個實施例，提供一種系統。所述系統包括至少一個解碼器、至少一個編碼器及處理器，所述處理器被配置成：開發具有第一變數、第二變數及聯合潛在變數的聯合潛在變數模型，所述聯合潛在變數表示所述第一變數與所述第二變數之間的共用資訊；產生所述聯合潛在變數模型的變分後驗；對所述變分後驗進行訓練；基於所述變分後驗自所述第二變數實行所述第一變數的推斷。
在下文中，參照附圖詳細闡述本揭露的實施例。應注意，相同的元件將由相同的參考編號指示，儘管它們示出於不同的圖式中。在以下說明中，提供例如詳細配置及組件等具體細節僅是為了幫助全面理解本揭露的實施例。因此，對熟習此項技術者應顯而易見，在不背離本揭露的範圍的條件下可對本文所述的實施例作出各種改變及潤飾。另外，為清晰及簡潔起見，省略對眾所習知的功能及構造的說明。以下所述用語是考慮到本揭露中的功能而定義的用語，且可根據使用者、使用者的意圖或習慣而有所不同。因此，該些用語的定義應基於本說明書通篇的內容來確定。
本揭露可具有各種潤飾及各種實施例，以下參照附圖詳細闡述其中的一些實施例。然而應理解，本揭露並非僅限於所述實施例，而是包括處於本揭露的範圍內的所有潤飾、等效形式及替代形式。
儘管可能使用包括例如「第一（first）」、「第二（second）」等序數詞的用語來闡述各種元件，但結構元件不受該些用語限制。該些用語僅用於區分各個元件。舉例而言，在不背離本揭露的範圍的條件下，「第一結構元件」可被稱為「第二結構元件」。相似地，「第二結構元件」亦可被稱為「第一結構元件」。本文中所用的用語「及/或（and/or）」包括一或多個相關項的任意及所有組合。
本文中所用的用語僅用於闡述本揭露的各種實施例，而並非旨在限制本揭露。除非上下文清楚地另外指明，否則單數形式旨在包括複數形式。在本揭露中，應理解，用語「包括（include）」或「具有（have）」指示特徵、數目、步驟、操作、結構元件、部件或其組合的存在，而不排除一或多個其他特徵、數字、步驟、操作、結構元件、部件或其組合的存在或添加的可能。
除非進行不同地定義，否則本文中所用的所有用語均具有與熟習本揭露所屬技術者所理解的含意相同的含意。例如在常用字典中所定義的用語等用語應被解釋為具有與相關技術領域中的上下文含意相同的含意，且除非在本揭露中進行清楚定義，否則不應將其解釋為具有理想化或過於正式的含意。
根據一個實施例的電子裝置可為各種類型的電子裝置中的一種。電子裝置可包括例如可攜式通訊裝置（例如，智慧型電話）、電腦、可攜式多媒體裝置、可攜式醫療裝置、相機、可穿戴裝置或家用電器。根據本揭露的一個實施例，電子裝置並非僅限於上述電子裝置。
本揭露中所用的用語並非旨在限制本揭露，而是旨在包括對對應實施例的各種改變、等效形式或替換形式。關於對附圖的說明，可使用相似的參考編號指代相似的或相關的元件。除非相關上下文清楚地另外指明，否則與物項對應的名詞的單數形式可包括一或多個事物。本文所用的例如「A或B」、「A及B中的至少一者」、「A或B中的至少一者」、「A、B或C」、「A、B、及C中的至少一者」及「A、B、或C中的至少一者」等片語中的每一者可包括與片語中的對應一個片語一同枚舉的物項的所有可能組合。本文所用的例如「第一（1st 、first）」及「第二（2nd、second）」等用語可用於將對應的組件與另一組件進行區分，而不旨在在其他態樣（例如，重要性或次序）對組件進行限制。本文意圖在於，若在帶有或不帶有用語「可操作地」或「可通訊地」的條件下將元件（例如，第一元件）稱為與另一元件（例如，第二元件）「耦合」、「耦合至」另一元件、與另一元件「連接」或「連接至」另一元件，則其表示元件可直接地（例如，以有線方式）、無線地或藉由第三元件與另一元件耦合。
本文所用用語「模組」可包括以硬體、軟體或韌體形式實施的單元，且可與例如「邏輯」、「邏輯區塊」、「部件」及「電路系統」等其他用語互換使用。模組可為適以執行一或多種功能的單個整體組件或所述單個整體組件的最小單元或部件。舉例而言，根據一個實施例，模組可被實施為應用專用積體電路（application-specific integrated circuit，ASIC）的形式。
圖1是根據實施例的潛在變數模型100的圖。Z 102表示
Figure 02_image001
且X 104表示
Figure 02_image003
。機率性推斷的目標是自資料分佈
Figure 02_image003
的樣本
Figure 02_image005
學習資料分佈
Figure 02_image003
。在已知分佈的參數族
Figure 02_image007
的條件下，可能難以直接找到使
Figure 02_image009
充分近似於
Figure 02_image011
的參數
Figure 02_image013
。因此，一種方法是引入圖1中所繪示的潛在變數
Figure 02_image015
作為弛豫問題（relaxed problem）。表1示出各個項及定義供參考，但所述項並非僅限於表1中所呈現的定義。表 1
Figure 02_image017
通常而言，
Figure 02_image019
是固定先驗分佈，例如標準正常分佈。假設為此模型，則聯合分佈可由潛在變數模型
Figure 02_image021
進行表徵以滿足
Figure 02_image023
。此可由方程式（1）以公式形式表示。
Figure 108138375-A0304-0001
方程式（1）相當於對方程式（2）中的最大似然度估計進行求解。
Figure 108138375-A0304-0002
然而，邊緣密度
Figure 02_image009
通常因積分而難以找到。為解決此問題，變分方法引入變分分佈
Figure 02_image029
作為真正後驗
Figure 02_image031
的近似。藉此，可導出對數損失（log-loss）的變分上界（upper bound），如方程式（3）所示。
Figure 108138375-A0304-0003
在方程式（3）中，項
Figure 02_image035
充當正規化項，而項
Figure 02_image037
可被解釋為重構對數損失（reconstruction log loss）。損失函數的真正風險根據方程式（4）給出。
Figure 108138375-A0304-0004
在方程式（4）中，h (p )表示密度p 的差熵（differential entropy）。此外，應注意方程式（5）。
Figure 108138375-A0304-0005
因此，對於變分學習（例如，使風險
Figure 02_image043
最小化），根據方程式（5），其是關於方程式（2）中的最大似然度估計的弛豫最佳化問題，且根據方程式（4），其相當於對方程式（6）中的弛豫聯合分佈匹配問題進行求解，而非直接對方程式（1）中的邊緣分佈匹配問題進行求解：
Figure 108138375-A0304-0006
如本文中所述，
Figure 02_image013
表示下伏潛在模型的參數，且
Figure 02_image015
表示變分後驗的參數。若在同一模型中存在多個變分後驗，則對應的調節變數（conditioning variable）以參數
Figure 02_image015
的下標形式呈現（例如，
Figure 02_image047
、
Figure 02_image049
等）。
圖2及圖3是根據實施例的變數模型的圖。模型200繪示了整個潛在變數模型
Figure 02_image051
，其中Z 202表示
Figure 02_image001
，X 204表示
Figure 02_image003
且Y 206表示
Figure 02_image053
。模型302是模型200的部分潛在變數模型
Figure 02_image021
且模型304是模型200的部分潛在變數模型
Figure 02_image055
。
對於大多數參數分佈，正規化項
Figure 02_image035
可僅使用分佈的參數而以分析方式進行計算，所述分佈的參數由
Figure 02_image057
的可微映射（differentiable mapping）確定。當試圖取得重構錯誤的導數時會出現挑戰。所述導數可根據方程式（7）而藉由簡單蒙特卡羅近似（Monte-Carlo approximation）進行近似：
Figure 108138375-A0304-0007
其中L是用於近似的樣本的數目。不可微採樣程序
Figure 02_image061
會禁止最佳化程序。為避免此問題，引入重新參數化技巧（reparameterization trick），所述重新參數化技巧的關鍵構想是可藉由
Figure 02_image063
對
Figure 02_image061
進行採樣，其中
Figure 02_image065
是可微確定性映射且
Figure 02_image067
是假設易於採樣的輔助隨機變數。
基於重新參數化技巧而使用深度神經網路進行的具有易解的分佈參數化的變分學習亦被稱為自動編碼變分貝葉斯（auto-encoding variational Bayes，AEVB）。
圖4是根據實施例的藉由共用表示實行變分推斷的流程圖400。在已知成對資料
Figure 02_image069
的情況下，求欲被學習的X與Y之間的統計關係。儘管本文中所述的實施例利用兩個變數，然而基於本文中的揭露，對熟習此項技術者將顯而易見的是，所述模型可擴展至多個變數。多路推斷（multi-way inference）或自X至Y及自Y至X的兩路推斷皆藉由學習
Figure 02_image071
及
Figure 02_image073
實行。因此，系統對聯合潛在變數模型
Figure 02_image075
進行訓練且接著藉由共用表示Z實行推斷。Z表示X與Y的聯合表示，所述聯合表示包含X及Y二者的足以確保條件獨立性X ╨ Y∣Z的資訊。因此，在已知任何觀察的情況下，正確猜測Z應足以對任何變數X或Y進行推斷。
在402處，系統開發聯合潛在變數模型及聯合變數模型的變分後驗。為基於觀察{X = x}推斷出Y且在可得到模型後驗
Figure 02_image077
的情況下，可藉由對
Figure 02_image079
進行採樣及對
Figure 02_image081
進行採樣而對自
Figure 02_image083
進行Y的採樣的採樣程序進行近似。亦可藉由方程式（8）來對條件分佈進行近似。
Figure 108138375-A0304-0008
在方程式（8）中，S是用於近似的樣本的數目。因此，對於分立的隨機變數Y，可根據方程式（9）實行近似最大後驗（maximum-a-posteriori，MAP）檢測。
Figure 108138375-A0304-0009
在已知模型後驗
Figure 02_image089
的情況下，可藉由聯合表示Z而使用
Figure 02_image091
自X實行Y的近似推斷，且Y的近似推斷被稱為藉由聯合表示的隨機性推斷。
模型後驗
Figure 02_image089
是難解的。因此，產生並使用變分後驗（或部分近似後驗）
Figure 02_image093
。若
Figure 02_image093
接近
Figure 02_image089
，則可改為藉由
Figure 02_image095
實行推斷，此被稱為藉由聯合表示的變分推斷。
在404處，系統對變分後驗進行訓練。對變分後驗進行訓練利用以下概念：變分學習相當於匹配聯合分佈，如方程式（10）。
Figure 108138375-A0304-0010
若已知
Figure 02_image021
使得
Figure 02_image099
，則使目標最小化將確保
Figure 02_image101
Figure 02_image103
Figure 02_image105
。因此，可藉助變分後驗
Figure 02_image107
對完全潛在變數模型
Figure 02_image051
進行訓練，以確保
Figure 02_image105
及
Figure 02_image109
完全擬合聯合分佈
Figure 02_image111
。接著，便可在推斷中使用變分後驗
Figure 02_image101
及/或
Figure 02_image113
。
可基於多種演算法對聯合模型及變分後驗進行訓練。第一種演算法是兩步式訓練演算法。可藉由對方程式（11）求解來對潛在模型
Figure 02_image115
及變分編碼器
Figure 02_image107
進行訓練。
Figure 108138375-A0304-0011
接著，可藉由對方程式（12）求解來對變分編碼器
Figure 02_image101
進行訓練。
Figure 108138375-A0304-0012
在方程式（12）中，假設方程式（11）找到了良好模型似然度
Figure 02_image105
及
Figure 02_image109
，且解碼器參數θ 被凍結。在方程式（12）中亦可對基於Y的編碼器進行訓練。
作為另外一種選擇，在第二種演算法中可利用超參數α同時對聯合模型與變分後驗進行訓練。在給定超參數α > 0的情況下，藉由對方程式（13）求解而聯合潛在模型
Figure 02_image115
以及變分編碼器
Figure 02_image107
及
Figure 02_image101
（即，邊緣變分後驗）。
Figure 108138375-A0304-0013
為一同訓練
Figure 02_image113
（即，邊緣變分後驗），可將目標設定成方程式（14）。
Figure 108138375-A0304-0014
超參數
Figure 02_image125
及
Figure 02_image127
是指定的且大於0。
第一種演算法不具有要進行調諧的超參數，因此第一種演算法可容易地普遍應用於多變數模型，而第二種演算法中的超參數的數目對於超參數模型則變得更大。然而，由於僅存在少數成對樣本以及相較之下存在更多的不成對樣本，因此第二種演算法在半監督式學習設定下變得有利，乃因其可自然地包含半監督式資料集。
在406處，系統實行推斷。一般而言，由於解碼器
Figure 02_image105
及
Figure 02_image109
需要自聯合表示Z提取用於產生X或Y的相關資訊，因此對潛在變數模型
Figure 02_image051
進行訓練可為困難的。因此，系統可針對每一變數將隨機性以局部隨機變數
Figure 02_image129
及
Figure 02_image131
的形式引入至模型中，以容許一定的結構鬆弛性（structural slackness）來擬合所期望的資訊分解。藉由引入隨機變數，潛在變數模型變成
Figure 02_image133
，其中X及Y僅自(
Figure 02_image129
, W)及(
Figure 02_image131
, W)產生。為簡化表示法，z =
Figure 02_image135
，
Figure 02_image137
=
Figure 02_image139
且
Figure 02_image141
=
Figure 02_image143
。
W充當X及Y的共用表示，而局部隨機性
Figure 02_image129
及
Figure 02_image131
捕獲其餘的隨機性。所述模型可採用與不具有隨機性的模型相同的方式進行訓練。現在由方程式（15）給出變分損失函數且由方程式（16）給出對應的風險。
Figure 108138375-A0304-0015
可藉由條件產生來實行推斷，使得在已知
Figure 02_image149
的情況下，系統將有條件地產生Y。若
Figure 02_image151
已被訓練，則可獲取樣本(
Figure 02_image153
且可產生Y為
Figure 02_image155
，其中
Figure 02_image157
。
亦可實行式樣產生。已知(X, Y)的成對資料，其中X是數位影像且Y是所述影像的標籤。Y幾乎由影像確定，且可產生局部隨機性
Figure 02_image131
。在已知參考影像
Figure 02_image149
的情況下，可產生具有不同標籤的
Figure 02_image149
的相同式樣的一組影像。式樣產生可分三個步驟實行。首先，本系統對
Figure 02_image159
進行採樣並儲存
Figure 02_image161
=
Figure 02_image163
。其次，對於每一標籤y，本系統對
Figure 02_image165
進行採樣並儲存w(y) = w。最後，本系統產生
Figure 02_image167
~
Figure 02_image169
。
此程序假設W單獨地表示共用資訊（例如，本實例中的標籤資訊），且局部隨機變數獲取除共用資訊（例如，數位的式樣）之外的所有其他屬性（隨機性）。然而，由於此目標僅鼓勵匹配聯合分佈，因此本生地（natively）將方程式（16）最佳化並不會保證此種資訊分解。舉例而言，其中W包含X及Y二者的所有資訊的極端情形仍是可能的解決方案。
圖5及圖6是根據實施例的具有局部隨機性的潛在模型的圖。模型500示出基礎模型，且模型600示出當H(Y∣X)
Figure 02_image171
時的退化情形。
在408處，系統提取共用資訊。共用資訊的提取可在406處的推斷步驟期間實行。可藉由添加相互資訊正規化項（mutual information regularization term）及將以下方程式（20）所述的成本函數最佳化（即對將方程式（20）最佳化的聯合模型進行訓練，此會生成能夠提取共用資訊的模型）來實行共用資訊提取。
懷納（Wyner）的共用資訊表示最小說明比率（minimum description rate）以對兩個隨機變數的分佈進行模擬。在已知兩個隨機變數
Figure 02_image173
及
Figure 02_image175
的情況下，由方程式（17）給出共用資訊。
Figure 108138375-A0304-0016
Figure 02_image173
– W –
Figure 02_image175
形成馬可夫鏈（Markov chain）。此可被解釋為為了分別對
Figure 02_image173
及
Figure 02_image175
進行近似地模擬而欲被共同傳輸至每一位置的資訊的位元的最小數目，而每一位置能夠使用任意量的局部隨機性。
此外，方程式（18）在訓練中並不是易解的。
Figure 108138375-A0304-0017
因此，使用如方程式（19）中的變分近似。
Figure 108138375-A0304-0018
因此，用於藉由添加正規化項
Figure 02_image183
進行共用資訊提取的損失函數由方程式（20）給出。
Figure 108138375-A0304-0019
本文中所揭露的系統及方法包括可被整合至電子裝置、網路等中的製程/演算法。所述系統及方法可使用電子裝置的影像拍攝裝置實行推斷、以及實行對熟習此項技術者將顯而易見的其他實際應用（例如影像字幕（image captioning）、影像修復（image in-painting）、影像至影像轉譯（例如，馬至斑馬）、式樣轉移、文本至語音轉換、視訊中的缺失訊框/未來訊框預測）。
圖7是根據實施例的系統700的圖，在系統700中對上述各實施例進行整合及實施。在系統700中，輸入702被發送至編碼器704，編碼器704根據方程式（21）對輸入702進行處理以根據方程式（22）進行採樣706。
Figure 02_image187
（21）
Figure 02_image189
（22）
編碼器704的輸出亦被發送以根據方程式（23）對正規化損失708進行計算且根據方程式（24）對共用資訊提取的正規化損失710進行計算。
Figure 02_image191
（23）
Figure 02_image193
（24）
使用先驗分佈
Figure 02_image195
711對正規化損失708及共用資訊提取的正規化損失710進行計算。樣本712被發送至解碼器714，而共用表示716根據方程式（25）進行後期處理718且亦被發送至解碼器714。
Figure 02_image197
…
Figure 02_image199
Figure 108138375-A0304-0020
解碼器714輸出預測720。根據方程式（26）而基於解碼器714的輸出、共用表示716的後期處理、樣本712及輸入702對重構損失722進行計算。
Figure 108138375-A0304-0021
重構損失722與正規化損失708及共用資訊提取的正規化損失710進行組合以根據方程式（27）確定損失函數（loss function）724。
Figure 108138375-A0304-0022
其中
Figure 02_image211
且
Figure 02_image213
。此外，每一參數
Figure 02_image215
表示不同的網路，且
Figure 02_image217
。
圖8是根據實施例的用於加一實驗（add-one experiment）的資料集及資料集對的圖。資料集800是手寫數位的國家標準與技術研究院（Modified National Institute of Standards and Technology，MNIST）資料集，且加一資料集對802提取自資料集800。
在以下的圖9到圖13中，
Figure 02_image219
表示共用變數的維數（dim），而
Figure 02_image221
及
Figure 02_image223
表示局部變數的維數。圖9是根據實施例的聯合產生結果的圖。結果900來自其中
Figure 02_image219
= 16且
Figure 02_image225
4的MNIST-MNIST加一實驗。結果902來自其中
Figure 02_image219
= 8且
Figure 02_image225
2的MNIST-街道視圖門牌號（Street View House Number，SVHN）加一實驗。
圖10是根據實施例的條件產生及式樣轉移結果的圖。結果1000來自其中
Figure 02_image219
= 8且
Figure 02_image225
4的條件產生的MNIST-MNIST加一實驗。結果1002來自其中
Figure 02_image219
= 8且
Figure 02_image225
4的式樣轉移的MNIST-MNIST加一實驗。
圖11是根據實施例的條件產生及式樣轉移結果的圖。結構1100來自其中
Figure 02_image219
= 16且
Figure 02_image225
4的條件產生的MNIST-MNIST加一實驗。結果1102來自其中
Figure 02_image219
= 16且
Figure 02_image225
4的式樣轉移的MNIST-MNIST加一實驗。
圖12是根據實施例的條件產生及式樣轉移結果的圖。結果1200來自其中
Figure 02_image219
= 8且
Figure 02_image225
2的條件產生的MNIST-SVHN加一實驗。結果1202來自其中
Figure 02_image219
= 8且
Figure 02_image225
2的式樣轉移的MNIST-SVHN加一實驗。
圖13是根據實施例的條件產生及式樣轉移結果的圖。結果1300來自其中
Figure 02_image219
= 8且
Figure 02_image225
16的條件產生的MNIST-SVHN加一實驗。結果1302來自其中
Figure 02_image219
= 8且
Figure 02_image225
16的式樣轉移的MNIST-SVHN加一實驗。
圖14是根據一個實施例的網路環境1400中的電子裝置1401的方塊圖。參照圖14，網路環境1400中的電子裝置1401可藉由第一網路1498（例如，短距離無線通訊網路）來與電子裝置1402進行通訊，或者藉由第二網路1499（例如，長距離無線通訊網路）來與電子裝置1404或伺服器1408進行通訊。電子裝置1401可藉由伺服器1408來與電子裝置1404進行通訊。電子裝置1401可包括處理器1420、記憶體1430、輸入裝置1450、聲音輸出裝置1455、顯示裝置1460、音訊模組1470、感測器模組1476、介面1477、觸感模組（haptic module）1479、相機模組1480、電源管理模組1488、電池1489、通訊模組1490、用戶識別模組（subscriber identification module，SIM）1496或天線模組1497。在一個實施例中，可自電子裝置1401省略該些組件中的至少一者（例如，顯示裝置1460或相機模組1480），或者可向電子裝置1401添加一或多個其他組件。在一個實施例中，所述組件中的一些組件可被實施為單個積體電路（integrated circuit，IC）。舉例而言，感測器模組1476（例如，指紋感測器（fingerprint sensor）、虹膜感測器（iris sensor）或亮度感測器（illuminance sensor））可嵌入於顯示裝置1460（例如，顯示器）中。
處理器1420可執行例如軟體（例如，程式1440）以控制與處理器1420耦合的電子裝置1401的至少一個其他組件（例如，硬體組件或軟體組件），且可實行各種資料處理或計算。作為資料處理或計算的至少一部分，處理器1420可在揮發性記憶體1432中加載自另一組件（例如，感測器模組1476或通訊模組1490）接收的命令或資料，處理儲存於揮發性記憶體1432中的命令或資料，以及將所得資料儲存於非揮發性記憶體1434中。處理器1420可包括主處理器1421（例如，中央處理單元（central processing unit，CPU）或應用處理器（application processor，AP））以及能夠獨立於主處理器1421運作或與主處理器1421結合運作的輔助處理器1423（例如，圖形處理單元（graphics processing unit，GPU）、影像訊號處理器（image signal processor，ISP）、感測器集線器處理器（sensor hub processor）或通訊處理器（communication processor，CP））。另外地或作為另一選擇，輔助處理器1423可適以消耗較主處理器1421少的功率，或者執行特定功能。輔助處理器1423可與主處理器1421分開實施或者作為主處理器1421的一部分實施。
當主處理器1421處於非現用（inactive）（例如，睡眠）狀態時，輔助處理器1423可替代主處理器1421來控制與電子裝置1401的組件中的至少一個組件（例如，顯示裝置1460、感測器模組1476或通訊模組1490）相關的功能或狀態中的至少一些功能或狀態；或者當主處理器1421處於現用狀態（例如，正在執行應用時），輔助處理器1423可與主處理器1421一起控制上述功能或狀態中的至少一些功能或狀態。根據一個實施例，輔助處理器1423（例如，影像訊號處理器或通訊處理器）可被實施為在功能上與輔助處理器1423相關的另一組件（例如，相機模組1480或通訊模組1490）的一部分。
記憶體1430可儲存由電子裝置1401的至少一個組件（例如，處理器1420或感測器模組1476）使用的各種資料。所述各種資料可包括例如軟體（例如，程式1440）以及用於與軟體相關的命令的輸入資料或輸出資料。記憶體1430可包括揮發性記憶體1432或非揮發性記憶體1434。
程式1440可作為軟體儲存於記憶體1430中且可包括例如作業系統（operating system，OS）1442、中間軟體（middleware）1444或應用1446。
輸入裝置1450可自電子裝置1401的外部（例如，使用者）接收欲由電子裝置1401的其他組件（例如，處理器1420）使用的命令或資料。輸入裝置1450可包括例如麥克風、滑鼠或鍵盤。
聲音輸出裝置1455可將聲音訊號輸出至電子裝置1401的外部。聲音輸出裝置1455可包括例如揚聲器或接收器。揚聲器可用於一般用途（例如播放多媒體或錄音），且接收器可用於接收傳入呼叫。根據一個實施例，接收器可與揚聲器分開實施或作為揚聲器的一部分實施。
顯示裝置1460可向電子裝置1401的外部（例如，使用者）以視覺方式提供資訊。顯示裝置1460可包括例如顯示器、全息圖裝置（hologram device）或投影儀以及用於控制顯示器、全息圖裝置及投影儀中的對應一者的控制電路系統。根據一個實施例，顯示裝置1460可包括適以偵測觸摸的觸摸電路系統、或適以量測由觸摸引發的力的強度的感測器電路系統（例如，壓力感測器）。
音訊模組1470可將聲音轉換成電性訊號以及將電性訊號轉換成聲音。根據一個實施例，音訊模組1470可藉由輸入裝置1450獲得聲音，或者藉由聲音輸出裝置1455或藉由與電子裝置1401直接地（例如，以有線方式）耦合或無線耦合的外部電子裝置1402的頭戴耳機來輸出聲音。
感測器模組1476可偵測電子裝置1401的運作狀態（例如，功率或溫度）或者電子裝置1401外部的環境狀態（例如，使用者狀態），且接著產生與所偵測的狀態對應的電性訊號或資料值。感測器模組1476可包括例如手勢感測器（gesture sensor）、陀螺儀感測器（gyro sensor）、大氣壓感測器（atmospheric pressure sensor）、磁性感測器（magnetic sensor）、加速度感測器（acceleration sensor）、握持感測器（grip sensor）、接近感測器（proximity sensor）、顏色感測器（color sensor）、紅外（infrared，IR）感測器、生物特徵感測器（biometric sensor）、溫度感測器（temperature sensor）、濕度感測器（humidity sensor）或亮度感測器。
介面1477可支援為將電子裝置1401直接地（例如，以有線方式）或無線地與外部電子裝置1402耦合而使用的一或多種規定協定。根據一個實施例，介面1477可包括例如高清晰度多媒體介面（high definition multimedia interface，HDMI）、通用串列匯流排（universal serial bus，USB）介面、安全數位（secure digital，SD）卡介面或音訊介面。
連接端子1478可包括連接件，電子裝置1401可藉由連接件與外部電子裝置1402實體連接。根據一個實施例，連接端子1478可包括例如HDMI連接件、USB連接件、SD卡連接件或音訊連接件（例如，頭戴耳機連接件）。
觸感模組1479可將電性訊號轉換成機械刺激（例如，震動或移動）或者可由使用者藉由觸覺（tactile sensation）或動覺（kinesthetic sensation）識別的電性刺激。根據一個實施例，觸感模組1479可包括例如馬達（motor）、壓電式元件（piezoelectric element）或電性刺激器（electrical stimulator）。
相機模組1480可拍攝靜止影像或移動影像。根據一個實施例，相機模組1480可包括一或多個鏡頭、影像感測器、影像訊號處理器或閃光燈。
電源管理模組1488可管理向電子裝置1401供應的電力。電源管理模組1488可被實施為例如電源管理積體電路（power management integrated circuit，PMIC）的至少一部分。
電池1489可向電子裝置1401的至少一個組件供電。根據一個實施例，電池1489可包括例如不可再充電的原電池（primary cell）、可再充電的二次電池（secondary cell）或燃料電池（fuel cell）。
通訊模組1490可支援在電子裝置1401與外部電子裝置（例如，電子裝置1402、電子裝置1404或伺服器1408）之間建立直接的（例如，有線的）通訊通道或無線的通訊通道以及藉由所建立的通訊通道實行通訊。通訊模組1490可包括可獨立於處理器1420（例如，AP）運作的一或多個通訊處理器並支援直接的（例如，有線的）通訊或無線的通訊。根據一個實施例，通訊模組1490可包括無線通訊模組1492（例如，蜂巢式通訊模組、短距離無線通訊模組或全球導航衛星系統（global navigation satellite system，GNSS）通訊模組）或有線通訊模組1494（例如，局部區域網路（local area network，LAN）通訊模組或電力線通訊（power line communication，PLC）模組）。該些通訊模組中對應的一個通訊模組可藉由第一網路1498（例如，短距離通訊網路，例如藍芽TM 、無線保真（wireless-fidelity，Wi-Fi）直接或紅外資料協會（Infrared Data Association，IrDA）標準）或第二網路1499（例如，長距離通訊網路，例如蜂巢式網路、網際網路或電腦網路（例如，LAN或廣域網路（wide area network，WAN）））與外部電子裝置進行通訊。該些各種類型的通訊模組可被實施為單個組件（例如，單個積體電路）或者可被實施為彼此分開的多個組件（例如，多個積體電路）。無線通訊模組1492可利用儲存於用戶識別模組1496中的用戶資訊（例如，國際行動用戶識別碼（international mobile subscriber identity，IMSI））來識別及認證通訊網路（例如第一網路1498或第二網路1499）中的電子裝置1401。
天線模組1497可將訊號或電力傳送至電子裝置1401外部（例如，外部電子裝置）或者自電子裝置1401外部（例如，外部電子裝置）接收訊號或電力。根據一個實施例，天線模組1497可包括一或多個天線，且可舉例而言由通訊模組1490（例如，無線通訊模組1492）自所述一或多個天線中選擇適用於在通訊網路（例如第一網路1498或第二網路1499）中使用的通訊方案的至少一個天線。接著可藉由所選擇的至少一個天線在通訊模組1490與外部電子裝置之間傳送或接收訊號或電力。
上述組件中的至少一些組件可相互耦合且所述至少一些組件之間可藉由周邊間通訊方案（inter-peripheral communication scheme）（例如，匯流排、通用輸入及輸出（general purpose input and output，GPIO）、串列周邊介面（serial peripheral interface，SPI）或行動產業處理器介面（mobile industry processor interface，MIPI））傳送訊號（例如，命令或資料）。
根據一個實施例，可藉由與第二網路1499耦合的伺服器1408在電子裝置1401與外部電子裝置1404之間傳送或接收命令或資料。電子裝置1402及電子裝置1404中的每一者可為與電子裝置1401為相同類型或不同類型的裝置。欲在電子裝置1401處執行的所有操作或一些操作可在外部電子裝置1402、外部電子裝置1404或外部電子裝置1408中的一或多者處執行。舉例而言，若電子裝置1401原本應自動地或響應於來自使用者或另一裝置的請求而實行功能或服務，則替代執行所述功能或服務或者除了執行所述功能或服務之外，電子裝置1401亦可請求所述一或多個外部電子裝置實行所述功能或服務的至少一部分。接收到所述請求的所述一或多個外部電子裝置可實行所請求的功能或服務的所述至少一部分，或者實行與所述請求相關的其他功能或其他服務，並將所述實行的結果傳輸至電子裝置1401。電子裝置1401可在對結果進行進一步處理或不進行進一步處理的情況下提供所述結果作為對請求的回復的至少一部分。為此，舉例而言，可使用雲端計算、分佈式計算或客戶機-伺服器計算技術。
一個實施例可被實施為包括儲存於可由機器（例如，電子裝置1401）讀取的儲存媒體（例如，內部記憶體1436或外部記憶體1438）中的一或多個指令的軟體（例如，程式1440）。舉例而言，電子裝置1401的處理器可在使用或不使用受處理器控制的一或多個其他組件的條件下調用儲存於儲存媒體中的所述一或多個指令中的至少一個指令，並執行所述至少一個指令。因此，可操作機器根據所調用的所述至少一個指令來實行至少一種功能。所述一或多個指令可包括由編譯器產生的代碼或者可由解釋器執行的代碼。機器可讀取儲存媒體可設置成非暫態儲存媒體形式。用語「非暫態」指示儲存媒體是有形裝置，且不包括訊號（例如，電磁波），但此用語並不區分資料以半永久方式儲存於儲存媒體中的情形與資料臨時儲存於儲存媒體中的情形。
根據一個實施例，本揭露的方法可包括在電腦程式產品中及在電腦程式產品中提供。電腦程式產品可在賣方與買方之間作為產品進行交易。電腦程式產品可以機器可讀取儲存媒體（例如，光盤唯讀記憶體（compact disc read only memory，CD-ROM））形式分發，或者藉由應用商店（例如，播放商店TM （Play StoreTM ））在線分發（例如，下載或上傳），或者直接在兩個使用者裝置（例如，智慧型電話）之間分發。若在線分發，則電腦程式產品的至少一部分可在機器可讀取儲存媒體（例如，製造商伺服器的記憶體、應用商店的伺服器或中繼伺服器）中臨時產生或至少臨時儲存於所述機器可讀取儲存媒體中。
根據一個實施例，上述組件中的每一個組件（例如，模組或程式）可包括單個實體或多個實體。可省略上述組件中的一或多者，或者可添加一或多個其他組件。作為另一選擇或另外地，可將多個組件（例如，模組或程式）整合成單個組件。在此種情形中，積體組件仍可以與在整合之前所述多個組件中的對應一者實行一或多種功能的方式相同或相似的方式實行所述多個組件中的每一者的所述一或多種功能。由模組、程式或另一組件實行的操作可依序地、並列地、重複地或啟發式地執行，或者所述操作中的一或多個操作可以不同的次序執行或者被省略，或者可添加一或多個其他操作。
儘管已在本揭露的詳細說明中闡述了本揭露的某些實施例，然而在不背離本揭露的範圍的條件下可以各種形式來對本揭露進行修改。因此，本揭露的範圍不應僅基於所闡述的實施例來確定，而是應基於隨附申請專利範圍及其等效形式來確定。
100:潛在變數模型 200、302、304、500、600:模型 400:流程圖 402、404、406、408:步驟 700:系統 702:輸入 704:編碼器 706:採樣 708:正規化損失 710:共用資訊提取的正規化損失 711:先驗分佈p (z) 712:樣本 714:解碼器 716:共用表示 718:後期處理 720:預測 722:重構損失 724:損失函數 800:資料集 802:加一資料集對 900、902、1000、1002、1100、1102、1200、1202、1300、1302:結果 1400:網路環境 1401:電子裝置 1402、1404:電子裝置/外部電子裝置 1408:伺服器/外部電子裝置 1420:處理器 1421:主處理器 1423:輔助處理器 1430:記憶體 1432:揮發性記憶體 1434:非揮發性記憶體 1436:內部記憶體 1438:外部記憶體 1440:程式 1442:作業系統（OS） 1444:中間軟體 1446:應用 1450:輸入裝置 1455:聲音輸出裝置 1460:顯示裝置 1470:音訊模組 1476:感測器模組 1477:介面 1478:連接端子 1479:觸感模組 1480:相機模組 1488:電源管理模組 1489:電池 1490:通訊模組 1492:無線通訊模組 1494:有線通訊模組 1496:用戶識別模組（SIM） 1497:天線模組 1498:第一網路 1499:第二網路
Figure 02_image129
、
Figure 02_image227
X:變數 104、204:資料分佈pdata(x) Y:變數/隨機變數 206:資料分佈pdata(y) Z:共用表示/聯合表示 102、202:固定先驗分佈
Figure 02_image001
θ:參數
Figure 02_image015
:參數/潛在變數
結合附圖閱讀以下詳細說明，本揭露的某些實施例的以上及其他態樣、特徵及優點將更顯而易見，在附圖中： 圖1、圖2及圖3是根據實施例的潛在模型的圖。 圖4是根據實施例的實行推斷的方法的流程圖。 圖5及圖6是根據實施例的具有局部隨機性的潛在模型的圖。 圖7是根據實施例的系統的圖。 圖8是根據實施例的資料集及資料對的圖。 圖9是根據實施例的聯合產生結果的圖。 圖10、圖11、圖12及圖13是根據實施例的條件產生及式樣轉移結果的圖。 圖14是根據一個實施例的網路環境中的電子裝置的方塊圖。
400:流程圖
402、404、406、408:步驟

Claims (20)

  1. 一種藉由共用表示進行多個隨機變數之間的隨機性推斷的方法，包括： 開發具有第一變數、第二變數及聯合潛在變數的聯合潛在變數模型，所述聯合潛在變數表示所述第一變數與所述第二變數之間的共用資訊； 產生所述聯合潛在變數模型的變分後驗； 對所述變分後驗進行訓練；以及 基於所述變分後驗自所述第二變數實行所述第一變數的推斷。
  2. 如申請專利範圍第1項所述的方法，更包括：提取所述第一變數與所述第二變數之間的共用資訊。
  3. 如申請專利範圍第2項所述的方法，其中提取共用資訊包括將正規化項添加至損失函數。
  4. 如申請專利範圍第1項所述的方法，更包括：向所述聯合潛在變數模型添加局部隨機性。
  5. 如申請專利範圍第4項所述的方法，其中添加局部隨機性更包括：將所述聯合潛在變數分成共用潛在變數及局部潛在變數。
  6. 如申請專利範圍第4項所述的方法，其中實行推斷包括：自所述第二變數有條件地產生所述第一變數。
  7. 如申請專利範圍第4項所述的方法，其中實行推斷包括：產生所述第一變數及所述第二變數中的至少一者的式樣。
  8. 如申請專利範圍第1項所述的方法，其中對所述變分後驗進行訓練包括：使用所述聯合潛在變數模型的完全近似後驗對所述聯合潛在變數模型中的解碼器進行訓練。
  9. 如申請專利範圍第8項所述的方法，其中對所述變分後驗進行訓練更包括：固定所述解碼器的參數並使用經訓練的所述解碼器來訓練邊緣變分後驗。
  10. 如申請專利範圍第1項所述的方法，其中對所述變分後驗進行訓練包括使用超參數對所述聯合潛在變數模型、完全近似後驗及邊緣變分後驗共同地進行訓練。
  11. 一種藉由共用表示進行多個隨機變數之間的隨機性推斷的系統，包括： 至少一個解碼器； 至少一個編碼器；以及 處理器，被配置成： 開發具有第一變數、第二變數及聯合潛在變數的聯合潛在變數模型，所述聯合潛在變數表示所述第一變數與所述第二變數之間的共用資訊； 產生所述聯合潛在變數模型的變分後驗； 對所述變分後驗進行訓練；以及 基於所述變分後驗自所述第二變數實行所述第一變數的推斷。
  12. 如申請專利範圍第11項所述的系統，其中所述處理器更被配置成提取所述第一變數與所述第二變數之間的共用資訊。
  13. 如申請專利範圍第12項所述的系統，其中所述處理器被配置成藉由將正規化項添加至損失函數來提取共用資訊。
  14. 如申請專利範圍第11項所述的系統，其中所述處理器更被配置成向所述聯合潛在變數模型添加局部隨機性。
  15. 如申請專利範圍第14項所述的系統，其中所述處理器被配置成藉由將所述聯合潛在變數分成共用潛在變數及局部潛在變數來添加局部隨機性。
  16. 如申請專利範圍第14項所述的系統，其中所述處理器更被配置成藉由自所述第二變數有條件地產生所述第一變數來實行推斷。
  17. 如申請專利範圍第14項所述的系統，其中所述處理器更被配置成藉由產生所述第一變數或所述第二變數的式樣來實行推斷。
  18. 如申請專利範圍第11項所述的系統，其中所述處理器被配置成藉由使用所述聯合潛在變數模型的完全近似後驗對所述聯合潛在變數模型中的所述至少一個解碼器進行訓練來訓練所述變分後驗。
  19. 如申請專利範圍第18項所述的系統，其中所述處理器更被配置成藉由固定所述至少一個解碼器的參數並使用經訓練的所述至少一個解碼器對邊緣變分後驗進行訓練來訓練所述變分後驗。
  20. 如申請專利範圍第11項所述的系統，其中所述處理器更被配置成藉由使用超參數對所述聯合潛在變數模型、完全近似後驗及所述變分後驗共同地進行訓練來訓練邊緣變分後驗。
TW108138375A 2018-10-26 2019-10-24 藉由共用表示進行多個隨機變數之間的隨機性推斷的方法及系統 TWI813802B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201862751108P 2018-10-26 2018-10-26
US62/751,108 2018-10-26
US16/373,913 2019-04-03
US16/373,913 US11620555B2 (en) 2018-10-26 2019-04-03 Method and apparatus for stochastic inference between multiple random variables via common representation

Publications (2)

Publication Number Publication Date
TW202016804A true TW202016804A (zh) 2020-05-01
TWI813802B TWI813802B (zh) 2023-09-01

Family

ID=70327001

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108138375A TWI813802B (zh) 2018-10-26 2019-10-24 藉由共用表示進行多個隨機變數之間的隨機性推斷的方法及系統

Country Status (4)

Country Link
US (2) US11620555B2 (zh)
KR (1) KR20200049499A (zh)
CN (1) CN111105012A (zh)
TW (1) TWI813802B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2580171B (en) * 2018-12-21 2021-02-17 Imagination Tech Ltd Methods and systems for selecting quantisation parameters for deep neural networks using back-propagation
US11615317B2 (en) * 2020-04-10 2023-03-28 Samsung Electronics Co., Ltd. Method and apparatus for learning stochastic inference models between multiple random variables with unpaired data
CN113628124B (zh) * 2020-05-08 2024-01-16 深圳清华大学研究院 Isp与视觉任务联合优化方法、系统、介质和电子设备
CN111783239B (zh) * 2020-06-05 2022-07-08 西北工业大学 涡轮榫连接结构的模糊可靠性分析方法
US20220067983A1 (en) * 2020-08-28 2022-03-03 Nvidia Corporation Object image completion
KR102417036B1 (ko) * 2020-09-29 2022-07-06 아주대학교산학협력단 텍스트 스타일 변환 방법 및 시스템, 및 이의 구현을 위한 학습 방법

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2512289C (en) 2005-07-15 2009-12-15 Newpark Canada Inc. Stabilization of waste material
US8630975B1 (en) 2010-12-06 2014-01-14 The Research Foundation For The State University Of New York Knowledge discovery from citation networks
US8521670B2 (en) 2011-05-25 2013-08-27 HGST Netherlands B.V. Artificial neural network application for magnetic core width prediction and modeling for magnetic disk drive manufacture
US9519858B2 (en) 2013-02-10 2016-12-13 Microsoft Technology Licensing, Llc Feature-augmented neural networks and applications of same
JP6483667B2 (ja) * 2013-05-30 2019-03-13 プレジデント アンド フェローズ オブ ハーバード カレッジ ベイズの最適化を実施するためのシステムおよび方法
US10217058B2 (en) 2014-01-30 2019-02-26 Microsoft Technology Licensing, Llc Predicting interesting things and concepts in content
JP6099099B2 (ja) * 2014-02-28 2017-03-22 日本電信電話株式会社 収束判定装置、方法、及びプログラム
US10846589B2 (en) 2015-03-12 2020-11-24 William Marsh Rice University Automated compilation of probabilistic task description into executable neural network specification
CN106156067B (zh) 2015-03-30 2019-11-01 日本电气株式会社 用于为关系数据创建数据模型的方法和系统
US10304001B2 (en) 2015-08-04 2019-05-28 Raytheon Company Robust target identification
US10531839B2 (en) 2016-01-04 2020-01-14 AventuSoft, LLC System and method of marking cardiac time intervals from the heart valve signals
WO2018211143A1 (en) 2017-05-19 2018-11-22 Deepmind Technologies Limited Neural network system
CN108985135A (zh) * 2017-06-02 2018-12-11 腾讯科技（深圳）有限公司 一种人脸检测器训练方法、装置及电子设备
US20190036795A1 (en) * 2017-07-27 2019-01-31 Verizon Patent And Licensing Inc. Method and system for proactive anomaly detection in devices and networks
KR102070049B1 (ko) * 2017-08-08 2020-04-01 한국과학기술원 보조정보를 이용하는 조건부 변분 오토인코더 기반의 협업 필터링 방법 및 장치
CA3090759A1 (en) * 2018-02-09 2019-08-15 D-Wave Systems Inc. Systems and methods for training generative machine learning models
KR102156249B1 (ko) * 2018-10-25 2020-09-15 펄스나인 주식회사 변분 순환 오토인코딩 방식의 자동 색인 시스템 및 방법

Also Published As

Publication number Publication date
US20200134499A1 (en) 2020-04-30
US11620555B2 (en) 2023-04-04
TWI813802B (zh) 2023-09-01
KR20200049499A (ko) 2020-05-08
CN111105012A (zh) 2020-05-05
US20230237355A1 (en) 2023-07-27

Similar Documents

Publication Publication Date Title
TWI813802B (zh) 藉由共用表示進行多個隨機變數之間的隨機性推斷的方法及系統
CN109783432B (zh) 用于进行路径平滑的低复杂度优化求解器的装置及方法
US20220058507A1 (en) Method and apparatus for federated learning
US20220067582A1 (en) Method and apparatus for continual few-shot learning without forgetting
US20220138633A1 (en) Method and apparatus for incremental learning
US11442554B2 (en) Electronic device and method for recommending word in same
CN113435568A (zh) 计算机实施的用于训练神经网络的方法和电子系统
TW202038184A (zh) 用於確定影像的深度資訊的系統及方法
US20220093116A1 (en) Transformer with gaussian weighted self-attention for speech enhancement
US20190272459A1 (en) Electronic device and method for controlling external electronic device based on use pattern information corresponding to user
CN110958203B (zh) 用于补偿同相正交失配的系统、方法和电子装置
TW202307789A (zh) 藉由判定用於無監督影像分割的損失函數來訓練特徵提取模型的設備及方法
CN111211821B (zh) 用于单连接天线阵列的模拟波束成形的系统和方法
US20230232075A1 (en) Electronic device for providing content recommendation service, and method therefor
TW202139629A (zh) 用於改良通道恢復的到達角估計的系統以及方法
TW202101929A (zh) 用於提供增強的參考訊號接收功率估計的方法及電子裝置
TW202137040A (zh) 無資料對抗式知識蒸餾的方法及系統
US20220092383A1 (en) System and method for post-training quantization of deep neural networks with per-channel quantization mode selection