Auto-Encoding Variational Bayes 筆記
摘要
在存在持續的潛在變量而難以處理的后驗分布和大數據集的情況下，我們如何在概率模型中進(jìn)行有效的推理和學(xué)習？ 我們引入了一種隨機變分推理和學(xué)習算法，可以擴展到大型數據集，并且在一些溫和的不同的可用性條件下，甚至可以在棘手的情況下工作。 我們的貢獻是雙重的。 首先，我們證明了變分下界的重新參數化產(chǎn)生了一個(gè)下限估計，可以使用標準隨機梯度方法直接優(yōu)化。 其次，我們展示了i.i.d. 每個(gè)數據點(diǎn)具有連續潛變量的數據集，通過(guò)使用所提出的下界估計器將近似推理模型（也稱(chēng)為判別模型）擬合到難治性后驗，可以使后驗推斷特別有效。 理論優(yōu)勢反映在實(shí)驗結果中。
簡(jiǎn)介
我們展示了變分下界的重新參數化如何產(chǎn)生下界的簡(jiǎn)單可微分無(wú)偏估計;這個(gè)SGVB（隨機梯度變分貝葉斯）估計器可以用于幾乎任何具有連續潛變量和/或參數的模型中的有效近似后驗推斷，并且使用標準隨機梯度上升技術(shù)可以直接進(jìn)行優(yōu)化。對于i.i.d.的情況。數據集和每個(gè)數據點(diǎn)的連續潛在變量，我們提出了自動(dòng)編碼VB（AEVB）算法。在A(yíng)EVB算法中，我們通過(guò)使用SGVB估計器來(lái)優(yōu)化識別模型，使得我們使用簡(jiǎn)單的上采樣執行非常有效的近似后驗推理,從而使得我們能夠有效地學(xué)習模型參數.每個(gè)數據點(diǎn)需要昂貴的迭代推理方案（如MCMC）.學(xué)習的近似后驗推斷模型還可以用于許多任務(wù)，例如識別，去噪，表示和可視化目的。當神經(jīng)網(wǎng)絡(luò )用于識別模型時(shí)，我們得到變分自動(dòng)編碼器。
方法
本節中的策略可用于導出具有連續潛變量的各種有向圖模型的下界估計（隨機目標函數）。 我們將在這里局限于我們有i.i.d的常見(jiàn)情況。 每個(gè)數據點(diǎn)具有潛在變量的數據集，以及我們希望對（全局）參數執行最大似然（ML）或最大后驗（MAP）推斷以及潛在變量的變分推斷的數據集。
對于VAE推斷生成模型，我們希望找到一個(gè)合適的參數 \theta ，使得 p_{\theta}(z\lvert{x}) = p(x,z)/p(x) 可以最大，即通過(guò)隱變量z可以生成和原來(lái)一樣的x。
但是在上式中存在一個(gè)問(wèn)題，就是p(x) = \lmoustache p_{\theta} (z \lvert x) p_{\theta} (z) dz 沒(méi)有辦法計算（因為z中含有隨機部分，所以沒(méi)有辦法積分，采樣也是要耗費太大的計算），所以在VAE中就是使用變分推斷，使用分布 p(x) = q_{\phi} (z \lvert x) 來(lái)近似分布 p_{\theta}(z\lvert{x}) ，那么我們的目標函數就要包含兩個(gè)目標：
- 最大化p(x)
- 最小化 KL( p(z \lvert x) \lvert p(z \lvert x) )
參考文檔
評論
