機器學(xué)習數學(xué)基礎，學(xué)習機器學(xué)習的必備知識。

計算機視覺(jué)中關(guān)于圖像識別有四大類(lèi)任務(wù)： 分類(lèi)-Classification：解決“是什么？”的問(wèn)題，即給定一張圖片或一段視頻判斷里面包含什么類(lèi)別的目標。 定位-Location：解決“在哪里？”的問(wèn)題，即定位出這個(gè)目標的的位置。 檢測-Detection：解決“是什么？在哪里？”的問(wèn)題，即定位出這個(gè)目標的的位置并且知道目標物是什么。 分割-Segmentation：分為實(shí)例的分割（Instance-level）和場(chǎng)景分割（Scene-level），解決“每一個(gè)像素屬于哪個(gè)目標物或場(chǎng)景”的問(wèn)題。

葉斯分類(lèi)器是一種概率框架下的統計學(xué)習分類(lèi)器，對分類(lèi)任務(wù)而言，假設在相關(guān)概率都已知的情況下，貝葉斯分類(lèi)器考慮如何基于這些概率為樣本判定最優(yōu)的類(lèi)標。在開(kāi)始介紹貝葉斯決策論之前，我們首先來(lái)回顧下概率論委員會(huì )常委--貝葉斯公式。

深度網(wǎng)絡(luò )隨著(zhù)層數不斷加深,可能會(huì )引起梯度消失/梯度爆炸的問(wèn)題: “梯度消失”：指的是即當梯度（小于1.0）在被反向傳播到前面的層時(shí)，重復的相乘可能會(huì )使梯度變得無(wú)限小。 “梯度爆炸”：指的是即當梯度（大于1.0）在被反向傳播到前面的層時(shí)，重復的相乘可能會(huì )使梯度變得非常大甚至無(wú)限大導致溢出。 隨著(zhù)網(wǎng)絡(luò )深度的不斷增加，常常會(huì )出現以下兩個(gè)問(wèn)題: 長(cháng)時(shí)間訓練但是網(wǎng)絡(luò )收斂變得非常困難甚至不收斂 網(wǎng)絡(luò )性能會(huì )逐漸趨于飽和，甚至還會(huì )開(kāi)始下降，可以觀(guān)察到下圖中56層的誤差比20層的更多，故這種現象并不是由于過(guò)擬合造成的。 這種現象稱(chēng)為深度網(wǎng)絡(luò )的退化問(wèn)題。

卷積神經(jīng)網(wǎng)絡(luò )沿用了普通的神經(jīng)元網(wǎng)絡(luò )即多層感知器的結構，是一個(gè)前饋網(wǎng)絡(luò )。以應用于圖像領(lǐng)域的CNN為例，大體結構如圖。

一直沿用至今的“M-P神經(jīng)元模型”正是對這一結構進(jìn)行了抽象，也稱(chēng)“閾值邏輯單元“，其中樹(shù)突對應于輸入部分，每個(gè)神經(jīng)元收到n個(gè)其他神經(jīng)元傳遞過(guò)來(lái)的輸入信號，這些信號通過(guò)帶權重的連接傳遞給細胞體，這些權重又稱(chēng)為連接權（connection weight）。細胞體分為兩部分，前一部分計算總輸入值（即輸入信號的加權和，或者說(shuō)累積電平），后一部分先計算總輸入值與該神經(jīng)元閾值的差值，然后通過(guò)激活函數（activation function）的處理，產(chǎn)生輸出從軸突傳送給其它神經(jīng)元。

本文描述了一個(gè)基于計劃的、獨立于任務(wù)的對話(huà)管理框架RavenClaw。該框架的一個(gè)關(guān)鍵特點(diǎn)是，它將對話(huà)控制邏輯的特定領(lǐng)域方面與獨立于領(lǐng)域的對話(huà)技巧隔離開(kāi)來(lái)，并在這個(gè)過(guò)程中促進(jìn)了在復雜的、面向任務(wù)的領(lǐng)域中運行的混合主動(dòng)系統的快速發(fā)展。系統開(kāi)發(fā)人員可以專(zhuān)注于描述對話(huà)框任務(wù)控制邏輯，而RavenClaw對話(huà)框引擎則透明地支持和執行大量與領(lǐng)域無(wú)關(guān)的會(huì )話(huà)技能，如錯誤處理、計時(shí)和輪流。

論文中引入 transformer 的結構,其中注意力模型在對話(huà)輪的順序上面起了了作用.最近我們使用遞歸神經(jīng)網(wǎng)絡(luò )多輪對話(huà)的上下文中用戶(hù)說(shuō)的話(huà),但是我們原本認為注意力模型會(huì )更適合多輪場(chǎng)景.默認情況下,RNN假設每個(gè)選項和完整的序列有關(guān),但是一輪對話(huà)當中包括一些交錯的對話(huà)邏輯在里面. transformer 模型可以選擇忽略或者選擇對話(huà)的一部分內容.們比較了 Transformer Embedding Dialogue對話(huà)策略對LSTM和REDP的政策.旨在克服RNN的這一限制。我們證明了TED的政策無(wú)論是在準確性還是速度上，行為都是比較有利的。

正則化(Regularization) 是機器學(xué)習中對原始損失函數引入額外信息，以便防止過(guò)擬合和提高模型泛化性能的一類(lèi)方法的統稱(chēng)。正則化是在經(jīng)驗風(fēng)險上面加了一個(gè)正則化項或者懲罰項,正則化函數一般是模型法則度的單調增函數,模型越負責,正則化值就越大.

K近鄰算法，即是給定一個(gè)訓練數據集，對新的輸入實(shí)例，在訓練數據集中找到與該實(shí)例最鄰近的K個(gè)實(shí)例，這K個(gè)實(shí)例的多數屬于某個(gè)類(lèi)，就把該輸入實(shí)例分類(lèi)到這個(gè)類(lèi)中.