泛化能力
在計(jì)算機(jī)系統(tǒng)中，“經(jīng)驗(yàn)”通常以數(shù)據(jù)的形式存在，因此機(jī)器學(xué)習(xí)所研究的主要內(nèi)容是通過(guò)這些數(shù)據(jù)產(chǎn)生“模型”（model）。從數(shù)據(jù)產(chǎn)生模型的過(guò)程我們稱之為“訓(xùn)練”（training），訓(xùn)練過(guò)程中使用的數(shù)據(jù)稱為“訓(xùn)練數(shù)據(jù)”。我們訓(xùn)練得到模型后需要對(duì)模型進(jìn)行評(píng)估。我們通常把分類錯(cuò)誤的樣本數(shù)占總數(shù)的比例稱為“錯(cuò)誤率”（error rate）。更一般的，我們把模型實(shí)際預(yù)測(cè)的輸出與真實(shí)的輸出之間的差異稱之為“誤差”（error）。機(jī)器學(xué)習(xí)的目標(biāo)是使得訓(xùn)練出的模型很好的適用于未見樣本。訓(xùn)練出的模型適用于新樣本的能力，稱為“泛化能力”（generalization ability）。具有較強(qiáng)泛化能力的模型不僅在訓(xùn)練數(shù)據(jù)上有好的表現(xiàn)，還能夠很好的適用于整個(gè)樣本空間。通常我們假設(shè)所有的樣本都服從一個(gè)未知的分布，我們的訓(xùn)練數(shù)據(jù)中每個(gè)樣本都是從這個(gè)分布上獨(dú)立的采集的，即“獨(dú)立同分布”（independent and identically distributed）。一般來(lái)說(shuō)，訓(xùn)練數(shù)據(jù)越多，我們可以得到的關(guān)于這個(gè)分布的信息越多，也就越有可能通過(guò)訓(xùn)練得到具有較強(qiáng)泛化能力的模型。
