40.1K
7773
歸納偏好
任何一個(gè)有效的機(jī)器學(xué)習(xí)算法必有其歸納偏好，否則它將被假設(shè)空間中看似在訓(xùn)練集上等效的假設(shè)所迷惑，而無法產(chǎn)生確定的學(xué)習(xí)結(jié)果。歸納偏好可看作學(xué)習(xí)算法自身在一個(gè)可能很龐大的假設(shè)空間中對(duì)假設(shè)進(jìn)行選擇的啟發(fā)或價(jià)值觀。奧卡姆剃刀原則是一種用來引導(dǎo)算法確立正確偏好的常用原則。它的基本含義是如果有多個(gè)假設(shè)與觀察一致，則選擇最簡(jiǎn)單的那個(gè)。奧卡姆剃刀原則并非唯一可行的原則。歸納偏好對(duì)應(yīng)了學(xué)習(xí)算法本身所做出的關(guān)于“什么樣的模型更好”的假設(shè)，在具體的現(xiàn)實(shí)問題中，這個(gè)假設(shè)是否成立，即算法的歸納偏好是否與問題本身匹配，大多數(shù)時(shí)候直接決定了算法能否取得好的性能。
